生成式多文档摘要的目标是从一系列理论上相关的文档中生成一个合乎逻辑的摘要。最近,谷歌将生成维基百科文档的导读部分看作了一个多文档摘要任务的变种,并发布了一个大规模的摘要数据集WikiSum。然而,之前的摘要工作大多将摘要结果看作单个长文本序列,忽视了文档常常分为多个主题,并且一类文档可以看作由多个主题按顺序排列得到:如动物类文档通常会按顺序讲述其生活区域与栖息地类别。
这些信息可以帮助生成更流畅的摘要。
该文提出了一个由主题结构作指导的神经网络模型,没有使用常见的循环神经网络,而是在卷积解码器的基础上显性地加入了内容的主题结构,从而生成完整而流畅的摘要。此外,该文还提供了数据集WIKICATSUM,其中包含公司、电影与动物三个领域的维基百科文档与对应的候选片段。
该文的模型使用了传统的编码器-解码器架构,将输入文本编码成隐向量后从中解码出最终的摘要文本。整个模型分为四块:基于CNN的文档编码器,基于LSTM的句子级别解码器,基于CNN的单词级别解码器,以及主题判别模块。在使用CNN将输入文本编码为一个隐向量后,该文使用了一个层次卷积解码器来生成最后的结果。层次卷积解码器包含两部分:句子级别解码器与单词级别解码器。
该文在自己构造的数据集WIKICATSUM上进行了实验,其中包含三类文档:公司,电影与动物。实验中将模型与谷歌2018年的工作进行了对比。结果表明,此模型在公司与电影领域上对比之前工作将各个ROUGE分数提高了0.15分左右,且在动物领域上也有不错的表现。此外,结果还表明此模型生成的摘要覆盖内容面更广泛。