近些年，Transformers在海量语料上进行自监督预训练再到下游各种NLP任务（当然也包括文本摘要）上微调的方案已取得巨大成功。但是，尚未有针对抽象文本摘要（abstractive text summarization）定制预训练目标。此外，目前抽象文本摘要任务也缺乏跨领域的系统评价。
为此，本文提出了一种新的自监督预训练目标：GSG（Gap Sentences Generation），以适配Transformer-based的encoder-decoder模型在海量文本语料上预训练。在PEGASUS中，将输入文档中的“重要句子”删除或者遮蔽，再利用剩余的句子在输出中生成这些被删除或遮蔽的句子。从输入和输出看，该目标与文本摘要类似。
本文以12个文本摘要数据集（包括新闻、科学、故事、使用说明、电子邮件、专利和立法议案）对最好的PEGASUS模型进行全面测试。实验结果是：PEGASUS刷新12个数据集的ROUGE得分记录。另外，PEGASUS模型在处理低资源摘要数据集也显示出惊人的性能，在6个数据集上仅以1000个样本就超过了之前的最先进结果。
最后，本文还对PEGASUS模型生成的摘要结果进行人工评测，结果表明本文的模型在多个数据集上达到与人工摘要相媲美的性能。
抽象文本摘要是一项极具挑战的自然语言处理任务，因为这要求理解长篇文章、压缩资讯以及生成语言。目前主流的解决方案是用seq2seq，让神经网路学习把输入序列映射到输出序列。
这些seq2seq模型最初是使用RNN，但因为基于Transformer encoder-decoder的各种模型在处理长序列中的依赖关系表现更好，所以逐渐更受青睐。各种Transformer模型与自监督预训练技术（如BERT、GPT-2、RoBERTa、XLNet、ALBERT、T5、ELECTRA）相结合，已被证明是学习生成通用语言的强大框架。
之前的工作中，预训练使用的自监督目标对下游应用有一定程度的不可知性，即不考虑下游任务，如此有利于模型通用性的学习。本文认为如果预训练的自监督目标更接近最终的任务，那么最终的下游任务能取得更好的结果。实验证明，将输入文档中部分句子遮蔽掉，用剩余的句子生成被遮蔽掉句子的这种预训练目标很适用于文本摘要任务。
这种预训练目标确实适合于抽象摘要，因为它非常类似于下游任务，从而促进模型对整个文档的理解和类似摘要的生成。需要指出的是，选择重要句子比随机选择或者选择前几句的结果性能都要好。
在C4语料上预训练出的最好PEGASUS模型，参数只有568M，但在12个评测数据集上评测能够比肩此前最优结果，甚至超越它们刷新纪录。
另外，本文为进一步提升最先进结果，引入了一个新收集的文本语料库，该语料库由新闻类文章组成包括XSum和CNN/DailyMail摘要数据集，统称为HugeNews。此外，将本文的模型应用了低资源文本摘要任务上时，实验结果表明本文的模型能够非常快速适用于少量监督对的微调，并仅以1000个样本即在6个数据集中斩获桂冠。
最后，还将文本模型的结果与人工摘要结果做对比，结果表明本文的模型可以达到与人工摘要相媲美的效果。总结下本文的贡献：(1)提出了一个新的自监督的预训练目标(GSG)用于抽象摘要任务，并研究相应的句子选择策略。(2)用多个领域的摘要任务数据集对GSG进行广泛评测，并仔细地选择最佳的模型设置，训练一个参数量仅为568M的PEGASUS模型。该模型在全部的12个下游数据集上能够超过或与当前最先进水平持平。
(3)对于低资源任务数据集，通过微调PEGASUS模型，可以在广泛的领域实现良好的抽象摘要效果。在多个任务上，仅需1000个样本就超过了以前的最先进的结果。(4)对模型结果进行人工评估，结果表明在XSum, CNN/DailyMail和Reddit TIFU上的摘要效果与人工摘要比肩。