2020年，尽管是充满挑战的一年，但人工智能学术研究并未因此停滞，仍然诞生了许多有意义的技术突破。在NLP领域，OpenAI的GPT-3可能是其中最“出圈”的，但除它之外，肯定还有很多其他研究论文值得关注。
2020年的主要NLP研究进展仍以大型预训练语言模型为主，特别是transformers。今年出现了许多有趣的更新，使得transformers架构更加高效，更适用于长文档。另一个热点话题与NLP模型在不同应用中的评估有关。业界仍然缺乏普适的评估方法以清晰定义一个模型究竟哪里失败了，以及如何修复这些问题。
随着GPT-3等语言模型能力的不断增强，对话式人工智能正受到新一轮的关注。聊天机器人正在不断改进，今年顶级技术公司推出的多款聊天机器人（例如Meena和Blender等）令人印象深刻。
在2020年年尾，国外AI技术博客topbots.com总结了2020年的10篇重要机器学习研究论文，入选论文也多为今年的顶会论文奖斩获者，具有较高的权威度。
2020年10篇必读的NLP突破论文LIST，（关注“数据实战派”后天回复“202010NLP”即可获得论文包）：
1. WinoGrande: An Adversarial Winograd Schema Challenge at Scale
2. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
3. Reformer: The Efficient Transformer
4. Longformer: The Long-Document Transformer
5. ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
6. Language Models are Few-Shot Learners
7. Beyond Accuracy: Behavioral Testing of NLP models with CheckList
8. Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics
9. Towards a Human-like Open-Domain Chatbot
10. Recipes for Building an Open-Domain Chatbot
这些论文涵盖了从常识推理到模型效率提升，再到对话式人工智能的多个方面，展示了2020年NLP领域的重要进展。