为什么仿佛一夜之间，自然语言处理（NLP）领域就突然突飞猛进，摸到了通用人工智能的门槛？如今的⼤语⾔模型（LLM）发展到了什么程度？未来短时间内，AGI的发展路线⼜将如何？
自20世纪50年代图灵测试提出以来，⼈们始终在探索机器处理语⾔智能的能⼒。语⾔本质上是⼀个错综复杂的⼈类表达系统，受到语法规则的约束。因此，开发能够理解和精通语⾔的强⼤AI算法⾯临着巨⼤挑战。过去⼆⼗年，语⾔建模⽅法被⼴泛⽤于语⾔理解和⽣成，包括统计语⾔模型和神经语⾔模型。
近些年，研究⼈员通过在⼤规模语料库上预训练Transformer模型产生了预训练语⾔模型（PLMs），并在解决各类NLP任务上展现出了强大的能⼒。并且研究⼈员发现模型缩放可以带来性能提升，因此他们通过将模型规模增⼤进一步研究缩放的效果。有趣的是，当参数规模超过⼀定⽔平时，这个更⼤的语⾔模型实现了显著的性能提升，并出现了⼩模型中不存在的能⼒，⽐如上下⽂学习。
为了区别于PLM，这类模型被称为⼤型语⾔模型（LLMs）。
从2019年的⾕歌T5到OpenAI GPT系列，参数量爆炸的⼤模型不断涌现。可以说，LLMs的研究在学界和业界都得到了很⼤的推进，尤其去年11⽉底对话⼤模型ChatGPT的出现更是引起了社会各界的⼴泛关注。LLMs的技术进展对整个AI社区产⽣了重要影响，并将彻底改变⼈们开发和使⽤AI算法的⽅式。
考虑到LLMs的快速技术进步，中国⼈⺠⼤学的⼆⼗⼏位研究者通过背景知识、关键发现和主流技术等三⽅⾯回顾了LLMs的最新进展，尤其关注LLMs的预训练、⾃适应调优、使⽤和能⼒评估。此外他们还总结和开发LLMs的可⽤资源，讨论了未来发展⽅向等问题。对于领域内研究⼈员和⼯程师⽽⾔，这份综述是⼀份极其有⽤的学习资源。