2018年，ELMo、BERT和GPT的成功发布，表明了预训练语言模型（PLM）的成功，随后又在自然语言理解和生成方面取得了重大突破。目前，在探索更有效的预训练架构方面，已经做了很多卓有成效的工作，比如使用跨模态数据、跨语言数据和结构化知识等方法改进预训练语言模型，或将PLM创新地应用于各种与NLP相关的任务。
为了更好的促进这一领域的发展和创新，期刊AIOpen设置了题为“Special Issue on Pre-Trained Language Models”的专刊。本期专刊将为研究人员提供一个平台，可以在专刊上发表和介绍PLM的最新评论、研究和应用。在此，热诚欢迎学者们能积极参与，共同推动预训练语言模型领域的发展和创新。
AIOpen是一个可免费访问的平台，用于分享有关人工智能理论及其应用的知识和前瞻性观点。该期刊欢迎有关人工智能及其应用各个方面的研究文章、评论文章、观点和技术说明。
一、本次征稿涵盖的主题为：
* Novel architectures and algorithms of PLMs
* Generative PLMs
* Fine-tuning and adaptation of PLMs
* Multi-tasking and continual learning of PLMs
* Knowledge-guided PLMs
* Cross-lingual or multi-lingual PLMs
* Cross-modal PLMs
* Knowledge distillation and model compression of PLMs
* Analysis and probing of PLMs
* Applications of PLMs in various areas, such as information retrieval, social computation, and recommendation
二、提交稿件需要满足以下要求：
* 提交给该期刊以供发表的论文必须是原创的，不能一稿多投；
* 稿件必须具有大量的“新的和原始的”想法，30％以上的内容必须是“全新”的；
* 提交前，请先阅读Guide for Authors，文章提交请Submitted online；
* 请在提交时选择SI：Pre-Trained Language Models；
Guide for Authors链接地址：http://www.keaipublishing.com/en/journals/ai-open/guide-for-authors/
Submitted online链接地址：https://www.editorialmanager.com/aiopen/default.aspx
三、客座编辑
本次专刊邀请了三位重量级的客座编辑，他们是：刘知远清华大学计算机系自然语言处理实验室, 副教授研究方向为知识图谱与语义计算、社会计算与计算社会科学Email: liuzy@tsinghua.edu.cn邱锡鹏复旦大学计算机科学技术学院教授，博士生导师要研究领域包括自然语言处理、机器学习、深度学习等Email: xpqiu@fudan.edu.cn唐杰清华大学计算机与科学技术系教授，系副主任主要研究领域为人工智能、社交网络、数据挖掘、机器学习、知识图谱Email: jietang@tsinghua.edu.cn
四、本次专刊还需要特别关注的三个日期，分别是：
* 提交截止日期：2021年3月10日
* 最终决定日期：2021年5月15日
* 发布日期：2021年6月30日再次诚挚邀请各位学者参与此次AIOpen特刊的征稿活动，如果您想了解更多信息可以访问AIOpen官方的Special Issue on Pre-Trained Language Models信息发布主页。
访问链接如下：http://www.keaipublishing.com/en/journals/ai-open/call-for-papers/special-issue-on-pretrained-language-models/