在过去的几年里，预训练在各种领域都取得了巨大的成功，像是自然语言处理、计算机视觉、语音识别和图形学习。预训练的前景是利用输入数据本身作为学习模型的监督信号，这些模型可以和具有专门标签信息的技术一样强大。换句话说，它不需要特定任务的标签数据，而要大规模地获得这些数据往往是非常昂贵的。尽管它在文本和图像数据集的任务中表现突出，但仍有许多预训练的问题没有解决。
本次研讨会将集中在介绍和讨论预训练领域的最先进技术、开放问题、挑战和最新的模型、预训练领域的技术和算法，涵盖算法、架构和应用等方面。
在此背景下，感兴趣的话题包括但不限于：Pretraining theories on generalization, optimization and transferability; Pretraining analysis for interpretability and knowledge; Pretraining with high-performance computing (HPC); Novel Pretraining Algorithms and Architectures; Generative pretraining; Contrastive pretraining; Pretraining for graphs and networks; Pretraining for multi-language; Pretraining for multi-modality; Cognitive-oriented Pretraining; Pretraining applications。
欢迎各位老师同学投稿和参与。研讨会主页：https://www.aminer.cn/billboard/pretrain_kdd2021。阅读原文，了解投稿详情！