本文介绍了一种提高语言模型的结构理解能力的方法。与以往面向特定任务设计和优化模型不同，我们对语言模型进行预训练，使其在一系列与任务无关的语料库上从文本中生成结构化的预测。我们的结构预训练使模型在结构任务方面所学到的知识得到零的转移。
我们在27个数据集上研究了这种方法的性能，这些数据集横跨10个结构预测任务，包括开放信息提取、联合实体和关系提取、命名实体识别、关系分类、语义角色标记、事件抽取、指代消歧、知识探测、意图检测和对话状态跟踪。我们通过特定任务的训练集进一步进行多任务学习。我们表明，一个百亿参数的语言模型可以轻松地转移到大多数任务上，并以单一模型在我们评估的27个数据集中的20个上获得了最先进的性能。