在本论文中,作者利用大规模文本语料库和知识图谱来训练一个增强语言表示模型(ERNIE),该模型可以同时充分利用词汇、句法和知识信息。实验结果证明ERNIE在各种知识驱动的任务中实现了效果的显著提升,同时,在其他常见的NLP任务中和最先进的模型BERT不相上下。
虽然预训练语言表示模型取得了可喜的成果并且在许多NLP任务中被用作常规组件,但它们忽略了可以合并知识信息来增强语言理解。
为了将外部知识纳入语言表示模型,我们提出了用信息实体来增强语言表示的方法,这个方法利用大规模文本语料库和知识图谱来预训练一个语言表示模型。ERNIE的整体模型架构由两个堆叠的模块组成:1)基础文本编码器(T-Encoder);2)上层知识编码器(K-Encoder)。其负责将额外的面向token的知识信息集成到基础层的文本信息中,这样就可以将token和实体的异构信息表示到一个统一的特征空间。
本文模型分别在两个任务上和各baseline进行对比。对Entity Typing任务在FIGER和Open Entity两个数据集上做了实验,通过accuracy,loose macro,loose micro scores来评价,结果如下所示。
对Relation Classification任务在FewRel和TA-CRED两个数据集上做了实验,通过precision,recall,micro F1来评价,结果如下所示。