注意力机制(Attention)是近些年来提出的一种改进神经网络的方法,在图像识别、自然语言处理和图网络表示等领域都取得了很好的效果,可以说注意力机制的加入极大地丰富了神经网络的表示能力。
知识图谱(Knowledge Graph)可以用结构化的方式来描述真实世界的知识,如一个三元组(小罗伯特·唐尼,国籍,美国)便能够说明小罗伯特·唐尼的国籍是美国这样一件事实。然而这样的结构化表示并不是很利于计算,因而近些年来知识图谱表示学习受到了广泛的研究。
本篇论文的模型大致可以分为两部分,第一部分为加入注意力机制的编码器(Encoder),第二部分为解码器(Decoder)。论文的重点和主要贡献便是第一部分,加入注意力机制的编码器。该模型的注意力机制是基于之前的图的注意力网络(GAT),GAT是GCN的一个改进版本,它解决了GCN平等地从邻居中获取信息的缺点。
该论文在FB15K-237、WN18RR、NELL-995和Kinship等数据集上进行了链接预测实验,实验结果如下所示。从表中可以看出,在多数情况下该模型可以达到目前最佳的实验效果,这说明融合邻居信息的表示能够很好的提升模型的性能,注意力机制对于知识图谱也是很有效果的。