为知识图谱添加注意力机制

作者: 吕鑫

来源: 学术头条

发布日期: 2019-07-11

本文介绍了一篇将注意力机制引入知识图谱表示学习的论文,该论文通过改进图的注意力网络(GAT),结合邻居信息和关系信息,提升了知识图谱表示学习的性能。实验结果表明,该方法在多个数据集上达到了目前最佳的效果。

注意力机制(Attention)是近些年来提出的一种改进神经网络的方法,在图像识别、自然语言处理和图网络表示等领域都取得了很好的效果,可以说注意力机制的加入极大地丰富了神经网络的表示能力。

知识图谱(Knowledge Graph)可以用结构化的方式来描述真实世界的知识,如一个三元组(小罗伯特·唐尼,国籍,美国)便能够说明小罗伯特·唐尼的国籍是美国这样一件事实。然而这样的结构化表示并不是很利于计算,因而近些年来知识图谱表示学习受到了广泛的研究。

本篇论文的模型大致可以分为两部分,第一部分为加入注意力机制的编码器(Encoder),第二部分为解码器(Decoder)。论文的重点和主要贡献便是第一部分,加入注意力机制的编码器。该模型的注意力机制是基于之前的图的注意力网络(GAT),GAT是GCN的一个改进版本,它解决了GCN平等地从邻居中获取信息的缺点。

该论文在FB15K-237、WN18RR、NELL-995和Kinship等数据集上进行了链接预测实验,实验结果如下所示。从表中可以看出,在多数情况下该模型可以达到目前最佳的实验效果,这说明融合邻居信息的表示能够很好的提升模型的性能,注意力机制对于知识图谱也是很有效果的。

UUID: f8117383-17d1-488e-ba53-755b9bcc36ec

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2019年/2019-07-11_ACL2019论文为知识图谱添加注意力机制.txt

是否为广告: 否

处理费用: 0.0031 元