两种模型：多层卷积神经网络、知识感知路径递归网络
学术君
学术头条
2019-12-08
Convolutional 2D Knowledge Graph Embeddings
作者：Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, Sebastian Riedel
论文出处：The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI 2018)
文章链接: https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/download/17366/15884
研究问题
知识图谱的链接预测任务是预测节点之间潜在的关系。
传统的链接预测方法专注于浅的、快速的模型，因为这样可以扩展到大规模的KG中。但是浅层模型学习到的特征比深沉模型少很多，大大限制了模型的性能。解决该问题的方法之一是增加embedding的维度，但是会加模型参数量，不方便扩展到大规模KG中。此外，部分现有数据集中有测试集泄露问题：训练集中的三元组稍微翻转一下就可以得到测试集三元组，然后使用基于规则的模型就能达到最佳性能。
文章通过构造一个简单的翻转来衡量这个问题严重性，并清洗了部分数据来解决该问题。
研究方法
文章提出一种多层卷积神经网络模型用于知识图谱的链接预测任务。与自然语言处理中常用的一维卷积不同，文章通过把多个向量堆叠成矩阵，就可以像图形一样用二维卷积核来抽取embedding之间的关系。模型的流程总结为：经过look-up embedding得到实体和关系的向量表示，然后通过变形和堆叠转化为2D版本。
用多个卷积核对堆叠后的矩阵进行卷积操作，得到一个特征图γ。把γ向量化，然后通过一个全连接层映射到k维空间中。最后与目标实体的embedding相乘获得相应的得分。将得分进行sigmoid操作得到概率p，从而最小化交叉熵来训练模型。值得一提的是，与传统模型对三元组关系打分的一对一模式不同，ConvE以实体关系对作为输入，同时对所有候选实体进行打分。这种方式极大加快了计算速度。
实验结果表明，即使实体规模扩大10倍，计算时间也只是增加了25%。
研究结果
文章在4个数据集WN18、FB15K、YAGO3-10、Countries上进行实验，与DisMult、R-GCN等模型进行了对比。实验结果表明：0.23M个参数的ConvE就与1.89M个参数的DistMult有相近的性能表现，总的来说ConvE的参数效率是R-GCN的17倍以上，是DistMult的8倍以上。
此外，作者还发现ConvE在YAGO3-10和FB15k-237上的表现比在WN18RR上好，因为前两者包含入度很大的结点，这种复杂的KG需要更深层的模型，而浅层模型比如DistMult则在较简单的KG上有优势。
Explainable Reasoning over Knowledge Graphs for Recommendation
作者：Xiang Wang, DingxianWang, Canran Xu, Xiangnan He, Yixin Cao, Tat-Seng Chua1
论文出处：Proceedings of the AAAI Conference on Artificial Intelligence. 2019 (AAAI'19).
文章链接: https://www.aaai.org/ojs/index.php/AAAI/article/view/4470/4348
研究问题
近年来如何将知识图谱融入推荐系统得到越来越多的关注，通过探索知识图谱中的用户到商品的路径，可以为用户与商品的交互行为提供丰富的补充信息。这些路径不仅揭示了实体和关系的语义，还能帮助理解用户的兴趣。
然而现有的模型没能充分利用路径来推断用户偏好，尤其是在建模的顺序依赖关系和路径的整体语义方面。文章构建了知识感知路径递归网络模型（Knowledge aware Path Recurrent Network，KPRN），通过组合实体和关系的语义来生成路径表示。利用路径中的顺序依赖关系，可以基于路径进行有效推理，从而推断出用户-项目交互场景中的基本原理。
此外，文章设计了一种新的权重池化操作，以区分用户与项目连接的不同路径的优势，赋予我们的模型一定的可解释性。
研究方法
知识图谱和路径：知识图谱由一组三元组（h,r,t）组成，代表实体h和实体t构成关系r。文章中知识图谱还融合了用户-商品的交互信息，即包含了三元组（用户，交互方式，商品），其中交互方式为预定义的关系。路径的定义是一个由实体或关系组成的序列，并且以用户作为起始点，以商品作为终点。
给定一个用户，商品，以及连接该用户和商品的路径的集合，我们希望模型能够计算该用户和商品之间存在交互的可能性，即是否存在三元组（用户，交互方式，商品）。模型一共分为三层：在Embedding层对路径的每一个行为做embedding的计算。对于给定三元组，分别计算实体名称，实体类型和关系（或交互方式）的embedding后再拼接得到最终特征表示。
LSTM层将路径上的每个单元的特征表示按照时间顺序输入并且将最后时刻的隐藏层状态作为该路径的特征表示。在pooling层，将所有路径的特征表示集合输入两层前馈神经网络，再对输出做带权重的池化操作得到最后的预测结果。
研究结果
文章在公开电影数据集MI和音乐数据集KKBox上进行了实验，验证了所提出的模型的有效性，并且相对于仅将实体映射为一个向量表示的方法，KPRN还能够从路径中挖掘用户和商品之间的交互原因，这提高了模型的可解释性。如上图所示，在MovieLens-1M中随机选择的一个用户u4825，并从她的交互记录中选择电影“恋爱中的莎士比亚”。
然后，我们提取连接用户-项对的所有限定路径，得到每个路径的分数s1 = 0.355, s2 = 0.289, s3 = 0.356，即模型更倾向于认为用户u4825是通过路径3和电影“恋爱中的莎士比亚”产生交互关系。
往期精彩回顾
NeurIPS十年高引学者TOP100榜单发布！这些大牛值得膜拜！
NeurIPS 2019 | 国科大、厦大联合提出FreeAnchor：一种新的anchor匹配学习法
Michael Jordan获2020年IEEE冯诺依曼奖 曾培养出Bengio等多位大牛学生