一种高效、表达能力强的可微分归纳逻辑推理模型

来源: 学术头条

发布日期: 2020-04-24

本文提出了一种高效的基于神经网络的归纳逻辑学习模型(NLIL),通过将逻辑谓词转换为谓词操作,并使用逻辑连接词组合,极大地拓展了逻辑谓词的表达能力。实验结果表明,NLIL模型在知识图谱补全和物体检测任务中,效果和效率均优于相关baseline。

深度学习广泛应用于各种研究领域以及生产环境,为人类带来极大的收益和便利。但是现有的深度学习的可解释性不强,人们只知道它的结果是什么,却不知道为什么得出这样一个结果。所以人们逐渐将目光投向模型的可解释性的问题。推理就是其中一个火热的研究方向。

一种应用广泛的推理框架称为归纳逻辑推理程序(Inductive Logic Programming, ILP),它通过规则的硬匹配以及遍历的搜索流程去逐步搜索出满足条件的逻辑范式,但是效率太低,表达能力差,而且对噪音数据的容忍性小。

后来一些工作提出了可微分的ILP模型,去利用神经网络的学习能力自主的去学到一些泛化性较强的逻辑范式,但是大多模型只能学出一阶逻辑谓词的线性组合范式,表达能力也十分有限,而且基于具体的数据,导致泛化性能不理想。

本文提出一种高效的基于神经网络的归纳逻辑学习模型(Neural Logic Inductive Learning, NLIL),它首先将逻辑谓词转换为一种谓词操作,进而将所有的中间变量转化为首尾实体的谓词操作表示,而这样的首尾变量在具体实现时可用随机初始化的向量表示,这样就摆脱了数据依赖;随后这样一个个谓词操作组成了逻辑范式的原始表达单位,这样就极大的拓展了逻辑谓词的表达能力,从只能表达链式的逻辑规则拓展到树形,以及规则之间的合取模式。

接下来,NLIL模型又将一个个原始表达单位使用逻辑连接词组合起来(与,或,非),这样又进一步的扩展了生成的逻辑范式的表达能力。在实现上,NLIL模型使用了分层的transformer模型去高效的计算中间的待学习参数,包括逻辑谓词的向量以及相应的注意力机制的参数。

在实验设置上,本文首先以知识图谱补全任务为背景,在三个知识图谱(ES,FB15K-237以及WN18)上对NLIL模型的效果和效率都做了细致的评估:从表中可以看出,NLIL模型在效果和效率上都明显的好于相关的baseline。同时,本文还使用了视觉领域的数据,以物体检测任务作为背景,将图片上的物体之间的关系抽象成小的知识图谱。

从实验结果可以看出,虽然基于丰富标签数据的监督学习方法达到了比较好的效果,但是NLIL仅仅利用稀疏的(0/1)标签就能达到匹敌的效果,甚至显著优于一种监督模型baseline的效果,进一步体现出了模型的有效性。

UUID: 23b25787-05f0-4521-9d40-8794b925104c

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2020年-上/2020-04-24_ICLR2020一种高效、表达能力强的可微分归纳逻辑推理模型.txt

是否为广告: 否

处理费用: 0.0028 元