浅谈GNN:能力与局限

作者: 喵喵

来源: 学术头条

发布日期: 2020-04-25

本文探讨了图神经网络(GNN)的计算能力、推理能力和深度问题,特别是over-fitting和over-smoothing的影响,并提出了DropEdge作为一种解决方案。

本文简要阐述三篇与此相关的文章,它们分别研究了基于信息传递的图神经网络GNNmp的计算能力,GNNs的推理能力和阻碍GCN变深的问题---over-fitting与over-smoothing。图数据在现实世界中广泛存在,图神经网络(GNNs)也在相关的机器学习任务中取得了不错的效果,但简单地“将数据给模型、希望其拟合出来可以得到预期结果”的一整套函数在某种程度上是不负责任的。

更好地理解GNNs适合与不适合哪些问题可以帮助我们更好地设计相关模型。本文研究了基于信息传递的图神经网络GNNmp的表达能力,包括GCN、gated graph neural networks等,并回答了如下问题:(1)什么是GNNmp可以计算的?本文证明了在一定条件下,GNNmp可以计算任何可以被图灵机计算的函数。(2)什么是GNNmp不可以计算的?

本文证明了如果乘积dw被限制,GNNmp的能力会损失很大一部分。近来,有很多关于构建可以学会推理的神经网络的尝试。推理任务多种多样,如视觉或文本问答、预测物体随时间的演化、数学推理等。本文通过建立一个理论框架来回答这个问题,我们发现如果可以在推理问题和网络之间建立良好的对应关系,那么这个问题可以被很好地解决。

GCNs在图的很多任务上取得了SOTA的表现,如节点分类,社交推荐,关联预测等,而over-fitting和over-smoothing是两个阻碍GCNs在节点分类等任务上进一步发展的问题。

本文提出了DropEdge,可以同时缓解如上的两个问题,一方面,它可以看做是一种无偏的数据增强方式,通过随机地将原图变形,可以增加输入数据的多样性,从而可以缓解over-fitting的现象;另一方面,它可以减少信息在节点间传递,使得节点之间的连接更加稀疏,从而可以一定程度上避免over-smoothing。

UUID: 10a32c68-ca4c-4968-9b66-e306a7eb3bcd

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2020年-上/2020-04-25_ICLR2020浅谈GNN:能力与局限.txt

是否为广告: 否

处理费用: 0.0032 元