本文简要阐述三篇与此相关的文章,它们分别研究了基于信息传递的图神经网络GNNmp的计算能力,GNNs的推理能力和阻碍GCN变深的问题---over-fitting与over-smoothing。图数据在现实世界中广泛存在,图神经网络(GNNs)也在相关的机器学习任务中取得了不错的效果,但简单地“将数据给模型、希望其拟合出来可以得到预期结果”的一整套函数在某种程度上是不负责任的。
更好地理解GNNs适合与不适合哪些问题可以帮助我们更好地设计相关模型。本文研究了基于信息传递的图神经网络GNNmp的表达能力,包括GCN、gated graph neural networks等,并回答了如下问题:(1)什么是GNNmp可以计算的?本文证明了在一定条件下,GNNmp可以计算任何可以被图灵机计算的函数。(2)什么是GNNmp不可以计算的?
本文证明了如果乘积dw被限制,GNNmp的能力会损失很大一部分。近来,有很多关于构建可以学会推理的神经网络的尝试。推理任务多种多样,如视觉或文本问答、预测物体随时间的演化、数学推理等。本文通过建立一个理论框架来回答这个问题,我们发现如果可以在推理问题和网络之间建立良好的对应关系,那么这个问题可以被很好地解决。
GCNs在图的很多任务上取得了SOTA的表现,如节点分类,社交推荐,关联预测等,而over-fitting和over-smoothing是两个阻碍GCNs在节点分类等任务上进一步发展的问题。
本文提出了DropEdge,可以同时缓解如上的两个问题,一方面,它可以看做是一种无偏的数据增强方式,通过随机地将原图变形,可以增加输入数据的多样性,从而可以缓解over-fitting的现象;另一方面,它可以减少信息在节点间传递,使得节点之间的连接更加稀疏,从而可以一定程度上避免over-smoothing。