把神经网络模型扩展到图结构数据是当前机器学习领域的研究热点,其中的代表有图卷积网络以及它的变种形式。图卷积网络的训练通常采用监督学习的方法,借助图或节点的标签定义优化目标。然而很多情况下,尤其是面对大规模网络,我们难以获得大量标记的训练数据。本文中,作者提出了 Deep Graph Infomax (DGI),使图卷积网络能够无监督地学习图中的结构信息。
无监督学习需要根据输入数据的特点构造优化目标。对于图结构数据,常见的构造方法包括重构邻接矩阵,借助随机游走和负采样构造正负例等。本文作者受到 Mutual Information Neural Estimation (MINE) 和 Deep InfoMax (DIM) 的启发,提出了基于互信息(Mutual Information)的无监督学习目标。
假设模型的输入是 (X, A),分别表示节点特征矩阵和图的邻接矩阵。
DGI 模型的计算过程如下:1. 通过某种随机变换 C 构造一个负例 (\tilde{X}, \tilde{A});2. 通过图卷积网络分别得到 (X, A) 的隐表示矩阵 H,以及 (\tilde{X}, \tilde{A}) 的隐表示矩阵 \tilde{H};3. 定义函数 R 得到整个图的隐表示 s = R(H);4. 通过优化下面的目标函数学习整个模型的参数,其中 N 和 M 分别表示 A 和 \tilde{A} 中的节点数。
优化目标函数 L 相当于最大化节点表示 h_i 和图表示 s 之间的互信息。作者在实验中使用了双线性函数定义 D,并通过 sigmoid 函数转成概率值。作者分别在三类任务中应用了 DGI 模型,分别是 Transductive Learning,Inductive Learning 以及多个图之间的 Inductive Learning,主要区别在于构造负例的方法上。
在 Transductive Learning 和 Inductive Learning 任务中,由于节点都属于同一个图,作者在构造负例时保持邻接矩阵不变,按行打乱节点特征矩阵 X,相当于交换原图中某些点的位置;在多个图之间的 Inductive Learning 任务中,作者随机选择一个图作为负例进行目标函数的计算。
由于 DGI 在学习节点表示的过程中没有任何监督标记,因此需要另外训练分类器(如逻辑回归)得到最终的分类结果。