图表示学习一直是机器学习中一个重要的问题。除却耳熟能详者有 DeepWalk 类者、GNNs 类者、生成类如 GraphGAN 者等等,还有哪些模型是值得去探索的呢?下面的两篇文章分别在节点层面和图层面研究了相关的问题。
Inductive and Unsupervised Representation Learning on Graph Structured Objects 这篇文章中,作者提出了一种新的通用的思路,即 SEED(Sampling,Encoding,and Embedding Distribution),在理论上分析了其和图同构的关系,实现了其中一个可能的版本,并从实验上证明了其之有效性。
这种模型架构基于两个同构的图之间的子图的分布也应该彼此较为相近的假设出发,使用两个图之间子图分布之间的距离来度量两个图之间的距离。
具体地,这类模型可以概括为如下三个步骤:(1)采样,从输入的图中采样得到很多个子图,并希望可以采集到的那些容易被编码和解码的子图;(2)编码,作者尝试定义一个子图的好的表示应该是可以从这样的表示中很好地重构出原来子图的结构;(3)获取子图表示分布,子图的表示向量被聚合到一个向量中作为整个图的表示向量,对于两个图而言,他们之间的距离可以被子图表示分布之间的距离度量。
这样设计的目标是,希望可以寻找到一种聚合函数可以保持预先定义好的分布之间的距离。StructPool: Structured Graph Pooling via Conditional Random Fields 这篇文章的任务是图层面的表征学习。
作者从 graph pooling 的角度出发,指出现有的很多方法并没有显示的考虑图结构的信息,并将 graph pooling 的过程转化为节点分类,从而其目标变为学习一个 cluster assignment matrix。对于一个节点的分类不仅与这个节点的特征有关,还与其他节点的分类有关,于是文章采用条件随机场的方法来建模这种关系,并结合图结构信息设计吉布斯能量方程。
而结果也证明了这种方法的有效性。