2020年3月29日，中国中文信息学会社会媒体处理专委会和北京智源人工智能研究院联合主办的“图神经网络在线研讨会2020”成功召开，超过5000人报名参加本次活动。
本次讲座中，北邮计算机学院教授石川针对图神经网络研究的重要挑战——传统采用的是同质图数据，无法满足业界交互系统对异质图的实际需求，介绍了自己对于解决方案的一系列相关研究工作，包括：异质信息网络的表示学习、浅层模型、深层模型、元路径的选择等关键技术以及它们在电子商务问题中的应用等。
石川教授是北京邮电大学计算机学院教授，博士研究生导师、智能通信软件与多媒体北京市重点实验室副主任。主要研究方向包括数据挖掘、机器学习、人工智能和演化计算。在IEEE TKDE、KDD、WWW、AAAI、IJCAI等期刊和国际会议上发表论文100余篇，英文专著一部。获得ADMA2011/AMDA2018国际会议最佳论文奖、CCF-腾讯犀牛鸟基金及项目优秀奖等。
以下为石川教授《异质图神经网络及其在电商中的应用》报告文字版整理内容。
01 异质信息网络的表示学习
异质信息网络的表示学习作为机器学习和数据挖掘的基础，表示学习加上优化目标和优化算法就构成了机器学习；好的表示对成功的机器学习和数据挖掘有着重要的作用。之前的表示学习主要是基于手工提取特征来实现的，近些年来，由于深度学习的兴起，端到端的表示学习方法可以抽取层次化的特征表示。网络结构的数据在实际应用中非常普遍，学习网络结构的表示是近些年来的研究热点。
目前很多图神经网络主要是基于同质信息网络，同质信息网络只有一种类型的节点和边；在实际应用中，会存在大量由不同节点和边构成的交互系统，例如文献数据、电影数据、以及社交网络知识图谱等，在这些网络中，不同类型的对象相互交互。不同类型的对象性质不同，交互关系的特性不同会导致很大差异的分析，所以在异质网络中，需要考虑不同类型的对象交互关系对结果的影响。
在异质信息网络中，网络模式是对一个网络的元级描述，刻画了网络中包含了不同类型的对象和不同类型的关系。例如在图1的网络实例中，描述了作者撰写论文，论文发表在会议上；这个网络实例就包含三类对象：作者、论文和会议，以及他们之间的相互交互关系。
元路径是异质信息网络中另外一个很重要的概念。简而言之，元路径就是连接两个对象的一个关系序列。如图2所示，连接两个author可以有不同的元路径。
例如：author->paper->author，描述的是两个作者之间的合作关系；还可以有author->paper->venue->paper->author，这条元路径描述的是两个作者参加同一个会议这么一个关系。元路径包含丰富的语意，抽取网络中的一些子结构，因此被广泛应用于异质网络分析中。
基于这两个概念的基础上，也提出了很多其他一些概念，例如元图，元结构，以及有约束的元路径等一些概念，它可以更细致的描述网络里面的属性信息。
石川指出，异质信息网络表示学习目前存在一些挑战，例如如何解决异质性、如何融合信息以及捕捉丰富的语义信息等，主要的解决方案有经典浅层模型和深度模型两个方面。
02 浅层模型
在同质网络中，有一些很经典的浅层模型，例如DeepWalk、Line等一系列方法，这些方法的核心思想是基于随机游走产生一个节点序列，然后类比于自然语言处理单词序列的方法，通过skip-gram的方法来学习网络表示。
在异质网络中也是采用类似的思路，为了高效的随机游走，一般是采用元路径的随机游走方式，元路径在游走的过程中可以把节点类型信息和边类型信息固定下来。
针对元路径的随机游走，然后采用skim-gram来进行目标优化，metapath2vec和metapath2vec++有一个区别。在soft-max操作中，metapath2vec++在分母中是按照下一个节点类型中的所有节点求和的，而metapath2vec是不考虑节点类型，直接对所有节点求和。
metapath2vec++的优点在于考虑下一个节点的节点类型可以使游走概率的值大一些，在很多情况下效果会好一些。
Metapath2vec是基于元路径随机游走和skim-gram的方式解决异质性，也基本上奠基了这个方向研究的基本思路。
HERec是另外一种处理异质信息网络的浅层模型，它的基本思路是通过一些对称的元路径将异质图变成同质图，然后在同质图中用DeepWalk、Line等方法学习到网络表示。
另一种基于游走的方法是HIN2Vec，首先HIN2Vec在异质网络中游走，抽取点边序列，即节点X、Y和它们之间对应的关系R，在游走的过程中点边序列抽取出来就可以构成序列样本，然后就可以通过判断节点X、Y是否具有关系R把原来的问题变成分类问题，将分类问题作为优化目标学习网络表示。
Metapath2vec、HERec和HIN2Vec是异质信息网络表示的三个早期的工作，给后来的工作奠定了基础。最近几年也有一些比较优秀的工作。MCRec通过刻画user和item的丰富的交互关系来学习节点表示。为了找到有代表性的负样本，HeGAN根据关系类型用GAN生成好的负样本。RHINE为了区分异质信息网络中不同类型的关系，借鉴知识表示的思想学习网络表示。
03 深层模型
深层模型就是用神经网络进行深度建模。在推荐领域，一般主要分析user和item之间的交互矩阵来得到user和item之间的隐含特征，但是考虑到异质信息网络实际上包含了不同方面的交互信息，NeuACF尝试将不同方面的信息融合。先通过一些不同方面的元路径抽取不同维度的信息。例如，通过UIU和IUI抽取用户购买记录方面的特征，UIBIU和IBI元路径可以抽取出品牌方面的信息。
然后构造出aspect-level的相似性矩阵，然后用MLP学习aspect-level的潜在因子，最后用attention机制将aspect-level的潜在因子融合，得到损失函数。
Attention机制在图神经网络中有着重要的应用，但是在异质信息网络中应用attention需要两方面的考虑：一个是节点级别的attention，考虑节点与邻居之间的attention；另外一个是语义级别的attention，即在元路径上将节点信息通过attention聚合。基于此，HAN模型将attention机制应用到异质信息网络中。
HAN首先把节点映射到相同的特征空间，然后用一个node级别的attention机制，把这些邻居节点聚合起来，再用semantic attention机制将元路径信息融合。
在异质图中，不同类型的节点有不同类型的属性特征。HetGNN将节点的属性信息融合到异质信息网络中。HetGNN先考虑某一类型节点的属性信息，通过神经网络将节点不同模态的属性信息融合起来，然后将节点的一跳邻居中同一类型的节点用BLSTM融合起来，最后再将不同类型的节点信息通过神经网络聚合。HetGNN可以处理异质关系和异质属性。
接下来石川提到了元路径选择问题。元路径选择是异质信息网络分析的基本步骤，一般来说，都是选择连接关系比较丰富、语义特性比较强的元路径。但是找到这样的元路径需要比较多的领域知识，在实际操作中也会存在一些问题。为此，石川给出了三种解决思路：
1. 把元路径提纯，不同的元路径表示不同方面的信息，再把不同方面纯化后的信息融合起来；
2. 可以舍弃元路径，元路径之所以重要是因为它能抽取高阶关系，如果不用元路径也可以通过保持网络模式的结构特性学习到高阶关系；
3. 自动找寻元路径，例如知识图谱里面有些节点之间存在内在关系，可以借鉴知识补全的思路自动生成元路径。
04 异质图神经网络的应用
图神经网络和网络表示学习目前在产业界已经有很多应用，下面石川以它们在电子商务领域的应用为例，进行了深入浅出的介绍。
4.1 套现用户检测
套现是套取现金的简称，一般是指用违法或虚假的手段交换取得现金利益。判断一个用户是不是套现用户，传统方法是把套现用户检测看成一个分类问题，通过抽取出用户特征，然后用分类器来进行分类。这个过程的一个关键问题是怎么才能抽取出足够丰富的特征。而在电商特别是互联网金融方面，用户特征大量蕴含在交互行为里面，那么怎么从这种交互行为里面抽取出用户特征，是这个问题的关键。
对此，提出把用户、商家、设备等信息的交互关系构建为一个异质网络，网络要学出用户的特征表示。进一步提出的模型首先考虑用户的自然属性信息，以及用户基于不同元路径的邻居。更进一步把用户的不同Feature和其邻居特征通过Feature attention机制融合起来，最后利用Path相关的Attention，把基于不同元路径的特征融合起来。
4.2 意图推荐
意图推荐这个概念，比较常见而直观的理解可以打开手机淘宝，看一下搜索框中会有的一个默认搜索内容，这个就是系统认为的用户潜在购买意图，意图推荐要解决的问题是如何准确的生成内容。可以设计一个异质网络来解决这个问题。如图所示，网络中刻划了用户、物品和查询词三者之间的交互关系，模型来学习user、item、query之间的表示，然后看看针对一个用户来推荐什么样的query。
我们同样是基于元路径来聚合邻居信息，在这个过程中可以利用不同的元路径来聚合不同的邻居信息。
4.3 用户聚类用户聚类是利用用户的特征信息，以及用户的社交连接关系对用户做一个类别划分，对广告推荐是很有帮助的。目前深度学习已经广泛应用于推荐、聚类任务当中。聚类主要是分析用户的特征信息，特征实际上也包含有结构信息，能不能把结构和特征两方面联合起来做聚类，是接下来介绍的一个模型的工作。
首先用深度神经网络学得用户的隐含特征表示，这是深度聚类里面常用的做法。另一方面，根据用户的社交关系，构造KNN图得到用户的关联图，学得表示过程中，把DNN里面学的每一层的特征和GCN里面的节点特征表示拼合起来再做聚合。
除了上面的介绍之外，还有一些其他的应用。如共享推荐中一个用户是否把新闻或者商品推荐给他的朋友；基于朋友关系的推荐中根据朋友的点赞信息决定是否给用户推荐。对于这些含有丰富交互信息的应用场景都可以采用异质网络建模和采用图神经网络进行分析。
结语
石川最后总结说，异质信息网络被广泛应用在数据挖掘领域，研究有近十年的历史，特别是最近几年随着网络表示学习的兴起，工业界中也随之涌现了大量需求。异质信息网络能够很自然的融合不同方面的信息，所以在解决大数据的多样性方面，是一个比较有效的方法。
关于异质信息网络特别是异质图网络的未来研究方向，石川认为可以从以下几个方面入手：
1. 异质图神经网络内在学习机理
2. 动态网络
3. 多模态数据处理