由于图神经网络(GNN)在图数据学习方面的优越性,基于GNN的推荐将用户-商品的交互信息建模为二部图,并利用GNN将空间结构信息整合到嵌入表示中。大量基于GNN的推荐工作研究了GNN的聚合方式,从空间结构信息的角度学习用户和商品的嵌入表示。然而,现有的聚合方式更侧重于如何利用图的空间结构信息,忽略了邻居的时间信息。
这是一个重要的信号,对基于GNN的推荐中的聚合有着很大贡献,但并未在邻居嵌入表示学习中进行编码。
在之前的基于GNN的推荐中,邻居聚合方法仅涉及空间结构信息,而忽略了邻居的时间信息,无法捕获用户的动态兴趣。电子商务平台的基本功能是收集丰富的用户行为历史以及时间信息。然而,之前基于GNN的推荐中的聚合方法尚未充分利用这些时间信息来学习高质量的嵌入表示,并且只能展示用户的内在兴趣。为了充分理解这项工作的动机,我们给出了一个STAM示例来展示时间信息在基于GNN的推荐中的重要性。
为了将时间信息整合到邻居嵌入学习中,STAM利用Scaled Dot-Product Attention来捕获一阶邻居的时间顺序,并利用多头注意力机制在不同的潜在子空间上执行联合注意力。STAM的整体架构以时间序列Tu和Tv作为输入,输出一阶邻居的时空邻居嵌入表示。STAM是一种时空聚合方法,从空间结构和时间顺序两个角度同时学习邻居的嵌入表示。
我们将STAM应用到基于GNN的推荐中来学习用户和商品的嵌入表示。与基于GNN的推荐类似,我们堆叠多个STAM以捕获用户-商品二部图中的高阶交互信息。然而,当从一阶邻居逐层传播时空邻居嵌入表示时,STAM将遭受成倍增加的内存消耗。为此,我们从时空邻居嵌入表示中学习一个时空注意力权重矩阵,并将其整合到邻接矩阵中进行用户/商品的嵌入表示学习。
STAM不改变基于GNN推荐的框架,可以很自然地插入到现有的基于GNN的推荐模型中。我们将STAM应用于基于GNN的推荐,并将其推荐性能与具有代表性的基于GNN的模型进行比较。实验结果表明,STAM在MRR@20上的平均相对增长超过了目前最佳基线,例如在MovieLens带来了24%的性能提升,在Amazon上实现了8%的性能增长,在Taobao上优于最佳基线13%。
性能提升的原因来自于在邻居聚合中考虑了时间信息的影响,验证了时间信息对于邻居聚合方法的重要性。