第17卷第4期 智能系统学报 Vol.17 No.4 2022年7月 CAAI Transactions on Intelligent Systems Jul.2022 D0:10.11992/tis.202107031 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20220420.1339.002.html 融合社交关系的轻量级图卷积协同过滤推荐方法 朱金侠，孟祥福，邢长征，孙德伟，薛琪，关钧渤 (辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛125105) 摘要：图卷积网络(graph convolution network,GCN)因其强大的建模能力得到了迅速发展，目前大部分研究工 作直接继承了GCN的复杂设计（如特征变换，非线性激活等），缺乏简化工作。另外，数据稀疏性和隐式负反 馈没有被充分利用，也是当前推荐算法的局限。为了应对以上问题，提出了一种融合社交关系的轻量级图卷积 协同过滤推荐模型。模型摒弃了GCN中特征变换和非线性激活的设计；利用社交关系从隐式负反馈中产生一 系列的中间反馈，提高了隐式负反馈的利用率；最后，通过双层注意力机制分别突出了邻居节点的贡献值和每 一层图卷积层学习向量的重要性。在2个公开的数据集上进行实验，结果表明所提模型的推荐效果优于当前 的图卷积协同过滤算法。 关键词：协同过滤；图卷积网络：注意力机制：社交关系；推荐系统：隐式负反馈；图嵌入；用户偏好 中图分类号：TP311文献标志码：A文章编号：1673-4785(2022)04-0788-10 中文引用格式：朱金侠，孟样福，邢长征，等.融合社交关系的轻量级图卷积协同过滤推荐方法.智能系统学报，2022,17(4)： 788-797. 英文引用格式：ZHU Jinxia,MENG Xiangfu,.XING Changzheng,etal.Light graph convolutional collaborative filtering recom- mendation approach incorporating social relationships J.CAAI transactions on intelligent systems,2022,17(4):788-797. Light graph convolutional collaborative filtering recommendation approach incorporating social relationships ZHU Jinxia,MENG Xiangfu,XING Changzheng,SUN Dewei,XUE Qi,GUAN Junbo (School of Electronics and Information Engineering,Liaoning Technical University,Huludao 125105,China) Abstract:Graph convolutional network (GCN)has rapidly developed due to their powerful modeling capability. However,much of the research up to now has directly inherited the complex design of GCN(e.g.,feature transforma- tion and nonlinear activation),which lacks thorough ablation analysis on GCN.Additionally,implicit feedback is not fully utilized,and data sparsity is not well resolved,which are also shortcomings of current recommendation algorithms. This paper proposes a light graph convolutional collaborative filtering recommendation approach that incorporates so- cial relationships to address such problems (F-LightGCCF).In GCN,the model abandons the design of feature trans- formation and nonlinear activation.Then it can generate a series of intermediate feedback from users'implicit negative feedback by taking advantage of social networking,improving the utilization of implicit negative feedback.Lastly,the importance of the contribution values of neighboring nodes and the learning vectors of each layer of the graph convolu- tion layer are aggregated separately using the dual attention mechanism.By conducting experiments on two publicly available datasets,the results show that the proposed model outperforms current graph convolutional collaborative filter- ing algorithms in the recommendation. Keywords:collaborative filtering;graph convolution network;attention mechanism;social relationships;recommenda- tion system;implicit negative feedback;graph embedding,user preference 移动网络的普遍应用，为人们带来选择麻痹 的困扰，推荐系统是解决信息过载问题的关键技 术。推荐的重点在于推测用户偏好和拓展用户视 收稿日期：2021-07-17.网络出版日期：2022-04-21. 基金项目：国家重点研发计划项目(2018YFB1402901):国家自 野。推荐的核心在于预测用户是否会与某个项目 然科学基金项目(61772249)：辽宁省教育厅一般项 目(LJ2019QL017). 进行交互，例如点击、评级、购买以及其他形式的 通信作者：孟祥福.E-mail:marxi(@I26.com 交互。现有的推荐方法凶大多单一利用可以直
DOI: 10.11992/tis.202107031 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20220420.1339.002.html 融合社交关系的轻量级图卷积协同过滤推荐方法 朱金侠，孟祥福，邢长征，孙德伟，薛琪，关钧渤 （辽宁工程技术大学 电子与信息工程学院，辽宁 葫芦岛 125105） 摘 要：图卷积网络 (graph convolution network, GCN) 因其强大的建模能力得到了迅速发展，目前大部分研究工 作直接继承了 GCN 的复杂设计（如特征变换，非线性激活等），缺乏简化工作。另外，数据稀疏性和隐式负反 馈没有被充分利用，也是当前推荐算法的局限。为了应对以上问题，提出了一种融合社交关系的轻量级图卷积 协同过滤推荐模型。模型摒弃了 GCN 中特征变换和非线性激活的设计；利用社交关系从隐式负反馈中产生一 系列的中间反馈，提高了隐式负反馈的利用率；最后，通过双层注意力机制分别突出了邻居节点的贡献值和每 一层图卷积层学习向量的重要性。在 2 个公开的数据集上进行实验，结果表明所提模型的推荐效果优于当前 的图卷积协同过滤算法。 关键词：协同过滤；图卷积网络；注意力机制；社交关系；推荐系统；隐式负反馈；图嵌入；用户偏好 中图分类号：TP311 文献标志码：A 文章编号：1673−4785(2022)04−0788−10 中文引用格式：朱金侠, 孟祥福, 邢长征, 等. 融合社交关系的轻量级图卷积协同过滤推荐方法 [J]. 智能系统学报, 2022, 17(4): 788–797. 英文引用格式：ZHU Jinxia, MENG Xiangfu, XING Changzheng, et al. Light graph convolutional collaborative filtering recommendation approach incorporating social relationships[J]. CAAI transactions on intelligent systems, 2022, 17(4): 788–797. Light graph convolutional collaborative filtering recommendation approach incorporating social relationships ZHU Jinxia，MENG Xiangfu，XING Changzheng，SUN Dewei，XUE Qi，GUAN Junbo (School of Electronics and Information Engineering, Liaoning Technical University, Huludao 125105, China) Abstract: Graph convolutional network (GCN) has rapidly developed due to their powerful modeling capability. However, much of the research up to now has directly inherited the complex design of GCN (e.g., feature transformation and nonlinear activation), which lacks thorough ablation analysis on GCN. Additionally, implicit feedback is not fully utilized, and data sparsity is not well resolved, which are also shortcomings of current recommendation algorithms. This paper proposes a light graph convolutional collaborative filtering recommendation approach that incorporates social relationships to address such problems (F-LightGCCF). In GCN, the model abandons the design of feature transformation and nonlinear activation. Then it can generate a series of intermediate feedback from users’ implicit negative feedback by taking advantage of social networking, improving the utilization of implicit negative feedback. Lastly, the importance of the contribution values of neighboring nodes and the learning vectors of each layer of the graph convolution layer are aggregated separately using the dual attention mechanism. By conducting experiments on two publicly available datasets, the results show that the proposed model outperforms current graph convolutional collaborative filtering algorithms in the recommendation. Keywords: collaborative filtering; graph convolution network; attention mechanism; social relationships; recommendation system; implicit negative feedback; graph embedding; user preference 移动网络的普遍应用，为人们带来选择麻痹 的困扰，推荐系统是解决信息过载问题的关键技 术。推荐的重点在于推测用户偏好和拓展用户视 野。推荐的核心在于预测用户是否会与某个项目 进行交互，例如点击、评级、购买以及其他形式的 交互。现有的推荐方法[1-2] 大多单一利用可以直 收稿日期：2021−07−17. 网络出版日期：2022−04−21. 基金项目：国家重点研发计划项目（2018YFB1402901）；国家自 然科学基金项目（61772249）；辽宁省教育厅一般项 目（LJ2019QL017）. 通信作者：孟祥福. E-mail：marxi@126.com. 第 17 卷第 4 期 智 能 系 统 学 报 Vol.17 No.4 2022 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2022
第4期 朱金侠，等：融合社交关系的轻量级图卷积协同过滤推荐方法 ·789· 接反映用户偏好的显式反馈信息（如用户评分或 项目，路径L=2表示目标用户与其朋友的行为相 评价)进行推荐。显式反馈的推荐模型，一般无 似度（即亲密度）。例如，、与山直接交互的 法考虑用户对打分机制的宽容度差异，在一定程 项目有两次交互，而、i与山直接交互的项目仅 度上会造成数据误差，从而影响推荐结果。隐式 一次交互，由此可以推断、6与目标用户山的行 反馈（如用户点击或浏览）也是影响推荐结果的 为相似度更高，对“，决策的影响更大。路径 重要因素。研究者在利用隐式反馈时，经常忽略 L=3预测更能引起目标用户山感兴趣的项目。由 那些用户不点击或不浏览的项目，这类数据被称 路径L=2可知，、5与目标用户山，有着更高的行 为隐式负反馈数据。通常，这类数据信息更稠 为相似度，因此推断、方共同交互的5比4、6更 密，可以间接挖掘用户的隐藏偏好，缺点是不易 能引起山，的兴趣。 获取，也更容易包含噪声数据。本文利用用户社 *4 交图的拓扑结构，通过分析用户行为和朋友亲密 度间接捕获这类隐式负反馈，称为中间反馈。中 0（i1+2◆1+i5 间反馈相比于显/隐式反馈被视为弱偏好，而相比 0 于隐式负反馈被视为强偏好。并且，本文利用注 目标用户4 0 意力机制对输入数据的噪声进行过滤，减少噪 i1*i2+3◆？ 2*3*+i6 声数据对结果的消极影响，有助于选择最相关的 信息，而不是所有可用的信息。 (3+6】 此外，数据稀疏性也影响着协同过滤推荐技 (a)用户-朋友社交图 术的准确性。最近，将信息网络嵌入到低维向量 空间的图嵌入方法已被广泛应用于推荐领域5：刀， 这类低维表示比用户-项目交互矩阵更加稠密， 有效缓解了数据稀疏性的消极影响。因此，本文 模型的嵌人层利用图嵌入技术将用户、项目和朋 目标用户4 友信息映射到低维稠密的向量的空间。图卷积网 络因其强大的建模能力得到了快速发展，NGCF LightGCN!9等均为典型的图卷积协同过滤技术。 L=2 0 =3 图卷积网络o(graph convolution network,.GCN)最 (b)用户-项目-朋友高阶连接图 初是为图分类任务设计的，“图像”每个节点都包 图1用户社交图 含丰富的语义信息作为输入。然而，在协同过滤 Fig.1 User social graph 中，每个用户项目只有一个D作为输入，没有具 1.2 相关工作 体的语义。在这种情况下，进行特征变换和非线 随着深度学习的发展，研究者将其与推荐算 性激活可能对推荐效果的提升没有任何好处。换 法)结合，有效提高了推荐结果的准确性。图 句话说，模型包含太多无用的操作，可能会增加 卷积网络使用卷积算子学习图结构的方法逐渐成 模型的训练难度，降低模型性能。基于此猜想， 为推荐新技术，通过平滑图上的特征来学习节点 提出的模型摒弃了图卷积网络中特征变换和非线 的表示。文献[14]提出了一种基于二分图的信息 性激活的设计。 传递自动编码框架GC-MC,通过在用户-项目交 1 研究背景 互图上进行信息传递并产生用户项目节点的潜 在特征，但模型仅考虑了用户的一阶邻居，降低 1.1用户社交图 了训练数据的丰富性。文献[15]提出了一种联合 本文利用用户-朋友社交图和用户-项目-朋 矩阵分解和图卷积神经网络的推荐模型Hop- 友高阶连接图从隐式负反馈中产生一系列的中间 Rec,利用矩阵分解将用户-项目的交互信息因子 反馈。从图1(a)可知目标用户山1有4个朋友，分 化以获取用户偏好，显式的建模用户和项目之间 别为朋友、、方、f。从图1(b)可知路径长度 的高阶偏好。此类高阶偏好尚未编码到消息传递 L>1表示目标用户4，的高阶连接性，此类高阶连 机制中，仅仅丰富了训练数据。 接性承载着“，的显/隐式反馈以及中间反馈的偏 注意力机制可以为不同的用户和项目分配权 好信息。路径L=1表示目标用户“直接交互的 重，动态捕获更具代表性的用户项目影响。文献
接反映用户偏好的显式反馈信息（如用户评分或 评价）进行推荐。显式反馈的推荐模型，一般无 法考虑用户对打分机制的宽容度差异，在一定程 度上会造成数据误差，从而影响推荐结果。隐式 反馈[3] (如用户点击或浏览) 也是影响推荐结果的 重要因素。研究者在利用隐式反馈时，经常忽略 那些用户不点击或不浏览的项目，这类数据被称 为隐式负反馈数据。通常，这类数据信息更稠 密，可以间接挖掘用户的隐藏偏好，缺点是不易 获取，也更容易包含噪声数据。本文利用用户社 交图的拓扑结构，通过分析用户行为和朋友亲密 度间接捕获这类隐式负反馈，称为中间反馈。中 间反馈相比于显/隐式反馈被视为弱偏好，而相比 于隐式负反馈被视为强偏好。并且，本文利用注 意力机制[4] 对输入数据的噪声进行过滤，减少噪 声数据对结果的消极影响，有助于选择最相关的 信息，而不是所有可用的信息。 此外，数据稀疏性也影响着协同过滤推荐技 术的准确性。最近，将信息网络嵌入到低维向量 空间的图嵌入方法已被广泛应用于推荐领域[5-7] ， 这类低维表示比用户–项目交互矩阵更加稠密， 有效缓解了数据稀疏性的消极影响。因此，本文 模型的嵌入层利用图嵌入技术将用户、项目和朋 友信息映射到低维稠密的向量的空间。图卷积网 络因其强大的建模能力得到了快速发展，NGCF[8] 、 LightGCN[9] 等均为典型的图卷积协同过滤技术。 图卷积网络[10] (graph convolution network, GCN) 最 初是为图分类任务设计的，“图像”每个节点都包 含丰富的语义信息作为输入。然而，在协同过滤 中，每个用户/项目只有一个 ID 作为输入，没有具 体的语义。在这种情况下，进行特征变换和非线 性激活可能对推荐效果的提升没有任何好处。换 句话说，模型包含太多无用的操作，可能会增加 模型的训练难度，降低模型性能。基于此猜想， 提出的模型摒弃了图卷积网络中特征变换和非线 性激活的设计。 1 研究背景 1.1 用户社交图 本文利用用户–朋友社交图和用户–项目–朋 友高阶连接图从隐式负反馈中产生一系列的中间 反馈。从图 1(a) 可知目标用户 u1 有 4 个朋友，分 别为朋友 f1、f2、f3、f4。从图 1(b) 可知路径长度 L>1 表示目标用户 u1 的高阶连接性，此类高阶连 接性承载着 u1 的显/隐式反馈以及中间反馈的偏 好信息。路径 L=1 表示目标用户 u1 直接交互的 项目，路径 L=2 表示目标用户与其朋友的行为相 似度（即亲密度）。例如， f2、f3 与 u1 直接交互的 项目有两次交互，而 f1、f4 与 u1 直接交互的项目仅 一次交互，由此可以推断 f2、f3 与目标用户 u1 的行 为相似度更高， 对 u1 决策的影响更大。路 径 L=3 预测更能引起目标用户 u1 感兴趣的项目。由 路径 L=2 可知， f2、f3 与目标用户 u1 有着更高的行 为相似度，因此推断 f2、f3 共同交互的 i5 比 i4、i6 更 能引起 u1 的兴趣。 目标用户 u1 目标用户 u1 f1 f2 f3 f4 i1 i2 i3 ? i1 i4 i1 i2 i4 i5 i2 i3 i5 i6 i2 i3 i6 i3 i5 i6 f1 f2 f3 f4 i1 i2 i3 i4 i5 i6 L=1 L=2 L=3 (a) 用户−朋友社交图 (b) 用户−项目−朋友高阶连接图 图 1 用户社交图 Fig. 1 User social graph 1.2 相关工作 随着深度学习的发展，研究者将其与推荐算 法 [11-13] 结合，有效提高了推荐结果的准确性。图 卷积网络使用卷积算子学习图结构的方法逐渐成 为推荐新技术，通过平滑图上的特征来学习节点 的表示。文献 [14] 提出了一种基于二分图的信息 传递自动编码框架 GC-MC，通过在用户–项目交 互图上进行信息传递并产生用户/项目节点的潜 在特征，但模型仅考虑了用户的一阶邻居，降低 了训练数据的丰富性。文献 [15] 提出了一种联合 矩阵分解和图卷积神经网络的推荐模型 HopRec，利用矩阵分解将用户–项目的交互信息因子 化以获取用户偏好，显式的建模用户和项目之间 的高阶偏好。此类高阶偏好尚未编码到消息传递 机制中，仅仅丰富了训练数据。 注意力机制可以为不同的用户和项目分配权 重，动态捕获更具代表性的用户/项目影响。文献 第 4 期 朱金侠，等：融合社交关系的轻量级图卷积协同过滤推荐方法 ·789·
·790· 智能系统学报 第17卷 [16]提出了一种引入双层注意力机制的DAML 含N个项目。 模型，联合卷积神经网络的局部注意力和相互注 定义2（用户-朋友社交图）用户与朋友之 意力学习用户和评论之间所存在的潜在特征的相 间的交互构成了用户-朋友社交图，记为 关性。模型仅利用了用户的显式反馈，忽略了隐 GF{UUF,E,是一个社会关系图。其中F={f, 式反馈的重要影响。文献[1)提出了一种联合反 ,…,}为朋友集包含了L个朋友，E是用户和 向传播与注意力机制的推荐模型，利用反向传播 朋友之间边的集合。 学习目标用户与邻居节点之间的信息传播，设计 定义3（交互矩阵）用户与项目之间的交互 注意力机制捕获每个用户对所有最近邻居节点的 构成了交互矩阵，记为，其中m和n分别为用 总体影响。但模型尚未有效解决数据稀疏性对推 户和项目的数量。R中的每个元素记为rm,表示 荐结果产生的消极影响。 用户与项目i是否交互；若用户u与项目i之间 需指出的是，以往的推荐技术在不同程度上 有过交互，则rmn记为1，否则rm为0。 提高了推荐结果的有效性，但是在缓解数据稀疏 定义4（中间反馈）通过分析用户行为和朋 性以及隐式负反馈的低利用率等方面尚有不足。 友亲密度而间接捕获的用户对项目的隐式偏好，称 本文提出的模型通过图嵌人技术将用户、项目以 为中间反馈。中间反馈相比于显/隐式反馈被视 及朋友信息嵌入到低维向量空间中，利用高阶图 为弱偏好，而相比于隐式负反馈被视为强偏好。 卷积层学习用户、项目、朋友之间的高阶连接信 2.2解决方案 息，从隐式负反馈中产生一系列的中间反馈，以 本文设计了一种融合社交关系的轻量级图卷 统一的方式缓解了数据稀疏性和隐式负反馈利用 积协同过滤模型，框架如图2，主要由3个模块组 率低下的局限。 成。①嵌入层：初始化用户和项目的嵌人向量。 2问题定义与解决方案 ②图卷积层：通过学习用户-朋友社交图和用户- 项目-朋友高阶连接图的用户和项目嵌入，从隐 2.1问题定义 式负反馈中产生一系列中间反馈，并利用高阶连 定义1（用户与项目集合）用户集0={w, 接信息来细化嵌入向量。③预测层：采用内积交 2,…,um}包含M个用户，项目集I={i,i2,…,iw包 互函数，得到用户与项目之间的关联分数。 ①。用户-项目关联分数 注意力机制 ⑦ 内积预测函数 softmax) 分层聚合机制 多层感知机 预测层 h eamee eme peso ●●●●●● 哈达玛积 哈达玛积 归一化求和 归一化求和 ①④ en-ea-egu-n 3 图注意力网络 山邻居节点 i,邻居节点 图注意力网络 图卷积层 eto■T直■ eso■T■ 嵌人层 图2F-LightGCCF模型框架图 Fig.2 Framework of F-LightGCCF model 2.2.1嵌入层 及项目等嵌入向量构成的初始嵌人向量查找表为 根据图嵌入模型5刀，一个用户（朋友∫或项 Em=[emeeaenep...enenen..ew] 目i)的嵌人向量表示为cmeR(c∈eR或c,∈R, 其中，嵌入查找表作为用户嵌入、用户朋友嵌入 其中d表示嵌入向量的维度，用户、用户朋友以 以及项目嵌入的初始状态，以端到端的方式进行
[16] 提出了一种引入双层注意力机制的 DAML 模型，联合卷积神经网络的局部注意力和相互注 意力学习用户和评论之间所存在的潜在特征的相 关性。模型仅利用了用户的显式反馈，忽略了隐 式反馈的重要影响。文献 [17] 提出了一种联合反 向传播与注意力机制的推荐模型，利用反向传播 学习目标用户与邻居节点之间的信息传播，设计 注意力机制捕获每个用户对所有最近邻居节点的 总体影响。但模型尚未有效解决数据稀疏性对推 荐结果产生的消极影响。 需指出的是，以往的推荐技术在不同程度上 提高了推荐结果的有效性，但是在缓解数据稀疏 性以及隐式负反馈的低利用率等方面尚有不足。 本文提出的模型通过图嵌入技术将用户、项目以 及朋友信息嵌入到低维向量空间中，利用高阶图 卷积层学习用户、项目、朋友之间的高阶连接信 息，从隐式负反馈中产生一系列的中间反馈，以 统一的方式缓解了数据稀疏性和隐式负反馈利用 率低下的局限。 2 问题定义与解决方案 2.1 问题定义 U = {u1, u2,··· ,um} I = {i1,i2,··· ,iN} 定义 1（用户与项目集合） 用户集 包含 M 个用户，项目集 包 含 N 个项目。 定义 2（用户–朋友社交图） 用户与朋友之 间的交互构成了用户 – 朋友社交图，记 为 Guf={U∪F, Euf}，是一个社会关系图。其中 F={f1 , f2 , …, fL}为朋友集包含了 L 个朋友，Euf 是用户和 朋友之间边的集合。 定义 3（交互矩阵） 用户与项目之间的交互 构成了交互矩阵，记为 R m×n ，其中 m 和 n 分别为用 户和项目的数量。R 中的每个元素记为 rmn，表示 用户 u 与项目 i 是否交互；若用户 u 与项目 i 之间 有过交互，则 rmn 记为 1，否则 rmn 为 0。 定义 4（中间反馈） 通过分析用户行为和朋 友亲密度而间接捕获的用户对项目的隐式偏好，称 为中间反馈。中间反馈相比于显/隐式反馈被视 为弱偏好，而相比于隐式负反馈被视为强偏好。 2.2 解决方案 本文设计了一种融合社交关系的轻量级图卷 积协同过滤模型，框架如图 2，主要由 3 个模块组 成。①嵌入层：初始化用户和项目的嵌入向量。 ②图卷积层：通过学习用户–朋友社交图和用户– 项目–朋友高阶连接图的用户和项目嵌入，从隐 式负反馈中产生一系列中间反馈，并利用高阶连 接信息来细化嵌入向量。③预测层：采用内积交 互函数，得到用户与项目之间的关联分数。 × 分层聚合机制 嵌入层 i5 邻居节点 f2 f3 归一化求和 哈达玛积 l=3 l=2 l=1 l=3 l=2 l=1 u1 邻居节点 i1 i2 i3 归一化求和 哈达玛积 eu1 eui ef2 αif2 αif3 ef3 ei5 αui1 αui2 αui3 ei1 ei2 ei3 图卷积层 图注意力网络 图注意力网络 + + 内积预测函数 预测层 pi eu1 (1) eu1 (2) eu1 (3) ei5 (1) ei5 (2) ei5 (3) eu1 (0) ei5 (0) ei1 (l−1) qj . . . . . . h T 注意力机制 γ softmax 多层感知机 用户−项目关联分数 Soft max Soft max ei3 (l−1) ei2 (l−1) ef2 (l−1) ef3 (l−1) yui ~ 图 2 F-LightGCCF 模型框架图 Fig. 2 Framework of F-LightGCCF model 2.2.1 嵌入层 根据图嵌入模型[5-7] ，一个用户 u（朋友 f 或项 目 i）的嵌入向量表示为 cu∈R d ( cf ∈R d 或 ci ∈R d )， 其中 d 表示嵌入向量的维度，用户、用户朋友以 及项目等嵌入向量构成的初始嵌入向量查找表为 Em = [eu1eu2 ··· euMef 1ef 2 ··· ef Lei1ei2 ··· eiN] 其中，嵌入查找表作为用户嵌入、用户朋友嵌入 以及项目嵌入的初始状态，以端到端的方式进行 ·790· 智 能 系 统 学 报 第 17 卷
第4期 朱金侠，等：融合社交关系的轻量级图卷积协同过滤推荐方法 ·791· 传递和优化。 之间的亲密度。当L=3时存在连接用户朋友-项 2.2.2图卷积层 目对（〔），从用户未交互项i到用户朋友f的消息 受GAT、NGCF8、LightGCNI9等模型的启 传递可定义为m》,=f(e,er,P),从隐式负反馈中 发，在GCN消息传递机制的基础上，从图结构 产生一系列的中间反馈。L=2与L=3消息构建原 中捕获协同过滤(collaborative filtering,CF)信号， 理与L=1相同。图3展示了目标用户山，的三阶 并细化嵌入向量。本文设计了由消息构建和消息 图卷积传播过程，如is→→i2→4这条传播链上 聚合两部分构成的图卷积层。 的交互信息被模型捕获，使得上的信息被编码 1)消息构建 到e。由此，通过堆叠3层图卷积层，利用社交 从图1(b)可知，当L=1时存在连接用户-项目 关系捕获隐式负反馈信息（即，中间反馈）。 对(u,),从项目i到用户u的消息传递定义为 mr-i=f（ei,e,Pm) 其中，←-i表示从项目到用户的方向传递交互信 息，m为表示传递消息的嵌入向量，)是一个消 息编码函数，输入为该用户-项目节点对中用户 u和项目i的嵌人向量en和e,以及相关系数pm, 相关系数p用来控制(u,i)边上每次传播时的衰 3-阶邻居 2-阶邻居 1阶邻居 减因子。 图3三阶图卷积传播层 本文中，消息编码函数)的具体定义为 Fig.3 Third-order graph convolution propagation layers 1 2)消息聚合 mu-i auel+(e:⊙e) 经过3层图卷积传播后，相应的得到了用户 其中，本文模型不仅考虑了e,的影响，还利用哈 的3个不同的嵌人向量表达，它们对用户偏好 达玛积(e:⊙e)将用户与项目之间的交互信息编 有不同的影响。通过聚合目标用户的所有邻居 码到消息传递机制中，使得消息传递取决于e,与 节点特征来更新用户u的嵌入表达e,聚合函数 eu之间的亲密度值。相关性系数Pm=1/VWW 可定义为 采用图卷积神经网络中常用的拉普拉斯范数，其 e m lmm 中N,和N,表示用户u与项目i的一阶邻居。 式中：表示拼接运算。 传统的聚合函数不能区分邻域的重要性，在 2.2.3预测层 更新节点时，所有邻域被赋予一个静态权重。因 同理，对经过3层图卷积传播后得到的3个 此，本文利用图注意力网络衡量邻域的贡献值， 不同的项目嵌入表达，最终的用户和项目的嵌入 还使得模型更新邻域节点权重时仅依赖于节点之 表达分别如式(1)、(2)所示： 间的特征表达，独立于具体的图结构（图2展示了 图注意力网络更新特征节点的方式)，提高了模 e=〉hxe (1) =1 型的泛化能力。 依据图注意力网络原理，邻居节点i对目标 (2) 节点的影响，可由注意力相关分数表示： e=LeakyRelu(elle) 式中：≥0表示第1层嵌入的重要程度，该参数采 最后，使用softmax函数对输出结果进行归一 用注意力机制自动优化。 化，得到目标用户u的所有邻居节点i的注意力 本文采用一个多层感知机来实现注意力机制： 权重，计算方法为 F(p,q)=hReLU(w(p:⊙q）+b) exp(e) 式中：p,通过图嵌入技术将one-hot稀疏向量转换 a softmax()= (∑ee) 为低维稠密向量表示，P,∈R;d为嵌入向量维 度；q为每个与用户交互过的项目嵌入表达， 其中，B,为一个平滑系数，防止softmax函数对活 g∈R;jER,R为与用户交互过的项目集合： 跃用户权重的过度惩罚，取值范围为[0,1]。 wd、b1分别表示从输入层到隐藏层的权重矩阵 同理，当=2时存在连接项目-用户朋友对 和防止过拟合的偏置项；h「表示从隐藏层到输入 (,),从用户朋友∫到用户直接交互项i的消息传 层的权重向量。最后使用softmax函数对输出结 递可定义为m2,=f(esePu),捕获了用户与朋友 果进行归一化处理：
传递和优化。 2.2.2 图卷积层 受 GAT[4] 、NGCF[8] 、LightGCN[9] 等模型的启 发，在 GCN[10] 消息传递机制的基础上，从图结构 中捕获协同过滤 (collaborative filtering，CF) 信号， 并细化嵌入向量。本文设计了由消息构建和消息 聚合两部分构成的图卷积层。 1）消息构建 从图 1(b) 可知，当 L=1 时存在连接用户–项目 对 (u,i)，从项目 i 到用户 u 的消息传递定义为 mu←i = f(ei ,eu,pui) 其中，u←i 表示从项目到用户的方向传递交互信 息， m 为表示传递消息的嵌入向量，f() 是一个消 息编码函数，输入为该用户–项目节点对中用户 u 和项目 i 的嵌入向量 eu 和 ei，以及相关系数 pui， 相关系数 p 用来控制 (u，i) 边上每次传播时的衰 减因子。 本文中，消息编码函数 f() 的具体定义为 mu←i = 1 √ |Nu∥N| σ ∑ i∈Nu αuεi +(ei ⊙eu) ei ⊙eu pui = 1/ √ |Nu| |Ni | 其中，本文模型不仅考虑了 ei 的影响，还利用哈 达玛积 ( ) 将用户与项目之间的交互信息编 码到消息传递机制中，使得消息传递取决于 ei 与 eu 之间的亲密度值。相关性系数 采用图卷积神经网络中常用的拉普拉斯范数，其 中 Nu 和 Ni 表示用户 u 与项目 i 的一阶邻居。 传统的聚合函数不能区分邻域的重要性，在 更新节点时，所有邻域被赋予一个静态权重。因 此，本文利用图注意力网络衡量邻域的贡献值， 还使得模型更新邻域节点权重时仅依赖于节点之 间的特征表达，独立于具体的图结构（图 2 展示了 图注意力网络更新特征节点的方式），提高了模 型的泛化能力。 依据图注意力网络原理，邻居节点 i 对目标 节点 u 的影响，可由注意力相关分数表示： eui = LeakyRelu(eu||ei) 最后，使用 softmax 函数对输出结果进行归一 化，得到目标用户 u 的所有邻居节点 i 的注意力 权重，计算方法为 αui = softmax(eui) = exp(eui) (∑ k∈Nu exp(euk) )β1 其中，β1 为一个平滑系数，防止 softmax 函数对活 跃用户权重的过度惩罚，取值范围为 [0,1]。 m (2) i←f = f(ef , ei , pi f) 同理，当 L=2 时存在连接项目–用户朋友对 (i,f)，从用户朋友 f 到用户直接交互项 i 的消息传 递可定义为 ，捕获了用户与朋友 m (3) f←i = f(ei , ef , pf i) e (3) u1 之间的亲密度。当 L=3 时存在连接用户朋友–项 目对 (f,i)，从用户未交互项 i 到用户朋友 f 的消息 传递可定义为 ，从隐式负反馈中 产生一系列的中间反馈。L=2 与 L=3 消息构建原 理与 L=1 相同。图 3 展示了目标用户 u1 的三阶 图卷积传播过程，如 i5→f2→i2→u1 这条传播链上 的交互信息被模型捕获，使得 i5 上的信息被编码 到 。由此，通过堆叠 3 层图卷积层，利用社交 关系捕获隐式负反馈信息 (即，中间反馈)。 图卷积层 图卷积层 图卷积层 ei2 (0) eu1 (1) ei1 (2) eu1 (3) ei2 (2) ei3 (2) ef2 (1) ef3 (1) ei4 (0) ei5 (0) ei6 (0) 3-阶 邻居 2-阶 邻居 1-阶 邻居 图 3 三阶图卷积传播层 Fig. 3 Third-order graph convolution propagation layers 2）消息聚合 经过 3 层图卷积传播后，相应的得到了用户 u 的 3 个不同的嵌入向量表达，它们对用户偏好 有不同的影响。通过聚合目标用户 u 的所有邻居 节点特征来更新用户 u 的嵌入表达 eu，聚合函数 可定义为 e ∗ u = m (1) u←i ||m (2) i←f ||m (3) f←i 式中：ǁ表示拼接运算。 2.2.3 预测层 同理，对经过 3 层图卷积传播后得到的 3 个 不同的项目嵌入表达，最终的用户和项目的嵌入 表达分别如式（1）、（2）所示： eu = ∑3 l=1 γl ×e (l) u (1) ei = ∑3 l=1 γl ∗ e (l) i (2) 式中：γl≥0 表示第 l 层嵌入的重要程度，该参数采 用注意力机制自动优化。 本文采用一个多层感知机来实现注意力机制： F(pi , qj) = h TReLU(w(pi ⊙ qj)+ b) 式中：pi 通过图嵌入技术将 one-hot 稀疏向量转换 为低维稠密向量表示，pi∈R d×1 ；d 为嵌入向量维 度 ； qj 为每个与用户交互过的项目嵌入表达， qj∈R d×1 ；j∈Ru + ，Ru +为与用户交互过的项目集合； w l×d 、b d×1 分别表示从输入层到隐藏层的权重矩阵 和防止过拟合的偏置项；h T 表示从隐藏层到输入 层的权重向量。最后使用 softmax 函数对输出结 果进行归一化处理： 第 4 期 朱金侠，等：融合社交关系的轻量级图卷积协同过滤推荐方法 ·791·
·792· 智能系统学报 第17卷 exp(F(pi,qi)) Y= filtering recommendation approach incorporating so- cial relationships,.F-LightGCCF),分别与以下4种 exp(F(Pi.q)) 先进的推荐模型比较： 式中：B2为一个平滑系数，防止过度平滑，取值范 1)GRMF1乳：该模型通过利用图拉普拉斯正 围为[0,1]。 则化算子来平滑矩阵分解，设计了图正则化交替 最后，在模型预测部分，采用内积交互函数， 最小二乘法对算法进行优化，利用加权核范数结 通过内积运算得到用户对目标项目的偏好为 构化矩阵分解框架。 Sui=er*er 2)Mult-VAE20:该模型将可变自动编码器应 2.2.4模型优化 用于协同过滤算法，利用非线性概率模型挖掘用 本文使用贝叶斯(Bayesian personalized rank 户-项目之间的隐式反馈。 ing,BPR)损失函数I对模型进行优化，主要原因 3)NGCF:该模型是基于图卷积神经网络的 是贝叶斯损失函数考虑了观察到的交互和未观察 先进推荐模型，通过构建了k层嵌入传播层对交 到的交互之间的成对偏好比较。本文还利用用户 互信息进行嵌入传播学习，最终得到用户-项目 的社交关系产生了一系列中间反馈，与BPR的基 之间的关联分数。 本假设相比，本文假设可以从用户的社交网络 4)LightGCN:该模型基于NGCF模型，摒弃 中，在未观察到的交互中挖掘出更多的用户偏 了NGCF模型中特征变换和非线性激活2个复杂 好，优化目标为 的设计，降低了模型的训练难度。 LA=∑-lnc(⑤.+交-)+Or 3.3实验设置 人议 本文模型和算法使用Python语言基于Tensor- 式中：O-{(u,i,ku,)∈R,(u,)∈R,(u,k)∈R}表示 Flow框架实现，机器配置为GPUi7-8700K3.7GHz, 数据集合，每一条数据都是一个四元组。R表示 操作系统为Windows 10。在实验中，对于每一个 观测到的用户-项目交互动作，R表示未观测到的 数据集，随机选择每个用户的80%的交互历史构 用户-项目交互动作，R表示挖掘出的中间反馈， 成训练集，剩余的20%作为测试集。随机选取训 o0是sigmoid函数。Ao为L2正则化项，A为正 练集中的10%作为验证集，用于参数的调试。基 则化系数，控制L2正则化强度防止过拟合， 于以往模型9的经验，正则化系数设置为1×10， ⊙={E,B}表示所有可训练的模型参数。 每次处理的数据量大小为1024，迭代次数为 Dropout策略可以在模型训练时有效防止模 l00次时模型收敛。经验证集测试后，在Gowalla 型的过拟合，本文采用节点丢弃的Dropout策 数据集和Yelp2018数据，Dropout率分别设置为 略。随机冻结一些特定节点，使其消息不向外传 0.3和0.1。学习率设置为0.0006，注意力网络的 播，对于3层高阶传播，随机丢弃拉普拉斯矩阵中 平滑系数B,和B2均设置为0.5。参数调整好之 的(M4Wp个节点，其中p为Dropout率。 后，本文采用Adam作为优化器，使用Xavier方 式初始化模型参数，嵌入大小为64，使用3个 3实验 64×64的图卷积层。 3.1数据集 3.4评价指标 在本文，每种模型均输出用户对所有项目的 实验采用Gowalla和Yelp20l8两个公开的数 偏好分数，为了评估top-k推荐和偏好排序的有效 据集来评估提出的模型，表1给出了两个数据集 性，实验使用召回率(Recall(@)、精确率(Preci- 的统计信息。 sion@k)和归一化折现积累收益(NDCG@k)作为 表1实验数据信息 推荐效果方面的评价指标。默认情况下，设置 Table 1 Statistics of the datasets =20。召回率是所有“被正确推荐的项目”占所有 数据集用户个项目/个朋友个社交数据/条稀疏度 “应该被推荐的正确的项目”的比例，精确率是“被 Gowalla 74644098122394 10273700.00084 正确推荐的项目”占“所有被正确推荐的项目”的 Yelp20187958408412387316668690.00128 比例，分别如式(3)和(4)所示。 3.2对比算法 ∑n Recall@k 本文提出的融合社交关系的轻量级图卷积协 (3) 同过滤模型(light graph convolutional collaborative
γ = exp(F (pi , qi)) ∑ j∈πr exp(F (pi , qi)) β2 式中：β2 为一个平滑系数，防止过度平滑，取值范 围为 [0,1]。 最后，在模型预测部分，采用内积交互函数， 通过内积运算得到用户对目标项目的偏好为 yˆui = e T u ∗ ei 2.2.4 模型优化 本文使用贝叶斯 (Bayesian personalized ranking，BPR) 损失函数[18] 对模型进行优化，主要原因 是贝叶斯损失函数考虑了观察到的交互和未观察 到的交互之间的成对偏好比较。本文还利用用户 的社交关系产生了一系列中间反馈，与 BPR 的基 本假设相比，本文假设可以从用户的社交网络 中，在未观察到的交互中挖掘出更多的用户偏 好，优化目标为 LAPA = ∑ u,λ, j,k −lnσ ( yˆu +yˆu, −yˆu ) +λ∥Θ∥ 2 Θ λ||Θ||2 λ Θ 式中： ={(u,i,j,k)|(u,i)∈R + ,(u,j)∈R − ,(u,k)∈R− + }表示 数据集合，每一条数据都是一个四元组。R +表示 观测到的用户–项目交互动作，R −表示未观测到的 用户–项目交互动作，R– +表示挖掘出的中间反馈， σ() 是 sigmoid 函数。 为 L2 正则化项， 为正 则化系数，控 制 L2 正则化强度防止过拟合， ={E,β }表示所有可训练的模型参数。 Dropout 策略可以在模型训练时有效防止模 型的过拟合，本文采用节点丢弃的 Dropout 策 略。随机冻结一些特定节点，使其消息不向外传 播，对于 3 层高阶传播，随机丢弃拉普拉斯矩阵中 的 (M+N)p 个节点，其中 p 为 Dropout 率。 3 实验 3.1 数据集 实验采用 Gowalla 和 Yelp2018 两个公开的数 据集来评估提出的模型，表 1 给出了两个数据集 的统计信息。 表 1 实验数据信息 Table 1 Statistics of the datasets 数据集 用户/个 项目/个 朋友/个 社交数据/条 稀疏度 Gowalla 7464 40 981 22394 1027 370 0.00084 Yelp2018 7958 40 841 23873 1666 869 0.00128 3.2 对比算法 本文提出的融合社交关系的轻量级图卷积协 同过滤模型 (light graph convolutional collaborative filtering recommendation approach incorporating social relationships，F-LightGCCF)，分别与以下 4 种 先进的推荐模型比较： 1）GRMF[19] ：该模型通过利用图拉普拉斯正 则化算子来平滑矩阵分解，设计了图正则化交替 最小二乘法对算法进行优化，利用加权核范数结 构化矩阵分解框架。 2）Mult-VAE[20] ：该模型将可变自动编码器应 用于协同过滤算法，利用非线性概率模型挖掘用 户–项目之间的隐式反馈。 3）NGCF[8] ：该模型是基于图卷积神经网络的 先进推荐模型，通过构建了 k 层嵌入传播层对交 互信息进行嵌入传播学习，最终得到用户–项目 之间的关联分数。 4）LightGCN[9] ：该模型基于 NGCF 模型，摒弃 了 NGCF 模型中特征变换和非线性激活 2 个复杂 的设计，降低了模型的训练难度。 3.3 实验设置 本文模型和算法使用 Python 语言基于 TensorFlow 框架实现，机器配置为 GPU i7-8700K 3.7 GHz， 操作系统为 Windows 10。在实验中，对于每一个 数据集，随机选择每个用户的 80% 的交互历史构 成训练集，剩余的 20% 作为测试集。随机选取训 练集中的 10% 作为验证集，用于参数的调试。基 于以往模型[9] 的经验，正则化系数设置为 1×10−4 ， 每次处理的数据量大小为 1 024，迭代次数为 100 次时模型收敛。经验证集测试后，在 Gowalla 数据集和 Yelp2018 数据，Dropout 率分别设置为 0.3 和 0.1。学习率设置为 0.000 6，注意力网络的 平滑系数 β1 和 β2 均设置为 0.5。参数调整好之 后，本文采用 Adam[21] 作为优化器，使用 Xavier 方 式初始化模型参数，嵌入大小为 64，使用 3 个 64×64 的图卷积层。 3.4 评价指标 在本文，每种模型均输出用户对所有项目的 偏好分数，为了评估 top-k 推荐和偏好排序的有效 性，实验使用召回率 (Recall@k)、精确率 (Precision@k) 和归一化折现积累收益 (NDCG@k) 作为 推荐效果方面的评价指标。默认情况下，设置 k=20。召回率是所有“被正确推荐的项目”占所有 “应该被推荐的正确的项目”的比例，精确率是“被 正确推荐的项目”占“所有被正确推荐的项目”的 比例，分别如式（3）和（4）所示。 Recall@k = ∑ u |R(u)∩ |T(u) | ∑ u |T(u)| (3) ·792· 智 能 系 统 学 报 第 17 卷