斯坦福大学最新论文|知识图卷积神经网络在推荐系统中的应用

推荐系统广泛应用于互联网应用和服务中。传统的协同过滤推荐算法通常会遇到用户-物品交互的稀疏性问题和冷启动问题,可以通过引入额外的信息来解决,如用户/物品属性信息和社交网络。近年来,为了解决上述问题,一些学者考虑将知识图谱与推荐系统相结合。

具体来说,推荐系统中的每个物品可以对应为知识图谱中的实体,而实体与实体之间的连接路径则提供了物品之间丰富的连接关系。利用这些信息可以一定程度减轻稀疏性及冷启动,增加推荐系统的可解释性。

本文介绍斯坦福大学最新论文“Knowledge Graph Convolutional Networks for Recommender Systems with Label Smoothness Regularization”,如何将图卷积神经网络(GCN)应用到基于知识图谱的推荐系统中。

论文摘要

Knowledge graphs capture interlinked information between entities and they represent an attractive source of structured information that can be harnessed for recommender systems. However, existing recommender engines use knowledge graphs by manually designing features, do not allow for end-to-end training, or provide poor scalability. Here we propose Knowledge Graph Convolutional Networks (KGCN), an end-to-end trainable framework that harnesses item relationships captured by the knowledge graph to provide better recommendations. Conceptually, KGCN computes user-specific item embeddings by first applying a trainable function that identifies important knowledge graph relations for a given user and then transforming the knowledge graph into a user-specific weighted graph. Then, KGCN applies a graph convolutional neural network that computes an embedding of an item node by propagating and aggregating knowledge graph neighborhood information. Moreover, to provide better inductive bias KGCN uses label smoothness (LS), which provides regularization over edge weights and we prove that it is equivalent to label propagation scheme on a graph. Finally, We unify KGCN and LS regularization, and present a scalable minibatch implementation for KGCN-LS model. Experiments show that KGCN-LS outperforms strong baselines in four datasets. KGCN-LS also achieves great performance in sparse scenarios and is highly scalable with respect to the knowledge graph size.

问题定义

给定用户集合 U={u1,u2,...} 以及物品集合 V={v1,v2,...}.物品与用户的交互矩阵可以定义Y[u,v]=yu,v , yu,v =1表示⽤户u与物品v有交互。同时还存在知识图谱 G,其中每个元素为一个三元组(h,r,t),h∈E, r∈R, t∈E 分别为头实体、关系、尾实体 。按照物品 v 在知识图谱中的对应关系,实体集合可以表示为物品集合与非物品集合的并集 E = V ⋃ E \V ,根据上述定义,任务的⽬标可以表示为学习一个预测函数如下:

其中如下函数表示用户与物品之间有交互的概率。

模型介绍

作者为了解决此类问题提出了知识图卷积⽹络KGCN-LS, 其关键思想就是针对不同用户将知识图谱转换为⼀个用户个性化的加权图,并利用GCN学习出每个物品的表示向量,然后再根据用户特征向量计算出用户与物品有交互的概率。

具体来说,⾸先对每个用户为知识图谱每种关系算出⼀一个关系评分 su(r) = g(u, r) ,其中 u ,r 分别表示用户及关系的特征向量。以此来刻画用户对不同关系的偏好程度。这样原知识图谱 G 可以⽤用⼀个特定用户的邻接矩阵表示 Au ∈ R∣E∣×∣E∣,其中每个元素为对应边的关系评分,然后就可以应用GCN对每个节点的特征向量进行传播,生成最终的表示向量如下:

之后用一个预测函数计算出如下内容:

vu = H(L)[v, :]为最后一层GCN得出的物品V的表示向量。

除此之外,为了了防⽌过拟合,论⽂还提出了了一个label- smoothness的正则化策略。基本思想是用对每个有label的节点,利用标签传播的方式为每个节点生成⼀个节点标签预测值,然后优化标签预测值与真实标签的差值。标签传播的过程分为如下两步:

  • 将每个节点的标签设定为邻居标签的加权平均值,权重为对应边的关系评分如下:

  • 将在物品集合中节点的标签设为原始标签: lu(V) ← Y[u, V]⊤,迭代重复以上过程即可得到预测标签lv∗,这样相应的正则化项可以表示为:

最终的优化目标为:

γ∥F∥2 为L2 正则化项。 J(Y^ , Y ) 表示GCN传播层。

优化上述损失函数需要整个知识图谱及用户集合作为输入,在实际中很难应用。因此作者提出了算法的minibatch版本。即借用GraphSAGE的思路,为每个节点的邻居节点进行预先采样,然后只在采样的邻居集合中进行特征传播及标签传播。算法流程图(图1):

实验结果

作者在电影推荐,书籍推荐,音乐推荐,食物推荐4种推荐系统数据集上进行了测试。结果如下图(图2),其中KGCN-LS为作者提出来的算法,KGCN-avg为上述算法的变种:节点的特征传播时直接对邻居特征求平均值,不计算关系评分。可以看出KGCN-LS在大部分数据集中均取得了最优效果。

作者还探究了label-smoothness正则化 对最终结果的影响,如下图(图3), 当 λ (label-smoothness 正则化项的系数)的值从 0变为5时,推荐效果先上升后下降,说明label-smoothness 正则化对模型推荐效果有一定提升作用。

(0)

相关推荐

  • 基于图模型的智能推荐算法学习笔记

    一.基于知识图谱的智能推荐 以知识图谱作为边信息生成推荐的价值在于:一方面可以提供更准确的推荐:另一方面可以对推荐结果进行解释. 知识图谱由实体和关系组成(以电影推荐为例):实体(用户.电影.演员.导 ...

  • 知新温故,从知识图谱到图数据库

    说到人工智能技术,首先会联想到深度学习.机器学习技术:谈到人工智能应用,很可能会马上想起语音助理.自动驾驶等等.实际上,人工智能要在行业中得到应用的先决条件是首先要对行业建立起认知,只有理解了行业和场 ...

  • 知识图谱简介

    本文根据幕布上这篇思维导图总结而得无需AI基础,小白也能看懂的知识图谱技术与应用 对知识图谱了解还不多,后续会跟进... 一.什么是知识图谱? 定义 学术上:语义网络(Semantic Network ...

  • 收藏 | 图神经网络综述 (中文版)

    人工智能算法与Python大数据 致力于提供深度学习.机器学习.人工智能干货文章,为AI人员提供学习路线以及前沿资讯 仅做学术分享,如有侵权,联系删除 转载于 :知网,专知 摘要:随着计算机行业和互联 ...

  • 如何将知识图谱引入推荐系统?

    编辑整理:屈垠岑 出品平台:DataFunTalk 导读:在信息爆炸的互联网时代,推荐系统可以理解用户的个性化偏好和需求,帮助用户筛选出自己感兴趣的产品和服务.然而,传统的基于协同过滤的推荐系统无法解 ...

  • 联手自然语言处理专委会:“知识图谱”术语发布 | CCF术语快线

    本期发布术语热词:知识图谱(Knowledge Graph).知识图谱是大数据时代的知识工程集大成者,是符号主义与连接主义相结合的产物,是实现认知智能的基石. 开篇导语: 本期发布术语热词:知识图谱( ...

  • 一文了解推荐系统中的图神经网络

    © 作者|杨晨 机构|中国人民大学高瓴人工智能学院硕士 研究方向 | 推荐系统 本文主要介绍推荐系统中的图神经网络,欢迎交流探讨! 引言:近年来,GNN技术由于其在图数据学习方面的出色表现,在许多领域 ...

  • 学习|知识图谱学习路线

    学习|知识图谱学习路线

  • 个性化癌症治疗再进一步!科学家通过图卷积神经网络技术发现165个新的致癌基因

    作者:刘芳 编审:王新凯.寇建超 排版:王落尘 作为对人类健康造成最重大威胁的疾病之一,癌症一直是各国科学家们重点研究的对象.据世界卫生组织国际癌症研究署(IAR)发布的全球最新癌症预估数据显示,20 ...

  • 图卷积神经网络用于解决小规模反应预测

    文章来源于微信公众号 智药邦(ID:PHAIMUS) 今天给大家介绍的是浙江工业大学智能制药研究院的段宏亮教授研究团队发表在Chemical Communications上的文章 " A g ...

  • 斯坦福大学最新研究:孤独感会改变人脑,越孤独的人大脑越易萎缩

    每天耕耘最有趣.最实用的心理学 孤独感来袭,人类大脑的某些位置会发生改变. 一直以来,人类都在对大脑进行研究,并陆续取得了一些研究成果. 近日,美国斯坦福大学心理学家Andrea Courtney,与 ...

  • 中科院计算所沈华伟:图卷积神经网络的思想起源

    智源社区 & AI科技评论 作者 | 周寅张皓 小到分子相互作用,物质结构,大至气候变化,星系模型,很多自然界和社会生活中的现象都能用图结构描述.而如何将神经网络应用到图网络中进行计算,在几年 ...

  • 斯坦福大学最新总结出申请者70个“最常见”文书主题

    这篇论文对60000名加州大学2017年秋季入学申请者的240000份文书进行分析,总结出申请者最常见的70个文书主题. 1.Winning_Competition(竞赛得奖) 2.Math(数学) ...

  • 图卷积神经网络理论基础

    您想知道的人工智能干货,第一时间送达 Graph Convolutional Networks图卷积网络涉及到两个重要的概念,Graph和Convolution.传统的卷积主要应用于Euclidean ...

  • JCIM|基于图卷积神经网络的逆合成反应预测和可解释性可视化

    今天给大家介绍的是Journal of Chemical Information and Modeling上的文章 "Prediction and Interpretable Visuali ...

  • 【学术论文】基于卷积神经网络的火灾视频图像检测

    摘要: 随着计算机技术的发展,融合计算机视觉.机器学习.深度学习等技术的火灾图像处理技术得到了广泛的研究和应用.针对传统图像处理方法预处理过程复杂且误报率高等问题,提出一种基于深度卷积神经网络模型进行 ...

  • 【学术论文】基于卷积神经网络的图像着色

    摘要 图像着色的目标是为灰度图像的每一个像素分配颜色,它是图像处理领域的热点问题.以U-Net为主线网络,结合深度学习和卷积神经网络设计了一个全自动的着色网络模型.在该模型中,支线使用卷积神经网络SE ...