【推荐系统】一文梳理序列化推荐算法模型进展

文本将序列推荐分为以下几个方面:

  • 标准序列推荐
  • 长短期序列推荐
  • 多兴趣表示的序列推荐
  • 多行为序列推荐
  • 其他序列推荐

一、标准序列推荐

标准序列推荐指通过单行为序列挖掘用户表示的推荐算法。标准序列推荐算法也非常直接,一些常见的序列建模的方法,比如Pooling, RNN, CNN, Memory Network, Attention, Transformer等等。

1.1 Pooling

将用户交互过的item的embedding,取个均值,作为序列特征加入推荐模型,比如google的推荐模型[1]。这种方法简单有效,也是业界最常见的使用序列特征的手段。

1.2 RNN-based

RNN是一种进行序列建模的非常使用的方法,广泛用于各种序列建模,比如文本、语音等等。GRU4Rec[2]将RNN引入了session-based推荐系统,将一个session内的交互作为序列历史,进行序列建模。

1.3 CNN-based

TextCNN将CNN引入了序列建模,Caser[3]将CNN引入了序列推荐。Caser中指出现在的Markov chain models只能建模point-level sequential patterns,不能建模union-level patterns,而CNN可以很好的解决这个问题。

1.4 Attention-based

上述方法没有考虑用户序列行为中哪些交互是比较重要的,注意力机制(attention)是一个很好的解决方法。SASRec[4]提出了一种基于自注意力的序列推荐方法。

阿里提出了一种深度注意力网络DIN用到推荐广告[5],在业界有着广泛的应用。

1.5 Memory-based

上述的方法只对序列交互进行了建模,而没有存储下来,当序列很长时可能会遗忘一些过去的交互,RUM[6]引入了用户记忆模块,来存储序列交互的信息。

1.6 Transformer-based

Transformer在NLP任务上取得了显著的提升,基于Transformer提出了Bert等大型预训练模型。Bert4Rec[7]将这类结构思路引入了推荐系统。

二、长短期序列推荐

用户可能拥有大量交互历史,长期交互和短期交互对用户当前兴趣可能有着不同的影响,因此有必要区分用户的长短期行为。SHAN将用户行为分为长期的和短期的,使用层次注意力网络进行建模。

三、多兴趣表示的序列推荐

上述的方法通常是将用户行为编码为一个表示,但是用户的兴趣偏好通常是多个方面的,因此有方法将用户的序列行为编码为多个兴趣表示向量[9]。

四、多行为序列推荐

用户通常有多种不同的行为序列,比如点击、分享、购买等等。因此对多行为序列建模来抓获用户兴趣偏好也是非常有必要的[10]。

五、其他序列推荐

现在还有一些其他的序列推荐方法,比如用对比学习来做序列推荐任务[11]。

另外还有一些和序列推荐很接近的任务,比如next basket[12]。

六、总结

显式地建模用户的历史交互行为对提升推荐的效果有很大的作用,因此需要使用一种高效的模块进行序列建模,此外还应该考虑长短期序列、多行为序列、多兴趣表示等多个角度的序列建模。当然在某些场景序列特征可能作用不大,可以先用pooling简单试试序列特征的效果。

七、参考文献

[1] Deep Neural Networks for YouTube Recommendations. Recsys2016.

[2] Session-based Recommendations with Recurrent Neural Networks. ICLR2016.

[3] Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding. WSDM2018.

[4] Self-Attentive Sequential Recommendation. ICDM2018.

[5] Deep Interest Network for Click-Through Rate Prediction. KDD2018.

[6] Sequential Recommendation with User Memory Networks. WSDM2018.

[7] BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer. CIKM2019.

[8] Sequential Recommender System based on Hierarchical Attention Networks. IJCAI2018.

[9] Controllable Multi-Interest Framework for Recommendation. KDD2020.

[10] Incorporating User Micro-behaviors and Item Knowledge into Multi-task Learning for Session-based Recommendation. SIGIR2021.

[11] Disentangled Self-Supervision in Sequential Recommenders. KDD2020.

[12] Factorizing Personalized Markov Chains for Next-Basket Recommendation. WWW2010.

更多论文,欢迎访问https://github.com/hongleizhang/RSPapers

(0)

相关推荐

  • Transformer是巧合还是必然?搜索推荐领域的新潮流

    炼丹笔记干货 作者:九羽,四品炼丹师 BERT等Transformer模型在自然语言处理领域大放异彩之后,将Transformer应用在各个领域变成了一种潮流,包括之前文章中介绍的 Image Tra ...

  • 一文了解推荐系统中的图神经网络

    © 作者|杨晨 机构|中国人民大学高瓴人工智能学院硕士 研究方向 | 推荐系统 本文主要介绍推荐系统中的图神经网络,欢迎交流探讨! 引言:近年来,GNN技术由于其在图数据学习方面的出色表现,在许多领域 ...

  • 带你读论文 | 端到端语音识别模型

    编者按:过去十年,得益于人工智能与机器学习的突破.算法与硬/软件能力的进步,以及拥有既多样又大量的语音数据库,用以训练多参数的.大规模的语音识别与合成模型,使得语音处理技术获得飞跃性进展. 随着端到端 ...

  • 复旦大学邱锡鹏教授等「Transformers全面综述」论文

    来自:专知 摘要 Transformers 在自然语言处理.计算机视觉和音频处理等许多人工智能领域都取得了巨大的成功.因此,自然会引起学术界和工业界研究人员的极大兴趣.到目前为止,各种各样的Trans ...

  • GNN手绘草图识别新架构:Multi-Graph Transformer 网络

    本文介绍一篇比较小众但非常有意思的手绘草图识别的新文章<Multi-Graph Transformer for Free-Hand Sketch Recognition>,其实质是提出了一 ...

  • 清华CoAI课题组新书《现代自然语言生成》正式发布!张钹院士亲自作序 | 文末赠书

    AI科技评论今天给大家介绍一本清华CoAI课题组新书:<现代自然语言生成>.本书由中国科学院院士.清华大学教授张钹亲自作序,创新工厂首席科学家周明博士.ACL/IEEE Fellow 李航 ...

  • MoSE: 多任务混合序列专家模型

    上周我们在Youtube: 多任务目标推荐上介绍了多任务目标推荐的知识点.今天我们继续看多任务的知识点应用. 应用场景 在Gmail中搜索时,会去查询Google Drive中的文件,而且是per-k ...

  • 【NLP】TransformerXL:因为XL,所以更牛

    前面介绍过Transformer作为一种特征抽取器的强大之处.那么,它有没有弱点呢?能不能改进呢? 本文介绍Transformer的改进版,TransformerXL.看看它用了什么方法,改进了Tra ...

  • 网易云音乐推荐中的用户行为序列深度建模

    编辑整理:汪方野 出品平台:DataFunTalk 导读:近年来,网易云音乐作为一匹黑马迅速在移动音乐APP占据市场,2016年用户量就突破了2亿,而这与它优质的推荐系统必不可分.网易云音乐推荐系统致 ...

  • 1.9万亿参数量,快手落地业界首个万亿参数推荐精排模型

      磐创AI分享   来源 | 机器之心 [导读]来,走近快手业界首个万亿参数推荐精排模型的内部构造. 个性化推荐系统旨在根据用户的行为数据提供「定制化」的产品体验,精准的推荐系统模型也是很多互联网产 ...

  • 浅谈 UC 国际信息流推荐

    出品社区:DataFunTalk 导读:本次分享的主题是浅谈UC国际信息流推荐.会跟大家探讨下发链路中常见的一些问题,主要包括两个场景: 列表页排序,包括:目标确定.多目标任务以及混排组合优化. 内容 ...