0%

LLM对推荐系统的影响调研笔记

文章地址:https://arxiv.org/pdf/2306.05817.pdf

文章名:How Can Recommender Systems Benefit from Large Language Models: A Survey

推荐系统的流水过程:

  • 用户数据收集User data collection

  • 特征处理Feature engineering

    将原数据进行处理(如独热码)

  • 特征编码Feature encoder

    生成神经网络的嵌入向量

  • 评分/排序函数Scoring Ranking function

  • 控制器Pipeline controller

LLM可用于上述过程中除了用户数据收集的部分。

对于特征编码部分,使用LLM可以丰富语义信息,还可实现跨领域推荐。

对于评分/排序函数,LLM可用于解决(1)项目评分任务,(2)项目生成任务,(3)混合任务。项目评分任务主要用于针对目标用户,对每个候选项目进行评分,从而获得一个排名列表;项目生成任务直接生成项目的最终排序列表;混合任务上述二者都支持。

早期的语言模型参数比较小,被用作简单的文本特征编码器等;但随着模型和参数量的增多,LLM出现了指令跟随、推理等能力,因此可被扩展用于推荐系统的其他方面。

LLM应用于RS中呈现如下趋势:

image-20230728000320090

从微调+与CRM(传统推荐模型)结合(如BERT+推荐模型)到不微调+不与CRM结合(如ChatGPT),再到微调+不与CRM结合/不微调+与CRM结合。整体趋势如上图中的箭头所示。

在上述发展过程中,不微调+不与CRM结合的模型效果较差(绿色),但通过增加领域内的协同知识可以提高模型的性能。

------------- Thanks for watching -------------