|
9月9日，掘力计划第23期线上活动举行，本期活动的主题为《AIGC的应用和创新》。来自华为诺亚方舟实验室的刘卫文博士做了题为《利用大语言模型开放知识的通用推荐框架》的分享。刘卫文博士2020年毕业于香港中文大学，现任华为诺亚方舟实验室高级研究员，主要研究领域为推荐系统、大语言模型和个性化偏好学习。她在本次分享中提出，可以利用大语言模型提供的通用世界知识和逻辑推理能力，设计开放的推荐系统框架，以更深入理解用户行为背后的动机和关联关系。直播回放地址：https://juejin.cn/live/jpowermeetup23一、背景介绍传统的推荐系统往往是相对封闭的系统，仅使用给定推荐场景内部的数据进行训练，对于用户偏好和上下文理解不够全面。本次分享的主题是利用大语言模型的通用世界知识和逻辑推理能力，设计开放的推荐系统框架，以更深层次理解用户行为背后的动机和关联关系。二、大语言模型与推荐系统基础知识介绍1、推荐系统基础知识推荐系统已经成为人工智能领域商业价值最大的应用之一。谷歌的广告推荐系统每年带来上百亿美元营收，占其整体收入90%以上。我们每天也都在使用各类推荐系统，如音乐、新闻、短视频等 APP都依赖推荐系统根据我们的兴趣给出个性化推荐。从技术角度来看，一个推荐系统的输入主要包括：用户历史交互、物品特征、用户特征。输出是一个针对给定用户U和物品I的匹配概率或评分。推荐系统的目标是预测用户最可能喜欢的内容。2、大语言模型基础知识大语言模型指通过在大规模互联网语料上预训练得到的具有数十亿到千亿参数的神经网络模型。随着模型参数量的增大，这类模型会出现“涌现能力”，包括强大的逻辑推理能力。大语言模型具有丰富的通用世界知识和推理能力，可以为相对封闭的推荐系统提供开放的外部信息。将两者结合，可以让推荐系统更深入理解用户兴趣动机和关联关系。三、将大语言模型引入推荐系统的方案将大语言模型引入推荐系统可以分为“在哪引入”和“如何引入”两个问题。1、在推荐系统的哪个阶段引入将推荐系统流程分为四个阶段：数据采集、特征工程、特征编码、打分排序。在特征工程阶段，大语言模型可以通过用户历史行为推断用户兴趣;通过理解物品内容信息进行扩充;直接生成样本数据。在特征编码阶段，大语言模型可以利用文本特征，通过预训练的语义表示对推荐中的用户评论、物品名称等文本信息进行编码。在打分排序阶段，大语言模型可以直接对物品进行评分;直接生成下一个推荐物品;或同时进行打分和生成两个任务。此外，还可以构建以大语言模型为核心的推荐系统流程控制器，调度各个阶段的运行。2、如何更好地应用大语言模型在训练阶段，大语言模型是否需要微调以及推理阶段是否需要引入传统推荐模型，是当前的两大发展趋势：1、模型：通过引入传统推荐模型为语言模型注入协同信号;2、数据：通过引入推荐场景的数据，结合微调技术，为语言模型注入协同信号。理想状态是语言模型获得用户偏好、领域知识后自主推理生成推荐，但目前完全依赖大语言模型的效果并不理想。当前较优策略是与传统推荐模型协同，进行知识迁移和微调。四、挑战与展望在工业场景大规模应用大语言模型进行推荐还面临挑战：1、如何更好地融合语言模型与推荐系统中编码的协同信息2、输入文本的窗口长度限制3、ID 编码引入的困难4、多模态输入的利用此外，大语言模型推理效率需要进一步优化。展望未来，大语言模型将从三个层面改变推荐系统：1、数据：利用开放世界知识2、模型：向生成式推荐转变3、流程：由语言模型统一调度大语言模型将成为推荐系统发展的新方向。综上，刘博士的报告系统地介绍了大语言模型在推荐系统中的应用点和运用方法，并提出了一种知识增强框架，为工业场景中的大规模应用提供了有价值的指导意见。大语言模型与推荐系统的结合充分利用了两者的优势，必将推动推荐系统向开放世界的方向发展。掘力计划掘力计划由稀土掘金技术社区发起，致力于打造一个高品质的技术分享和交流的系列品牌。聚集国内外顶尖的技术专家、开发者和实践者，通过线下沙龙、闭门会、公开课等多种形式分享最前沿的技术动态。 |
打印本文 
关闭窗口