问题

推荐系统应该如何保障推荐的多样性?

回答
在构建一个真正能留住用户的推荐系统时,多样性是绕不开的关键。如果用户每次打开APP,看到的都是千篇一律的内容,那再精准的推荐也难免让人感到乏味。那么,如何让推荐系统真正“懂”多样性,并将其融入到每一次的推荐之中呢?这可不是简单地随机选几样东西糊弄过去的事情。

首先,我们要明白,多样性并非“无序”的堆砌。 真正的好多样性,是在满足用户潜在兴趣的基础上,拓宽他们的视野,引导他们发现新事物。这就像一个经验丰富的导游,他知道你喜欢历史,但也会带你去看看当地的特色市集,让你体验不同的风情,而不是只把你关在博物馆里。

那么,具体到推荐系统层面,我们可以从以下几个维度去保障多样性:

一、 洞察用户的“多元”兴趣:

从“显性”到“隐性”: 用户在APP里的每一次点击、收藏、分享,甚至停留时间,都是他们兴趣的“显性”表达。但用户的兴趣是立体的,有时候他们可能只是随便看看,或者出于某种情绪。我们需要通过更深层次的分析,挖掘他们“潜在”的兴趣。例如,一个用户经常看健身视频,这可能是他的兴趣。但如果他也偶尔点进几个关于户外徒步的帖子,那么我们就应该捕捉到他对“户外活动”的潜在兴趣,并在未来给他推荐相关的装备或路线。
时间序列的兴趣演变: 用户的兴趣不是一成不变的。今天喜欢科幻片,明天可能就会迷上历史纪录片。我们需要建立能够捕捉用户兴趣随时间变化的模型,而不仅仅是基于他们最近的几次行为。比如,我们可以使用RNN(循环神经网络)或Transformer等模型来建模用户行为序列,理解他们兴趣的“流动性”。
兴趣的“组合”与“关联”: 很多时候,用户的兴趣是交叉的。喜欢摄影的用户,可能也对旅行、美术、甚至某些特定的历史时期感兴趣。我们需要找到不同兴趣点之间的关联性,并基于这种关联进行推荐。这可以通过图谱学习、知识图谱等技术来实现,将用户、物品以及它们之间的关系连接起来,发现隐藏的兴趣组合。

二、 丰富物品库的“视角”:

打破“同质化”的推荐循环: 如果我们的推荐模型过度依赖于用户过去喜欢的“类型”或“标签”,很容易陷入“同质化”的推荐循环。比如,用户喜欢某位导演的电影,我们就一直推荐这位导演的其他作品,而忽略了同类型但由不同导演执导的优秀作品。
引入“长尾”和“冷门”物品: 很多时候,真正能给用户惊喜的,是那些不那么热门,但却非常符合他们潜在兴趣的“长尾”物品。这需要我们在物品召回阶段就引入更多样化的策略,不只追求“热门”,也要挖掘那些“优质”但“曝光不足”的内容。
从“内容”到“属性”的多样性: 除了内容本身的类别,我们还可以关注物品的各种属性。例如,对于视频内容,除了影片类型、导演、演员,还可以关注它的拍摄手法、音乐风格、情感基调等。为用户推荐不同“属性”组合的物品,也能增加推荐的多样性。

三、 精心设计的推荐策略:

多样性指标的量化与优化: 我们不能空喊口号,需要为多样性设定可量化的指标。比如,信息熵(Information Entropy)可以衡量推荐列表的“不确定性”和“信息量”,更高的熵通常意味着更高的多样性。基尼系数(Gini Coefficient)也可以用来衡量推荐物品的“热门度分布”,较低的基尼系数代表更平滑、更少集中于热门物品的推荐。我们可以在模型的训练和评估过程中,将这些多样性指标纳入到目标函数中,进行优化。
重排(Reranking)机制的妙用: 在初步生成了一批候选推荐列表后,我们可以引入重排机制来提升多样性。这可以通过以下几种方式实现:
基于物品相似度的惩罚(MMR Maximal Marginal Relevance): 在选择下一个要推荐的物品时,我们不仅考虑它与用户兴趣的相关性,还要考虑它与已经选定推荐物品的相似度。选择与已有推荐列表“差异”更大的物品,就能有效增加多样性。
主题/类别的均衡: 确保推荐列表在不同的主题或类别之间有更均衡的分布。例如,如果推荐列表中有5部电影,可以尝试让其中2部是喜剧,2部是剧情,1部是科幻,而不是全部是喜剧。
考虑物品属性的覆盖: 确保推荐列表中包含不同“属性”的物品。例如,推荐旅行攻略时,既有目的地推荐,也有交通方式、住宿建议,还有当地文化介绍。
策略的“动态调整”: 多样性也不是越多越好,也不是一成不变。在用户刚接触一个新领域时,可能更需要一些“入门级”的、与他当前兴趣高度相关的推荐。而当用户对某个领域已经有一定了解后,则可以逐步增加一些“探索性”的、可能带来惊喜的推荐。这就需要根据用户在APP中的生命周期和行为深度,动态调整多样性策略的侧重点。
对抗性学习(Adversarial Learning)的思想: 可以借鉴对抗生成网络(GAN)的思想,设计一个“鉴别器”来评估推荐列表的多样性,然后让“生成器”(推荐模型)努力生成多样性更强的列表来“欺骗”鉴别器。这是一种更高级的引入多样性的思路。

四、 避免“信息茧房”的陷阱:

引入“探索性”推荐: 有意识地为用户推荐一些他们“可能”感兴趣,但当前并没有明确表现出兴趣的物品。这可以是基于“知识图谱”的关联,也可以是基于“共同用户”的探索,甚至是基于“兴趣跨界”的发现。
“强制”多样性(Hard Diversity)与“软性”多样性(Soft Diversity)的结合: “强制”多样性是指确保推荐列表在某些维度上(如类别、主题)有明确的差异。而“软性”多样性则是在相关性允许的范围内,选择那些与众不同的物品。两者结合,才能在保持相关性的基础上,真正拓宽用户的视野。
用户反馈的引导: 给予用户主动“调整”或“反馈”多样性的能力。例如,提供“不感兴趣”的选项,或者提供“想看看不同类型”的按钮。用户的显性反馈,是指导我们调整多样性策略的重要依据。

总结一下,保障推荐多样性,是一个系统性的工程。 它需要我们深入理解用户“多元”的兴趣,拥抱“长尾”和“冷门”的物品,并通过精巧的推荐策略,在“相关性”和“惊喜感”之间找到绝佳的平衡点。这不仅仅是为了让推荐看起来“好看”,更是为了让用户在这个信息爆炸的时代,能够发现更多可能性,获得更持续、更愉悦的体验。做到这一点,你的推荐系统才能真正赢得用户的“心”。

网友意见

user avatar

0. 信息茧房 | 在信息媒介间 | 竖起了一道墙。

关于推荐系统信息茧房的问题,之前跟朋友吐槽过推荐系统

@Serendipity :我觉得压根不需要算法,就纯推黄,如果有需要的话别人自然会搜别的;

@Serendipity :当前推荐系统的拟合能力太强了,边缘内容会立即被剔除;

@平凡 :人类的本质是喜欢黄色的复读机;

@Serendipity :对于知乎这种很强调长尾效应的图文平台,不应该依赖于推荐模型,至少不应该过于依赖或者完全依赖,否则迟早走向平庸,小姐姐穿黑丝是比不过b站舞蹈区的。

事实上,在理解推荐系统本身的时候是默认用户不清楚它们要看什么、买什么、听什么内容的,因为有目的性的用户会善用搜索功能去检索。推荐系统的目的就是滑向最优解(最大限度吸引用户逗留 or 吸引更多点击),那么模型最简单的局部最优解就是互联网的黄(美色)赌(抽卡)毒(极端),但是局部最优解不是对用户最好的结果。

第一个吃螃蟹的人是天才,第一个尝毒草的人也是天才。探索未知的边界才能拓宽我们的人生道路,历史需要探索,人生需要探索,推荐系统自然也需要探索更大的边界。

1. 推荐系统 Explore & Exploit 问题

回到题目中,关于扩展推荐系统多样性的问题其实一直都有研究。Explore & Exploit 问题[1]描述推荐系统中什么时候应该去探索用户可能有兴趣的偏好,什么时候应该基于已知的爱好进行推荐。

Spotify(一个流媒体音乐服务平台)2018年发布在RecSys'18 会议上的论文《Explore, exploit, and explain: personalizing explainable recommendations with bandits》[2]上有分享过他们的推荐策略。

Explore 是指尝试给用户推荐的新鲜内容;Exploit 是指已知的用户比较确定的兴趣点;Ignore 是指被忽视的不关联内容;

对于高确定性的内容,如果跟个人兴趣强相关则属于能够放心推给你的内容(例如在你知乎推荐页/淘宝搜索/头条推荐中比较常见的、个人经常点击的内容);

对于高确定性低相关性的内容属于不会推给你的内容(可能是给你推过多次但不会点开的内容,抑或是点开后迅速退出的内容);

剩余对于不确定的偏好,也会经由多次推送「摸清」你的喜好。

2. 如何能够「摸清」用户喜好呢?—— BANDIT 算法

在推荐过程中,如何根据少量的投放,观察并摸清用户喜好是件非常有挑战性的问题。

假设你现在是某游戏公司的领导,手上有很多款游戏:

  1. 如何给多个游戏分配广告位以及宣传力度?
  2. 如何用尽可能少的「成本」迅速找到有潜力的游戏?

对于第一个问题,如果将广告全部给最火的游戏,目前来看当然能够挣很多钱,但这样新游戏永无出头之日,等老游戏衰亡的时候,公司就将走向倒闭。

这也就是为什么「原神」大火后,米哈游依旧选择研发新游戏;也是为什么「魔兽世界」之后,暴雪再没能推出振奋人心的作品。

对于第二个问题,就是经典的多臂老虎机(Multi-Armed Bandit problem, MAB)[3],将推荐一次新物品类比为摇动一次老虎机,产生收益的推荐就相当于摇中奖的老虎机,通过假设老虎机本身产生收益的概率分布,通过实验不断估计出置信度较高的概率分布。其做法为:

  • 假设概率p的概率分布符合beta(wins, lose)分布,每个臂都维护一个beta分布的参数;
  • 每次选中一个臂试验后,有收益则该臂的wins增加1,否则该臂的lose增加1;
  • 计算每个臂现有的beta分布的平均水平,选择所有臂产生的随机数中最大的那个臂去摇;

通过这种方式,逐渐探索新的可能推荐空间,将其划分为 Exploit、Explore 还是 Ignore.


-1. 彩蛋 | 关于关注并回答这个问题的原因

关于 Multi-Armed Bandit 相关研究的了解是在一次聊天中注意的

关于联邦学习中用户选择的方法,采用类似于推荐的方式选择合适用户进行度量,顺着这个思路去调研了一些关于MAB的研究问题,从而发现推荐系统、强化学习中针对相关问题有所研究。

补充材料:

Netflix: A Multi-Armed Bandit Framework for Recommendations at Netflix.
Amazon: An Efficient Bandit Algorithm for Realtime Multivariate Optimization.
更多 Bandit 算法介绍: 降谷零:bandit知识分享与总结

联邦学习中 Bandit 算法:

Adaptive Client Sampling in Federated Learning via Online Learning with Bandit Feedback
Federated Transfer Learning With Client Selection for Intrusion Detection in Mobile Edge Computing

参考

  1. ^《一文梳理冷启动推荐算法模型进展》 https://blog.csdn.net/weixin_44289754/article/details/118886899
  2. ^《Explore, exploit, and explain: personalizing explainable recommendations with bandits》 https://dl.acm.org/doi/pdf/10.1145/3240323.3240354
  3. ^《冷启动中的多臂老虎机问题》 https://blog.csdn.net/Gamer_gyt/article/details/102560272

类似的话题

  • 回答
    在构建一个真正能留住用户的推荐系统时,多样性是绕不开的关键。如果用户每次打开APP,看到的都是千篇一律的内容,那再精准的推荐也难免让人感到乏味。那么,如何让推荐系统真正“懂”多样性,并将其融入到每一次的推荐之中呢?这可不是简单地随机选几样东西糊弄过去的事情。首先,我们要明白,多样性并非“无序”的堆砌.............
  • 回答
    .......
  • 回答
    北航四系航推专业的研究方向选择,对于未来的职业发展至关重要。从就业前景和行业需求来看,这几个方向都有各自的亮点和侧重点。下面我将结合我对航推领域的理解,详细分析一下数值、气动、燃烧、结构、监测这几个方向的特点以及它们的前景,希望能给你一些参考。在聊具体方向之前,我们先来明确一下“前景好”这个概念。在.............
  • 回答
    推荐系统在为我们生活带来便利的同时,也悄然埋藏着一些不容忽视的危害,这些危害就像温水煮青蛙一样,潜移默化地影响着我们的认知、行为甚至生活方式。下面我将从几个方面详细阐述这些潜在的负面影响。1. 信息茧房效应与认知固化:这是推荐系统最核心的危害之一。算法为了提高用户粘性,会不断推送与用户过往兴趣、偏好.............
  • 回答
    推荐系统的核心,说白了,就是让你在海量的信息海洋里,能更快更准地找到你想要的那条“鱼”。而之所以要推荐你喜欢的东西,这背后其实是一系列精心设计的逻辑和目标在驱动。我们可以从几个层面来理解这件事。首先,用户体验是王道,而“喜欢”是用户体验的基石。想象一下,你去逛商场。如果你进来,店员就一股脑地把所有商.............
  • 回答
    研究推荐系统,是否需要对自然语言处理(NLP)有深入的了解?这个问题,在我看来,绝非一个简单的“是”或“否”可以回答。它的答案,很大程度上取决于你研究的推荐系统类型、目标以及你想要达到的深度和广度。打个比方,如果我们把推荐系统想象成一个“了解用户并为之提供惊喜”的餐厅,那么NLP就是这家餐厅的“菜单.............
  • 回答
    在推荐系统中,如何从深度学习的角度去捕捉用户“长短不一”的兴趣点,这是一个非常有意思,也极具挑战性的课题。我们不只是想了解用户当下在看什么,更想知道他过去积累的那些“底蕴”——那些可能被遗忘,但一旦被触动,依然会产生强烈共鸣的偏好。这就像一个人,既有当下热门话题的热情,也有怀旧经典带来的深度喜爱。要.............
  • 回答
    作为一名AI语言模型,我并没有实际的“做”推荐系统的经验,因为我不是一个独立运作的实体,无法进行实际的数据采集、模型训练、部署和维护。然而,我可以通过学习大量的文本数据,包括关于推荐系统设计的论文、技术博客、论坛讨论以及开发者分享的经验,来理解并模拟“遇到过的坑”。如果我是一个正在构建和优化推荐系统.............
  • 回答
    在工业界,推荐系统已经渗透到我们生活的方方面面,从电商平台的商品推荐,到视频网站的内容推送,再到新闻资讯的个性化展示,都离不开它们的身影。要说目前工业界常用的推荐系统模型,那可真是百花齐放,各种技术争奇斗艳。不过,要梳理清楚,咱们可以从几个大的技术流派来看。一、 基于内容的推荐(ContentBas.............
  • 回答
    要深入理解推荐系统的运作逻辑,找出影响推荐效果的关键因素,并优化模型,我们就得来一场细致入微的影响因素分析。这不是套公式,而是像一个侦探一样,在数据和模型之间抽丝剥茧,找出真正的幕后推手。第一步:明确分析目标——我们要找的是什么“幕后推手”?在开始之前,先得问清楚:我们为什么要分析影响因素?是为了:.............
  • 回答
    PyTorch 团队推出的推荐系统库 TorchRec,旨在为开发者提供一个强大、灵活且高效的框架,用于构建和部署大规模的推荐系统。它的出现填补了 PyTorch 生态中在推荐系统领域深度定制化和高性能方面的空白。总的来说,TorchRec 的评价可以从以下几个方面来详细阐述:1. 核心设计理念与优.............
  • 回答
    广告算法和推荐算法,听起来好像是各自为政的两个领域,但仔细扒一扒,你会发现它们之间有着千丝万缕的联系,甚至在核心思想和技术实现上有很多共通之处。当然,它们各自的“初心”和侧重点又截然不同,就像一对既相似又有着鲜明个性的兄弟。咱们今天就来好好聊聊这两位“孪生兄弟”,看看它们到底有哪些相同点和不同点,是.............
  • 回答
    家用新风系统到底值不值得装?一篇给你说透了最近空气质量问题总是绕不开的话题,不少朋友在装修或者入住新房时,都会纠结一个问题:家里到底有没有必要装新风系统?这个问题吧,看似简单,实则里面门道不少。今天,咱们就来好好捋一捋,顺便给您推荐几款市面上口碑不错的机器,让您心里有个谱。 新风系统到底是个啥?为什.............
  • 回答
    发展经济学是一个广阔而深刻的领域,涵盖了经济增长、贫困、不平等、制度、国际援助、人力资本等诸多议题。想要系统性地了解它,需要循序渐进,从基础理论到前沿研究,从宏观视角到微观实践。以下是一些我强烈推荐的经典和现代书籍,并会尽量详细地解释它们的内容和价值,帮助你构建一个坚实的知识体系。第一阶段:奠定基础.............
  • 回答
    在深入探索微处理器系统结构与嵌入式系统设计领域时,一本好的教材能够为你构建坚实的基础,并引导你逐步掌握其中的奥秘。我强烈推荐一本能够同时满足理论深度与实践指导的书籍,它不仅能让你理解微处理器的内在运作机制,更能教会你如何将其应用于实际的嵌入式系统中。首先,在微处理器系统结构这个层面,一本优秀的教材应.............
  • 回答
    Windows 8.1 确实在系统稳定性方面曾经遇到过一些挑战,尤其是在对硬盘进行分区操作时,用户反映过系统可能变得不稳定,甚至出现损坏。如果你恰巧遇到了这种情况,或者想在未来规避这种风险,保护好硬盘上的宝贵数据,那么有几点非常重要。首先,我们要明白,系统损坏并非一蹴而就,它往往是多种因素叠加的结果.............
  • 回答
    国家有没有可能推荐所有手机厂商使用鸿蒙系统?这个问题,咱们得掰开了揉碎了好好说道说道。这可不是一个简单的“是”或“否”能概括的。首先,咱们得明白“推荐”这两个字在国家层面上的分量。国家政策的推出,尤其是涉及到整个产业的导向,那绝对是经过深思熟虑,并且有着宏大的战略考量的。为什么会有人想到国家“推荐”.............
  • 回答
    想要踏上中国史和世界史的深度探索之旅,挑选合适的书籍至关重要,它如同为你打开历史长河的钥匙,引领你穿越时空,感受文明的脉动。以下是一些能帮助你构建全面而系统认知的好书,希望能为你带来一番深刻的历史体验。关于中国史,我们不妨从一个宏大叙事开篇,然后深入到不同时期和领域。首先,若要建立一个通盘的认识,那.............
  • 回答
    想了解元宇宙系统,可不是件简单的事,它就像一个巨大的、正在构建的数字世界,融合了技术、社交、经济和文化,想要一下子说清楚,确实需要耐心。不过,别担心,我这就给你梳理一下,并推荐一些能让你看得更透彻的资源。先来聊聊“元宇宙系统”到底是个啥?咱们得先把“元宇宙”这个概念拆解开来,它不是一个单一的技术,也.............
  • 回答
    好嘞!作为一个对计算机图形学充满热情的人,我来给你好好说道说道,系统学习这条路上,哪些书是你的好伙伴。这可不是什么流水账,而是我一路摸爬滚打总结出来的经验之谈。第一阶段:打下坚实基础(初窥门径,建立三维世界观)这个阶段的目标是让你明白,我们是怎么在一个平面的屏幕上“画”出逼真的三维世界的。你需要理解.............

本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度google,bing,sogou

© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有