计算商品embedding然后平均得到用户embedding，会不会存在这种问题？ 第1页
1
huo-hua-de-41 网友的相关建议:
问题的本质在于维数诅咒curse of dimensionality，你需要的是一个对于高维向量的正确图景。你想象中的情况是左边2维或者3维的情况，这个时候猫猫狗狗的确是混在一起的，取平均后会有“四不像”的情况。但实际上，embedding都是几百维，是高维向量。每个样本猫或者狗都存在于一个个尖尖上，几个尖尖取平均后，只会依然离这几个尖尖最近，能够保证“四都像”。
chenran 网友的相关建议:
因为在高维空间中的平均，会依然离原来的点特别近，离其他的点特别远？
我们假设这样一个情形，在空间中取4个点{A1..A4}，取平均得A‘可以看作 User Embedding，再在空间中随机生成100个点{B1..B100}。我们计算A' 最近的点是在 {A1..A4} 中还是在 {B1..B100} 中。
在二维空间中特别明显，A‘ 大概率离B点集更近一些。我们跑个模拟，看看随着维度的变高，有什么变化。
可以看到，在低维度的时候，取平均会更像其他的 Item，但随着 Embedding 维度的增加，User Embedding 最近的点几乎全是A集中的点，依然在那几个 Item Embedding 的附近，而离其他的 Embedding 更远一些。
所以并不会是“四不像”，而是“四都像”。高维度和低维度上的直觉有时候很不同罢。
1
相关话题
Apple 在设备端对儿童色情图片检测，你怎么看这项功能？实验室一块GPU都没有怎么做深度学习？
如何全面理解工程师红利？
为什么机器学习解决网络安全问题总是失败?
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
如何评价论文「Stochastic Training is Not Necessary ...」?
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
如何评价1700亿参数的GPT-3？
前一个讨论
机械工程专业为什么要学 C 语言？
下一个讨论
如何自学数学以达到数学博士的水平？
相关的话题
DeepMind 团队中有哪些厉害的人物和技术积累？为什么现在很多人不看好商汤科技？
在与 AlphaGo（包括 Master） 的对局中是否出现了一些人类历史上从未想到过的着法、技巧？
为什么有的论文放出训练好的模型和测试脚本，但不开源训练代码？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
如何理解今年发表在JMLR上随机森林算法SPORF？
word2vec有什么应用？
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
机器学习，深度神经网络等方法是否是正确的方向？
机器全面代替人工劳动力的那一天，你能如何生存下去？
北京深鉴科技基于FPGA平台的DPU架构如何？
为什么读论文最好打印出来读？
多模态方面，有哪些牛组值得我们follow他们的工作？
目前强化学习在控制领域的应用有哪些？
如何评价Momenta ImageNet 2017夺冠架构SENet?
请问应该怎样去学习图像识别和深度学习？
如何评价 On Unifying Deep Generative Models 这篇 paper?
为什么读论文最好打印出来读？
未来 3~5 年内，哪个方向的机器学习人才最紧缺？
pytorch 的高层库ignite怎么样？
如何用简单易懂的例子解释隐马尔可夫模型？
如果用机器学习的理论来理解人的行为，会有什么发现？
如何看待多模态transformer，是否会成为多模态领域的主流？
国内做NLP业务的香侬科技值得去吗？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
AI领域的灌水之风如何破局？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
机器学习的理论方向 PhD 是否真的会接触那么多现代数学（黎曼几何、代数拓扑之类）？