计算商品embedding然后平均得到用户embedding，会不会存在这种问题？ 第1页
1
huo-hua-de-41 网友的相关建议:
问题的本质在于维数诅咒curse of dimensionality，你需要的是一个对于高维向量的正确图景。你想象中的情况是左边2维或者3维的情况，这个时候猫猫狗狗的确是混在一起的，取平均后会有“四不像”的情况。但实际上，embedding都是几百维，是高维向量。每个样本猫或者狗都存在于一个个尖尖上，几个尖尖取平均后，只会依然离这几个尖尖最近，能够保证“四都像”。
chenran 网友的相关建议:
因为在高维空间中的平均，会依然离原来的点特别近，离其他的点特别远？
我们假设这样一个情形，在空间中取4个点{A1..A4}，取平均得A‘可以看作 User Embedding，再在空间中随机生成100个点{B1..B100}。我们计算A' 最近的点是在 {A1..A4} 中还是在 {B1..B100} 中。
在二维空间中特别明显，A‘ 大概率离B点集更近一些。我们跑个模拟，看看随着维度的变高，有什么变化。
可以看到，在低维度的时候，取平均会更像其他的 Item，但随着 Embedding 维度的增加，User Embedding 最近的点几乎全是A集中的点，依然在那几个 Item Embedding 的附近，而离其他的 Embedding 更远一些。
所以并不会是“四不像”，而是“四都像”。高维度和低维度上的直觉有时候很不同罢。
1
相关话题
能否训练一个AI模型来预测房价，寻找投资机会挖掘价值洼地？如何看待 Nervana 被 Intel 收购？
是否有可能使用人工智能在高原、戈壁和沙漠中进行工业生产？
如何评价 Self-Normalizing Neural Networks 这篇论文?
深度学习attention机制中的Q,K,V分别是从哪来的？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
有谁给解释一下流形以及流形正则化？
前一个讨论
机械工程专业为什么要学 C 语言？
下一个讨论
如何自学数学以达到数学博士的水平？
相关的话题
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?如何用机器学习判断《溪岸图》是否董源真迹？
有多少个数学家叫 Kolmogorov ?
27岁了跨考计算机研究生会不会太晚？
用于数据挖掘的聚类算法有哪些，各有何优势？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
神经网络模型压缩好就业吗?
因果推断会是下一个AI热潮吗？
2020年，多标签学习（multi-label）有了哪些新的进展？
DeepMind 团队中有哪些厉害的人物和技术积累？
为何感觉“知识蒸馏”这几年没有什么成果？
深度学习方面还有什么Open Problem?
编程达到什么水平才能编写出像caffe这样的深度学习框架？
如何评价《Science》封面文章《通过概率规划归纳的人类层次概念学习》?
参加kaggle竞赛是怎样一种体验？
什么是机器学习？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
如何看待斯坦福博士生2prime陆一平关于新冠起源的一系列言论？
百度学术能否替代 Google 学术网站？有没有其他选择？
三维重建怎么入门？
如何给推荐系统做影响因素分析?
2020年，多标签学习（multi-label）有了哪些新的进展？
各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？
目前有哪些比较成功的人工智能应用？
如何进行图像模糊与清晰的分类？
NLP领域，你推荐哪些综述性的文章？
深度学习底层开发对数学有哪些要求？
什么是meta-learning?
机器学习中常常提到的正则化到底是什么意思？
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？