计算商品embedding然后平均得到用户embedding，会不会存在这种问题？ 第1页
1
huo-hua-de-41 网友的相关建议:
问题的本质在于维数诅咒curse of dimensionality，你需要的是一个对于高维向量的正确图景。你想象中的情况是左边2维或者3维的情况，这个时候猫猫狗狗的确是混在一起的，取平均后会有“四不像”的情况。但实际上，embedding都是几百维，是高维向量。每个样本猫或者狗都存在于一个个尖尖上，几个尖尖取平均后，只会依然离这几个尖尖最近，能够保证“四都像”。
chenran 网友的相关建议:
因为在高维空间中的平均，会依然离原来的点特别近，离其他的点特别远？
我们假设这样一个情形，在空间中取4个点{A1..A4}，取平均得A‘可以看作 User Embedding，再在空间中随机生成100个点{B1..B100}。我们计算A' 最近的点是在 {A1..A4} 中还是在 {B1..B100} 中。
在二维空间中特别明显，A‘ 大概率离B点集更近一些。我们跑个模拟，看看随着维度的变高，有什么变化。
可以看到，在低维度的时候，取平均会更像其他的 Item，但随着 Embedding 维度的增加，User Embedding 最近的点几乎全是A集中的点，依然在那几个 Item Embedding 的附近，而离其他的 Embedding 更远一些。
所以并不会是“四不像”，而是“四都像”。高维度和低维度上的直觉有时候很不同罢。
1
相关话题
机器学习，深度神经网络等方法是否是正确的方向？李航的统计学习方法，吴恩达的视频，关于机器学习的东西都看不懂是怎么回事？
迁移学习与fine-tuning有什么区别？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
请问机器学习中的预测与决策的区别是什么，他们的界限在哪里呢？
神经网络为什么可以（理论上）拟合任何函数？
如何看待在某度搜不到megengine官网？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
如何看待百度无人车， 三千多个场景，一万多个if？
因果推断（causal inference）是回归（regression）问题的一种特例吗？
前一个讨论
机械工程专业为什么要学 C 语言？
下一个讨论
如何自学数学以达到数学博士的水平？
相关的话题
为什么做机器学习的很少使用假设检验？如何评价Google发布的第二代深度学习系统TensorFlow?
有哪些看了让你醍醐灌顶的书籍、论文、期刊，使你对如何做数据挖掘、特征工程、统计挖掘有了眉目？
如何系统学习机器学习？
主题模型(topic model)到底还有没有用，该怎么用？
有哪些贝叶斯推理入门的书籍？
能否使用神经网络来判断奇偶数？
什么是无监督学习？
机器全面代替人工劳动力的那一天，你能如何生存下去？
现在的BERT等语言模型，最快训练要多久？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
熵权法确定权重的原理是不是因为它仅依赖于数据本身的离散性?
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
深度学习的多个loss如何平衡？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
如何看待何恺明最新一作论文Masked Autoencoders？
如何评价DALL-E模型的实现？
三门问题(蒙提霍尔悖论)变种，如果主持人不知道哪个门是汽车随便蒙门打开正好是羊这时观众还需要换门吗？
皮尔逊系数为什么要中心化？中心化之后有什么好处？
为什么softmax很少会出现[0.5，0.5]？
神经网络能否代替决策树算法？
如何评价小米开源的移动端深度学习框架MACE？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
求通俗解释下bandit老虎机到底是个什么东西？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
深度学习领域有哪些瓶颈？
如何将某个分布作为机器学习的特征？
欧洲有哪些统计机器学习比较强的大学或者研究院的？？
如何评价深度学习之父Hinton发布的Capsule论文？