计算商品embedding然后平均得到用户embedding，会不会存在这种问题？ 第1页
1
huo-hua-de-41 网友的相关建议:
问题的本质在于维数诅咒curse of dimensionality，你需要的是一个对于高维向量的正确图景。你想象中的情况是左边2维或者3维的情况，这个时候猫猫狗狗的确是混在一起的，取平均后会有“四不像”的情况。但实际上，embedding都是几百维，是高维向量。每个样本猫或者狗都存在于一个个尖尖上，几个尖尖取平均后，只会依然离这几个尖尖最近，能够保证“四都像”。
chenran 网友的相关建议:
因为在高维空间中的平均，会依然离原来的点特别近，离其他的点特别远？
我们假设这样一个情形，在空间中取4个点{A1..A4}，取平均得A‘可以看作 User Embedding，再在空间中随机生成100个点{B1..B100}。我们计算A' 最近的点是在 {A1..A4} 中还是在 {B1..B100} 中。
在二维空间中特别明显，A‘ 大概率离B点集更近一些。我们跑个模拟，看看随着维度的变高，有什么变化。
可以看到，在低维度的时候，取平均会更像其他的 Item，但随着 Embedding 维度的增加，User Embedding 最近的点几乎全是A集中的点，依然在那几个 Item Embedding 的附近，而离其他的 Embedding 更远一些。
所以并不会是“四不像”，而是“四都像”。高维度和低维度上的直觉有时候很不同罢。
1
相关话题
为什么计算注意力机制的时候不加偏置项？参加kaggle竞赛是怎样一种体验？
为什么最近几年 FPGA 变得越发受大家重视了？
如何评价Kaiming He团队的MoCo v3？
如何看待Capsule Network在NLP领域的潜力？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
PRML为何是机器学习的经典书籍中的经典？
多因子模型是否真的可以带来阿尔法（alpha）？
算法岗位真的需要顶会才能入场吗？
皮尔逊系数为什么要中心化？中心化之后有什么好处？
前一个讨论
机械工程专业为什么要学 C 语言？
下一个讨论
如何自学数学以达到数学博士的水平？
相关的话题
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？2021 年，深度学习方面取得了哪些关键性进展？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
为什么说股票不能通过机器学习来预测？
如何通俗的解释交叉熵与相对熵？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
Dirichlet Processes 是一个什么样的随机过程？
transformer中的Q,K,V到底是什么？
如何评价AWS的图神经网络框架DGL？
贝叶斯深度学习是什么，和传统神经网络有何不同？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
未来 3~5 年内，哪个方向的机器学习人才最紧缺？
如何比较Keras, TensorLayer, TFLearn ？
如何理解MCMC中的细致平稳条件？
语义网所谓的“本体”的具体例子是什么？
百度学术能否替代 Google 学术网站？有没有其他选择？
三维重建怎么入门？
机器学习中如何识别图片中的手是手背还是手心？
有什么算法能对一个长短不一的时间序列进行分类预测?
你见过最差的算法工程师能差到什么程度？
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
为什么在R语言里多用<-而不是=表示赋值？
深度学习attention机制中的Q,K,V分别是从哪来的？
请问有没有基于实例的迁移学习的数据？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
为啥gan里面几乎不用pooling？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
CTC和Encoder-Decoder有什么关系?