为什么计算注意力机制的时候不加偏置项？ 第1页
1
mlxue-xi 网友的相关建议:
1）注意力机制是需要计算目标item和序列中每一个item的，指数形式下增加bias，没有意义。
2）softmax权重分配存在赢者通吃，极其容易饱和，增加bias将加剧现象。所以在推荐中常常改为sigmoid函数，让权重平滑。
3）其次，增加参数，增大学习难度。
并非所有的设计都要遵循大众设计，遵循公式，要思考这样的因子可以不加吗，不加会不会更好，是不是原来的就也不需要加，加了为啥好，为啥不好。今天还看到了一篇论文在序列中加了零向量，那么在目标与序列完全无关的时候，模型attened到这个零向量即可，不会强制关注这个序列，不会引入额外的噪声。很巧妙的设计思路，当然这样的设计思路是来源于业务的理解，不是所有的业务都需要这样处理。因此，学会在合适的场景做合适的设计修改，往往产生不错的return。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？人工智能可以为人类找寻他们心目中的另一半吗?
有哪些令你印象深刻的魔改transformer？
如何理解链接预测（link prediction）？
为什么nlp没有像cv四小龙一样的创业公司？
人工智能在生活中的应用都有哪些？
没有顶会的CV/NLP方向的博士生毕业出路在哪里？
图片上训的模型，怎么迁移视频上呢？
机器学习如何才能避免「只是调参数」？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
下一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
验证集loss上升，准确率却上升该如何理解？深度学习中Attention与全连接层的区别何在？
有哪些相见恨晚的 TensorFlow 小技巧？
目标检测算法中Two-stage算法速度慢,到底在哪里?
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？
如何看待swin transformer成为ICCV2021的 best paper？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
注意力机制是如何学习到模型所应注意的区域的？
2021 年了，机器/深度学习还有哪些坑比较好挖？
贝叶斯深度学习是什么，和传统神经网络有何不同？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
NIPS 2018 有什么值得关注的亮点？
人工智能可以为人类找寻他们心目中的另一半吗?
从人工智能技术的角度如何评价 Google home、Amazon Echo、Rokid 这三款产品？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
2020年，多标签学习（multi-label）有了哪些新的进展？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如何看待旷视科技新产品监视学生上课？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
2019年CVPR有哪些糟糕的论文?
神经网络中的能量函数是如何定义的？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
如何评价1700亿参数的GPT-3？
为什么VAE-GAN的训练很容易发生梯度爆炸，如何避免？
有哪些有趣的图形学(CG)和计算机视觉(CV)相结合的应用的例子？
CVPR 2018 有什么值得关注的亮点？