为什么计算注意力机制的时候不加偏置项？ 第1页
1
mlxue-xi 网友的相关建议:
1）注意力机制是需要计算目标item和序列中每一个item的，指数形式下增加bias，没有意义。
2）softmax权重分配存在赢者通吃，极其容易饱和，增加bias将加剧现象。所以在推荐中常常改为sigmoid函数，让权重平滑。
3）其次，增加参数，增大学习难度。
并非所有的设计都要遵循大众设计，遵循公式，要思考这样的因子可以不加吗，不加会不会更好，是不是原来的就也不需要加，加了为啥好，为啥不好。今天还看到了一篇论文在序列中加了零向量，那么在目标与序列完全无关的时候，模型attened到这个零向量即可，不会强制关注这个序列，不会引入额外的噪声。很巧妙的设计思路，当然这样的设计思路是来源于业务的理解，不是所有的业务都需要这样处理。因此，学会在合适的场景做合适的设计修改，往往产生不错的return。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？实验室一块GPU都没有怎么做深度学习？
刷leetcode使用python还是c++？
为什么nlp没有像cv四小龙一样的创业公司？
如何理解深度学习源码里经常出现的logits？
车辆工程&计算机视觉？
TensorFlow 中 padding 的 SAME 和 VALID 两种方式有何异同？
为什么要压缩模型，而不是直接训练一个小的CNN？
TVM 最新发布版本 0.3 有哪些亮点？
为什么现在不看好 CV 方向了呢?
下一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
为什么交叉熵（cross-entropy）可以用于计算代价？
三维重建 3D reconstruction 有哪些实用算法？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
如何理解今年发表在JMLR上随机森林算法SPORF？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
神经网络的万能逼近定理已经发展到什么地步了？
ICML2020有哪些值得关注的工作?
有哪些比较好的机器学习，深度学习的网络资源可利用？
CVPR2022 有什么值得关注的论文 ?
算法工程师是否应该持续读论文？
为什么最近几年 FPGA 变得越发受大家重视了？
如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？
PyTorch中在反向传播前为什么要手动将梯度清零？
人工智能 CV 岗位是不是现在供严重大于需？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
有没有一些图像处理新手可以练习的项目？
2021 年，深度学习方面取得了哪些关键性进展？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
Transformer是如何处理可变长度数据的？
现在互联网公司还有做特征工程的工作吗？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
CPU和GPU跑深度学习差别有多大？
如何评价VOLO: Vision Outlooker for Visual Recognition？
人脸识别进小区合法吗？为什么要用人脸识别？
在中文 NLP 等论文中，应该如何翻译 token 这个词？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？