为什么计算注意力机制的时候不加偏置项？ 第1页
1
mlxue-xi 网友的相关建议:
1）注意力机制是需要计算目标item和序列中每一个item的，指数形式下增加bias，没有意义。
2）softmax权重分配存在赢者通吃，极其容易饱和，增加bias将加剧现象。所以在推荐中常常改为sigmoid函数，让权重平滑。
3）其次，增加参数，增大学习难度。
并非所有的设计都要遵循大众设计，遵循公式，要思考这样的因子可以不加吗，不加会不会更好，是不是原来的就也不需要加，加了为啥好，为啥不好。今天还看到了一篇论文在序列中加了零向量，那么在目标与序列完全无关的时候，模型attened到这个零向量即可，不会强制关注这个序列，不会引入额外的噪声。很巧妙的设计思路，当然这样的设计思路是来源于业务的理解，不是所有的业务都需要这样处理。因此，学会在合适的场景做合适的设计修改，往往产生不错的return。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何评价李飞飞和李佳加盟谷歌？计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
Batch Normalization 训练的时候为什么不使用 moving statistics？
PyTorch中在反向传播前为什么要手动将梯度清零？
多模态方面，有哪些牛组值得我们follow他们的工作？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
CVPR 2019 有哪些值得关注的亮点？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
下一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？机器学习里面的流形都是怎么用的？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
如何评价 Exploring Simple Siamese Learning?
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
为什么计算注意力机制的时候不加偏置项？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
为什么计算注意力机制的时候不加偏置项？
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
有哪些有趣的图形学(CG)和计算机视觉(CV)相结合的应用的例子？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
为什么VAE-GAN的训练很容易发生梯度爆炸，如何避免？
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？
如何看待旷视 detection 组组长俞刚跳槽腾讯 PCG 光影研究室?
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
计算机视觉有多少分支？
PyTorch中在反向传播前为什么要手动将梯度清零？
nlp有哪些值得完整实现一遍的算法?
为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？
请问有哪些法律和计算机领域结合的例子？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
为什么Transformer要用LayerNorm？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？