为什么计算注意力机制的时候不加偏置项？ 第1页
1
mlxue-xi 网友的相关建议:
1）注意力机制是需要计算目标item和序列中每一个item的，指数形式下增加bias，没有意义。
2）softmax权重分配存在赢者通吃，极其容易饱和，增加bias将加剧现象。所以在推荐中常常改为sigmoid函数，让权重平滑。
3）其次，增加参数，增大学习难度。
并非所有的设计都要遵循大众设计，遵循公式，要思考这样的因子可以不加吗，不加会不会更好，是不是原来的就也不需要加，加了为啥好，为啥不好。今天还看到了一篇论文在序列中加了零向量，那么在目标与序列完全无关的时候，模型attened到这个零向量即可，不会强制关注这个序列，不会引入额外的噪声。很巧妙的设计思路，当然这样的设计思路是来源于业务的理解，不是所有的业务都需要这样处理。因此，学会在合适的场景做合适的设计修改，往往产生不错的return。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
算法工程师是否应该持续读论文？隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
如果用机器学习的理论来理解人的行为，会有什么发现？
计算成像(computational photography)方向的就业前景如何？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
目标检测算法中Two-stage算法速度慢,到底在哪里?
如何看待End-to-End Object Detection with Transformers？
算法岗位真的需要顶会才能入场吗？
为什么Transformer要用LayerNorm？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
下一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
深度学习（机器学习）的下一步如何发展？研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
为什么编程语言语法的设计不往缩小与自然语言的差别的方向发展，或者说在这个方向发展得这么慢呢？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
图片上训的模型，怎么迁移视频上呢？
如何评价小米开源的移动端深度学习框架MACE？
NLP 方向在国内清北读博还是国外？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
生成对抗网络的毕设怎么上手？
如何评价陈天奇的模块化深度学习系统NNVM？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
如何看待SIREN激活函数的提出？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
ICLR 2021 有什么值得关注的投稿？
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？
深度学习方面还有什么Open Problem?
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
CVPR 2018 有什么值得关注的亮点？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
如何理解空洞卷积（dilated convolution）？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？