为什么计算注意力机制的时候不加偏置项？ 第1页
1
mlxue-xi 网友的相关建议:
1）注意力机制是需要计算目标item和序列中每一个item的，指数形式下增加bias，没有意义。
2）softmax权重分配存在赢者通吃，极其容易饱和，增加bias将加剧现象。所以在推荐中常常改为sigmoid函数，让权重平滑。
3）其次，增加参数，增大学习难度。
并非所有的设计都要遵循大众设计，遵循公式，要思考这样的因子可以不加吗，不加会不会更好，是不是原来的就也不需要加，加了为啥好，为啥不好。今天还看到了一篇论文在序列中加了零向量，那么在目标与序列完全无关的时候，模型attened到这个零向量即可，不会强制关注这个序列，不会引入额外的噪声。很巧妙的设计思路，当然这样的设计思路是来源于业务的理解，不是所有的业务都需要这样处理。因此，学会在合适的场景做合适的设计修改，往往产生不错的return。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？华为应届顶尖博士年薪百万，读博是不是有希望了？
什么是meta-learning?
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
DL/ML 模型如何部署到生产环境中？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
如何看待End-to-End Object Detection with Transformers？
算法岗位真的需要顶会才能入场吗？
有谁照着论文把 AlphaGo 重现出来了？
下一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
如何评价 On Unifying Deep Generative Models 这篇 paper?如何评价 CVPR2022 的审稿结果和录取情况？
有哪些关于机器学习的真相还鲜为人知？
Batch normalization和Instance normalization的对比？
深度学习中Attention与全连接层的区别何在？
如何用一句话证明自然语言处理很难？
如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？
为什么最近几年 FPGA 变得越发受大家重视了？
深度学习方面还有什么Open Problem?
知识图谱+nlp，有什么适合硕士独自研究的方向？
人工智能 CV 岗位是不是现在供严重大于需？
如何判断两个Deep Learning 数据集的数据分布是否一致？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
如何理解今年发表在JMLR上随机森林算法SPORF？
PyTorch中在反向传播前为什么要手动将梯度清零？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
因果推断会是下一个AI热潮吗？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
刚进算法团队，大牛们讨论高深的 cv 术语和算法，如何才能听懂？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
transformer中的Q,K,V到底是什么？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
如何理解attention中的Q,K,V？
AI 都学会看论文了，科研工作者会被淘汰么？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
如何评价 CVPR2022 的审稿结果和录取情况？
如何评价李飞飞和李佳加盟谷歌？