为什么计算注意力机制的时候不加偏置项？ 第1页
1
mlxue-xi 网友的相关建议:
1）注意力机制是需要计算目标item和序列中每一个item的，指数形式下增加bias，没有意义。
2）softmax权重分配存在赢者通吃，极其容易饱和，增加bias将加剧现象。所以在推荐中常常改为sigmoid函数，让权重平滑。
3）其次，增加参数，增大学习难度。
并非所有的设计都要遵循大众设计，遵循公式，要思考这样的因子可以不加吗，不加会不会更好，是不是原来的就也不需要加，加了为啥好，为啥不好。今天还看到了一篇论文在序列中加了零向量，那么在目标与序列完全无关的时候，模型attened到这个零向量即可，不会强制关注这个序列，不会引入额外的噪声。很巧妙的设计思路，当然这样的设计思路是来源于业务的理解，不是所有的业务都需要这样处理。因此，学会在合适的场景做合适的设计修改，往往产生不错的return。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何系统学习机器学习？计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
全连接层的作用是什么？
没有顶会的CV/NLP方向的博士生毕业出路在哪里？
为什么中文 NLP 数据集这么少？
如何评价 Self-Normalizing Neural Networks 这篇论文?
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
你见过最差的算法工程师能差到什么程度？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
下一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
注意力机制是如何学习到模型所应注意的区域的？为什么现在不看好 CV 方向了呢?
为什么 Bert 的三个 Embedding 可以进行相加？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
如何看待在某度搜不到megengine官网？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
你实践中学到的最重要的机器学习经验是什么？
CVPR 2019 有哪些值得关注的亮点？
有谁照着论文把 AlphaGo 重现出来了？
如何看待马毅教授在国内评不上杰青？
Batch Normalization 训练的时候为什么不使用 moving statistics？
国内做NLP业务的香侬科技值得去吗？
深度学习方面的科研工作中的实验代码有什么规范和写作技巧？如何妥善管理实验数据？
如何看待 Nervana 被 Intel 收购？
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
验证集loss上升，准确率却上升该如何理解？
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
图片上训的模型，怎么迁移视频上呢？
Transformer在工业界的应用瓶颈如何突破？
如何看待 Nervana 被 Intel 收购？
多模态方面，有哪些牛组值得我们follow他们的工作？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
2021 年了，机器/深度学习还有哪些坑比较好挖？
如何看待2021年秋招算法岗灰飞烟灭？
2021年人工智能领域有哪些关键性进展和突破？
如何理解MCMC中的细致平稳条件？
多模态方面，有哪些牛组值得我们follow他们的工作？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？