深度学习attention机制中的Q,K,V分别是从哪来的？ 第1页
1
huo-hua-de-41 网友的相关建议:
Q,K,V思想最早应该是来自于Memory Networks。
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的把X映射到QKV。
具体的实现呢，邱老师的讲座里说的很清楚了。QKV是输入的X乘上Wq, Wk, Wv三个矩阵得到的。全用X不是不可以，但参数太少，影响模型容量。
1
相关话题
为什么做GPU计算，深度学习用amd显卡的很少，基本都nvidia？如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
AI 都学会看论文了，科研工作者会被淘汰么？
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
为什么要压缩模型，而不是直接训练一个小的CNN？
深度学习（机器学习）的下一步如何发展？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
如何评价 DeepMind 的新工作 AlphaCode?
相关的话题
如何看待End-to-End Object Detection with Transformers？请解释下variational inference？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
旷视(Face++)完成C轮1亿美元融资，是否说明旷视已经进入独角兽阵营？
如何评价Google发布的第二代深度学习系统TensorFlow?
如何证明数据增强（Data Augmentation）有效性？
刚进算法团队，大牛们讨论高深的 cv 术语和算法，如何才能听懂？
普通FPGA工程师怎样向人工智能靠拢？
人脑有海量的神经元（参数），那么人脑有没有「过拟合」行为？
CTC和Encoder-Decoder有什么关系?
深度神经网络（DNN）是否模拟了人类大脑皮层结构？
为什么很少拿神经网络来直接做滤波器呢？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
为什么说大模型训练很难？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
有哪些比较好的元学习（meta learning）领域的学习资源？
强化学习和自适应控制的关系是什么？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
2019 秋招的 AI 岗位竞争激烈吗？
请问刘知远老师提供的网易新闻标注数据集开源吗？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
为什么ViT里的image patch要设计成不重叠？
人工智能可以为人类找寻他们心目中的另一半吗?
如何简单形象又有趣地讲解神经网络是什么？
验证集loss上升，准确率却上升该如何理解？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
验证集loss上升，准确率却上升该如何理解？
为什么nlp没有像cv四小龙一样的创业公司？