深度学习attention机制中的Q,K,V分别是从哪来的？ 第1页
1
huo-hua-de-41 网友的相关建议:
Q,K,V思想最早应该是来自于Memory Networks。
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的把X映射到QKV。
具体的实现呢，邱老师的讲座里说的很清楚了。QKV是输入的X乘上Wq, Wk, Wv三个矩阵得到的。全用X不是不可以，但参数太少，影响模型容量。
1
相关话题
为什么在SGD中使用L1正则化很难获得稀疏性？如何用一句话证明自然语言处理很难？
graph convolutional network有什么比较好的应用task？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
DeepMind 团队中有哪些厉害的人物和技术积累？
卷积神经网络（CNN）的结构设计都有哪些思想？
为什么ViT里的image patch要设计成不重叠？
主题模型(topic model)到底还有没有用，该怎么用？
相关的话题
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
NLP领域，你推荐哪些综述性的文章？
如何评价Deepmind自监督新作BYOL？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
NLP 方向在国内清北读博还是国外？
为什么现在有这么多人工智能无用论？
为什么nlp没有像cv四小龙一样的创业公司？
2019年NeurIPS有哪些糟糕的论文？
为什么现在不看好 CV 方向了呢?
2021 年，深度学习方面取得了哪些关键性进展？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
如何评价Google发布的第二代深度学习系统TensorFlow?
能否使用神经网络来判断奇偶数？
如何看待End-to-End Object Detection with Transformers？
深度学习做股票预测靠谱吗？
2021 年，深度学习方面取得了哪些关键性进展？
2019年NeurIPS有哪些糟糕的论文？
究竟什么是损失函数 loss function?
如何看待swin transformer成为ICCV2021的 best paper？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
CPU和GPU跑深度学习差别有多大？
如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
为什么计算注意力机制的时候不加偏置项？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
LSTM如何来避免梯度弥散和梯度爆炸？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法，两者分别有什么优缺点？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
卷积神经网络（CNN）的结构设计都有哪些思想？