深度学习attention机制中的Q,K,V分别是从哪来的？ 第1页
1
huo-hua-de-41 网友的相关建议:
Q,K,V思想最早应该是来自于Memory Networks。
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的把X映射到QKV。
具体的实现呢，邱老师的讲座里说的很清楚了。QKV是输入的X乘上Wq, Wk, Wv三个矩阵得到的。全用X不是不可以，但参数太少，影响模型容量。
1
相关话题
AAAI 2022有哪些值得关注的方向？有哪些利用搜索引擎（Search Engine）辅助自然语言处理任务（NLP）的论文？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
强化学习和自适应控制的关系是什么？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
什么是大模型？超大模型？Foundation Model？
相关的话题
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？如何评价MSRA最新的 Relation Networks for Object Detection？
硕士方向，选择迁移学习还是自然语言处理？
如何看待Tensor Comprehensions？与TVM有何异同？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
2020年，多标签学习（multi-label）有了哪些新的进展？
如何评价MSRA最新的 Relation Networks for Object Detection？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
中国人工智能图像识别技术的开创者是谁？
如何理解深度学习中的deconvolution networks？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
2021年，ncnn发展的如何了？
adversarial training为什么会起作用？
为什么 BERT 的 intermediate_size 这么大？
为啥gan里面几乎不用pooling？
如何评价 2021 年 12 月新改版的知识引擎 magi.com？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如何看待 Nervana 被 Intel 收购？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
机器学习中如何识别图片中的手是手背还是手心？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
有没有必要把机器学习算法自己实现一遍？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
有监督和无监督学习都各有哪些有名的算法和深度学习？
BERT模型可以使用无监督的方法做文本相似度任务吗？
如何评价谷歌大脑的EfficientNet？
人是如何做黑盒优化的？
如何比较Keras, TensorLayer, TFLearn ？