transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式
llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
如何理解深度学习中的deconvolution networks？如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
深度学习方面的科研工作中的实验代码有什么规范和写作技巧？如何妥善管理实验数据？
如何评价 DeepMind 的新工作 AlphaCode?
如何评价AWS的图神经网络框架DGL？
如何评价「Patches are all you need」?
如何评价谷歌大脑的EfficientNet？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
如何看待 Nervana 被 Intel 收购？
深度学习（机器学习）的下一步如何发展？
下一个讨论
想自学编程怎样下手？
相关的话题
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？你实践中学到的最重要的机器学习经验是什么？
AMD的CPU是否适合搭建深度学习主机？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
机器学习如何才能避免「只是调参数」？
为什么Transformer要用LayerNorm？
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
如何看待周志华等人的新书《机器学习理论导引》？
深度学习中，模型大了好还是小了好呢？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
人工智能在生活中的应用都有哪些？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
请问有哪些法律和计算机领域结合的例子？
为什么现在有这么多人工智能无用论？
深度学习有哪些好玩的案例？
Pytorch有什么节省显存的小技巧？
应该选择TensorFlow还是Theano？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
2021 年，深度学习方面取得了哪些关键性进展？
如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
为什么 Bert 的三个 Embedding 可以进行相加？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
为什么nlp没有像cv四小龙一样的创业公司？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
国内做NLP业务的香侬科技值得去吗？
关于tensorflow中的滑动平均？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
为什么很少人用FFT加速CNN卷积层的运算？