transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？mxnet的并行计算为什么这么牛，是什么原理？
ICLR 2022有哪些值得关注的投稿？
Resnet到底在解决一个什么问题呢？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
人工智能可以解决人类难题吗？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
现在的BERT等语言模型，最快训练要多久？
如何评价AlphaGo Zero？
下一个讨论
想自学编程怎样下手？
相关的话题
你有哪些deep learning（rnn、cnn）调参的经验？大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
如何评价贾扬清离职 Facebook？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
如何评价 BERT 模型？
中国和美国谁能成人工智能领域的领军者？
AlphaGo「理解」围棋吗？
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
《失控玩家》中的游戏有可能实现出来吗？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
如何评价VOLO: Vision Outlooker for Visual Recognition？
如何看待NVIDIA 即将开源的DLA？
如何看待pytorch在主页写下帮助乌克兰进行人道主义援助？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
pytorch 分布式计算 你们都遇到过哪些 坑/bug？
联邦学习在机器学习领域有什么独立存在的价值?
2020年，多标签学习（multi-label）有了哪些新的进展？
Transformer是如何处理可变长度数据的？
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？
梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？
FPGA做深度学习能走多远？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
word2vec有什么应用？