transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
为什么强大的 MXNet 一直火不起来？领域自适应需要用到测试集数据，这样的方法有啥意义呢？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
有什么算法能对一个长短不一的时间序列进行分类预测?
2021 年了，机器/深度学习还有哪些坑比较好挖？
如何解决图神经网络（GNN）训练中过度平滑的问题？
有哪些可以自学机器学习、深度学习、人工智能的网站？
因果推断会是下一个AI热潮吗？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如何评价Sony新出的深度学习库NNabla？
下一个讨论
想自学编程怎样下手？
相关的话题
如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
Pytorch有什么节省显存的小技巧？
Pytorch有什么节省显存的小技巧？
NLP 方向在国内清北读博还是国外？
如何看待Tensor Comprehensions？与TVM有何异同？
如何开发一个自己的 TensorFlow？
为什么说大模型训练很难？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
如何评价论文「Stochastic Training is Not Necessary ...」?
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
如何评价 BERT 模型？
2019 秋招的 AI 岗位竞争激烈吗？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
如何评价沐神他们写的《动手学深度学习》这本书？
Transformer是如何处理可变长度数据的？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
pytorch 分布式计算 你们都遇到过哪些 坑/bug？
2021年，ncnn发展的如何了？
为什么交叉熵（cross-entropy）可以用于计算代价？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
基于深度卷积神经网络进行人脸识别的原理是什么？
如何理解 inductive learning 与 transductive learning?
工作之后，顶会还重要吗？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
如何看待百度无人车， 三千多个场景，一万多个if？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
如何评价余凯创立的horizon robotics？
为什么 BERT 的 intermediate_size 这么大？