transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
如何评价清华大学发布的自研深度学习框架-计图(Jittor)？AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
为什么 BERT 的 intermediate_size 这么大？
pytorch 分布式计算 你们都遇到过哪些 坑/bug？
什么是狄利克雷分布？狄利克雷过程又是什么？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
如何看待周志华等人的新书《机器学习理论导引》？
如何评价Google 在TensorFlow 中引入的bfloat16 数据类型？
如何评价谷歌大脑的EfficientNet？
下一个讨论
想自学编程怎样下手？
相关的话题
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？Batch Normalization 训练的时候为什么不使用 moving statistics？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
AlphaGo「理解」围棋吗？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
mxnet的并行计算为什么这么牛，是什么原理？
在中文 NLP 等论文中，应该如何翻译 token 这个词？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
普通FPGA工程师怎样向人工智能靠拢？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
如何看待微软小冰写的诗？
有哪些可以自学机器学习、深度学习、人工智能的网站？
TensorFlow的自动求导具体是在哪部分代码里实现的？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
深度学习底层开发对数学有哪些要求？
究竟什么是损失函数 loss function?
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
有哪些可以自学机器学习、深度学习、人工智能的网站？
为什么有的 Vision Transformer 中的 key 不需要 bias ？
自然语言处理方向研究生好找工作吗？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
2021年深度学习在哪些应用上有实质进展？
数据挖掘、机器学习、自然语言处理这三者是什么关系？这几个怎么入门啊？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
如何看待2021年秋招算法岗灰飞烟灭？