transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
面试官如何判断面试者的机器学习水平？NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
如何看待2021年哔哩哔哩拜年纪采用机器生成的假弹幕？
目标检测算法中Two-stage算法速度慢,到底在哪里?
如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？
有什么深度学习数学基础书推荐？
下一个讨论
想自学编程怎样下手？
相关的话题
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？人工智能领域有哪些精妙的数学原理？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？
GAN生成的数据没有标签怎么用来训练分类模型？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
是不是并不是所有问题都适合用神经网络预测？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
如何判断两个Deep Learning 数据集的数据分布是否一致？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
如果美国禁用 Tensorflow 和 Pytorch 对中国的人工智能有何影响？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
pytorch 分布式计算 你们都遇到过哪些 坑/bug？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
视觉Transformer如何优雅地避开位置编码？
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
深度学习的多个loss如何平衡？
Resnet是否只是一个深度学习的trick？
为什么都说神经网络是个黑箱？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？