在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
中国人工智能图像识别技术的开创者是谁？
为什么opencv使用BRG模式读入图像？
AAAI 2022有哪些值得关注的方向？
如何评价MSRA最新的 Relation Networks for Object Detection？
有哪些令你印象深刻的魔改transformer？
如何评价Kaiming He团队的MoCo v3？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何看待 NIPS 2018 submission达到近 5000 篇？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
如何评价MSRA最新的 Relation Networks for Object Detection？Transformer在工业界的应用瓶颈如何突破？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
一张图片怎么用matlab 把颜色反相，就是红的部分变成绿的，蓝的部分变成黄的？
为什么计算注意力机制的时候不加偏置项？
为什么现在不看好 CV 方向了呢?
国内有哪些不错的CV(计算机视觉)团队?
深度学习（机器学习）的下一步如何发展？
如何看待End-to-End Object Detection with Transformers？
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如果用机器学习的理论来理解人的行为，会有什么发现？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
如何评价「Patches are all you need」?
多模态方面，有哪些牛组值得我们follow他们的工作？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
以目前的计算机视觉技术能否对一张二维的人体全身照进行3D重建？
大三电子类专业要分流，大家能给个建议吗?
如何看待阿里巴巴提出的 FashionAI 比赛？
深度学习attention机制中的Q,K,V分别是从哪来的？
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
一张图片怎么用matlab 把颜色反相，就是红的部分变成绿的，蓝的部分变成黄的？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
如何通俗易懂地讲解 Photoshop 中的「通道」概念？
为什么现在不看好 CV 方向了呢?