在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？刚进算法团队，大牛们讨论高深的 cv 术语和算法，如何才能听懂？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
如何评价谷歌大脑的EfficientNet？
为什么现在不看好 CV 方向了呢?
多模态方面，有哪些牛组值得我们follow他们的工作？
车辆工程&计算机视觉？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
2019年CVPR有哪些糟糕的论文?
如何看待阿里巴巴提出的 FashionAI 比赛？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
为什么Transformer适合做多模态任务？如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
全连接层的作用是什么？
为什么opencv使用BRG模式读入图像？
人脸识别进小区合法吗？为什么要用人脸识别？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
为什么有的 Vision Transformer 中的 key 不需要 bias ？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
学习SLAM需要哪些预备知识？
如何评价 CVPR2022 的审稿结果和录取情况？
如何看待 NIPS 2018 submission达到近 5000 篇？
刚进算法团队，大牛们讨论高深的 cv 术语和算法，如何才能听懂？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
2021年人工智能领域有哪些关键性进展和突破？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
为什么这么多 NLP 大牛硕士毕业去企业不留在学术界？
深度学习attention机制中的Q,K,V分别是从哪来的？
为什么这么多 NLP 大牛硕士毕业去企业不留在学术界？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
三维重建 3D reconstruction 有哪些实用算法？
全连接层的作用是什么？
如何评价VOLO: Vision Outlooker for Visual Recognition？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
有哪些令你印象深刻的魔改transformer？
为什么ViT里的image patch要设计成不重叠？
如何看待 AI 换脸软件「ZAO」的爆火？
机器视觉为什么不用手机的镜头，而要用那么大的工业相机？
华为应届顶尖博士年薪百万，读博是不是有希望了？
为什么 BERT 的 intermediate_size 这么大？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？