在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何评价VOLO: Vision Outlooker for Visual Recognition？有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
坐标日本，计算机视觉专攻。有英文交流氛围浓厚的研究室推荐吗？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
如何看待与评价 AAAI 2022 的录用结果？
2020到2021年小样本学习取得重大进展了吗？
为什么现在很多人不看好商汤科技？
消融实验是什么？
大家用resnet50在imagenet上面top1最高能到多少？
计算机如何理解图像?
下一个讨论
电脑怎样执行编程语言的？
相关的话题
AAAI 2022有哪些值得关注的方向？为什么 BERT 的 intermediate_size 这么大？
计算机视觉有多少分支？
为什么nlp没有像cv四小龙一样的创业公司？
如何看待马毅教授在国内评不上杰青？
视觉Transformer如何优雅地避开位置编码？
学习SLAM需要哪些预备知识？
大二就中 CVPR/ICCV/ECCV/NIPS 是一种怎样的体验？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
有哪些有趣的图形学(CG)和计算机视觉(CV)相结合的应用的例子？
CV方向多模态融合有哪些好的paper？
如何评价 Kaiming He 在 ICCV 2017 上拿下双 Best 的 paper？
如何看待 AI 换脸软件「ZAO」的爆火？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
计算机视觉顶尖期刊和会议有哪些？
2021 年，深度学习方面取得了哪些关键性进展？
为什么要压缩模型，而不是直接训练一个小的CNN？
计算机视觉有多少分支？
如何评价Momenta ImageNet 2017夺冠架构SENet?
为什么dropout正则化经常在视觉方面使用而不是其他？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
为什么 BERT 的 intermediate_size 这么大？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
深度学习（机器学习）的下一步如何发展？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
如何看待旷视 detection 组组长俞刚跳槽腾讯 PCG 光影研究室?
2021年人工智能领域有哪些关键性进展和突破？
视觉算法的工业部署及落地方面的技术知识，怎么学？
全连接层的作用是什么？
如何评价Momenta ImageNet 2017夺冠架构SENet?