在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
如何看待与评价 AAAI 2022 的录用结果？
CVPR 2015 有什么值得关注的亮点？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
为什么opencv使用BRG模式读入图像？
2021 年，深度学习方面取得了哪些关键性进展？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
计算成像(computational photography)方向的就业前景如何？如何评价VOLO: Vision Outlooker for Visual Recognition？
为什么现在很多人不看好商汤科技？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
人脸识别哪家强？
CVPR 2018 有什么值得关注的亮点？
Transformer在工业界的应用瓶颈如何突破？
普通FPGA工程师怎样向人工智能靠拢？
如何看待旷视 detection 组组长俞刚跳槽腾讯 PCG 光影研究室?
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
如何判断两个Deep Learning 数据集的数据分布是否一致？
假如我穿越到2017年第一个提出了Transformer、BERT等模型，我可以保送到清华北大吗？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如何评价「Patches are all you need」?
CVPR2022 有什么值得关注的论文 ?
为什么很少人用FFT加速CNN卷积层的运算？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
哪些人工智能领域已经或者未来1-2年会实现盈利？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
何恺明目前的学术成果是否够得上计算机视觉领域历史第一人？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
消融实验是什么？
多模态方面，有哪些牛组值得我们follow他们的工作？
如何看待2021年秋招算法岗灰飞烟灭？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？