在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
AI领域的灌水之风如何破局？计算机视觉有多少分支？
大家用resnet50在imagenet上面top1最高能到多少？
机器视觉为什么不用手机的镜头，而要用那么大的工业相机？
如何评价 CVPR2022 的审稿结果和录取情况？
如何评价Kaiming He团队的MoCo v3？
为什么 BERT 的 intermediate_size 这么大？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
计算成像(computational photography)方向的就业前景如何？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
如何看待多模态transformer，是否会成为多模态领域的主流？adversarial training为什么会起作用？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
为什么ViT里的image patch要设计成不重叠？
为什么 BERT 的 intermediate_size 这么大？
为什么计算注意力机制的时候不加偏置项？
PyTorch中在反向传播前为什么要手动将梯度清零？
如何看待旷视确定香港上市？
人脸识别进小区合法吗？为什么要用人脸识别？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
有哪些有趣的图形学(CG)和计算机视觉(CV)相结合的应用的例子？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
如何评价Deepmind自监督新作BYOL？
如何评价最新的Octave Convolution？
刚进算法团队，大牛们讨论高深的 cv 术语和算法，如何才能听懂？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
视觉Transformer如何优雅地避开位置编码？
如何评价MSRA最新的 Relation Networks for Object Detection？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
多模态方面，有哪些牛组值得我们follow他们的工作？
Transformer在工业界的应用瓶颈如何突破？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
学习两年多，感觉SLAM太难了，大家对此有什么想法？
如何评价Deepmind自监督新作BYOL？