在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
深度学习attention机制中的Q,K,V分别是从哪来的？
如何看待 AI 换脸软件「ZAO」的爆火？
如何评价 Kaiming He 在 ICCV 2017 上拿下双 Best 的 paper？
普通FPGA工程师怎样向人工智能靠拢？
计算成像(computational photography)方向的就业前景如何？
如何评价「Patches are all you need」?
Transformer是如何处理可变长度数据的？
深度学习图像处理什么时候用到GPU？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？计算机视觉是否已经进入瓶颈期？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
如何评价VOLO: Vision Outlooker for Visual Recognition？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
人脸识别进小区合法吗？为什么要用人脸识别？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
学习两年多，感觉SLAM太难了，大家对此有什么想法？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
如何评价谷歌用30亿数据训练的20亿参数ViT-G/14模型在 ImageNet 达到新的 SOTA？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
如何评价谷歌大脑的EfficientNet？
如何看待马毅教授在国内评不上杰青？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
对于透明物体的三维重建有什么好方法吗？
如何评价「Patches are all you need」?
如何看待 NIPS 2018 submission达到近 5000 篇？
如何看待旷视确定香港上市？
有没有一些图像处理新手可以练习的项目？
2021年人工智能领域有哪些关键性进展和突破？
如何看待旷视 detection 组组长俞刚跳槽腾讯 PCG 光影研究室?
如何评价谷歌推出1.6万亿参数超级语言模型Switch Transformer？
AI领域的灌水之风如何破局？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
深度学习（机器学习）的下一步如何发展？
怎么形象理解embedding这个概念？
为什么这么多 NLP 大牛硕士毕业去企业不留在学术界？