在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
视觉Transformer如何优雅地避开位置编码？国内有哪些不错的CV(计算机视觉)团队?
transformer中的Q,K,V到底是什么？
华为年薪百万的应届博士到底有多厉害？
graph convolutional network有什么比较好的应用task？
如何评价「Patches are all you need」?
学习SLAM需要哪些预备知识？
如何评价「Patches are all you need」?
如何评价李飞飞和李佳加盟谷歌？
为什么要压缩模型，而不是直接训练一个小的CNN？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
深度学习图像处理什么时候用到GPU？基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
为什么dropout正则化经常在视觉方面使用而不是其他？
AI领域的灌水之风如何破局？
如何评价谷歌用30亿数据训练的20亿参数ViT-G/14模型在 ImageNet 达到新的 SOTA？
车辆工程&计算机视觉？
CV方向多模态融合有哪些好的paper？
为什么Transformer适合做多模态任务？
2021 年，深度学习方面取得了哪些关键性进展？
为什么ViT里的image patch要设计成不重叠？
如何评价微软新出的自拍软件 Microsoft Selfie？
行为识别常用哪种特征提取？
计算成像(computational photography)方向的就业前景如何？
如何评价谷歌推出1.6万亿参数超级语言模型Switch Transformer？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
普通FPGA工程师怎样向人工智能靠拢？
有哪些有趣的图形学(CG)和计算机视觉(CV)相结合的应用的例子？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
为啥gan里面几乎不用pooling？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
为什么计算注意力机制的时候不加偏置项？
视觉Transformer如何优雅地避开位置编码？
人脸识别哪家强？
如何看待阿里巴巴提出的 FashionAI 比赛？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
视觉算法的工业部署及落地方面的技术知识，怎么学？