百科问答小站 logo
百科问答小站 font logo



在计算机视觉任务中,运用Transformer和Non-local有何本质区别? 第1页

  

user avatar   shaohuali 网友的相关建议: 
      

3年后再看non-local NN,原来 non-local block = transformer layer (single head) - FFN - positional encoding啊!

[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。

[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.


user avatar   ai-hardcore 网友的相关建议: 
      

女王:求求题主放过我,我可不敢有什么政绩。。。




  

相关话题

  如何评价VOLO: Vision Outlooker for Visual Recognition? 
  有哪些人工智能上的事实,没有一定人工智能知识的人不会相信? 
  坐标日本,计算机视觉专攻。有英文交流氛围浓厚的研究室推荐吗? 
  如何评价CVPR2019程序主席Derek Hoiem的论点:计算机视觉只是记忆,不是智能? 
  如何看待与评价 AAAI 2022 的录用结果? 
  2020到2021年小样本学习取得重大进展了吗? 
  为什么现在很多人不看好商汤科技? 
  消融实验是什么? 
  大家用resnet50在imagenet上面top1最高能到多少? 
  计算机如何理解图像? 

前一个讨论
如果你是《了不起的盖茨比》中的盖茨比,且深爱着黛西,会如何优雅地追回她?
下一个讨论
电脑怎样执行编程语言的?





© 2024-06-26 - tinynew.org. All Rights Reserved.
© 2024-06-26 - tinynew.org. 保留所有权利