百科问答小站 logo
百科问答小站 font logo



如何评价MSRA视觉组最新对spatial attention mechanism分析论文? 第1页

  

user avatar   li-xia-zhi-guang 网友的相关建议: 
      

很钦佩的一篇文章,一统地将多个思路总结在一个框架下。

将self-attention计算所用的factor总结为四种:

  1. query and key content
  2. query content and relative position
  3. key content only
  4. relative position only

其实回顾来看,在近两年的CV文章里,每个factor都有成功的范例。factor 1 最经典的文章就是Non-local[1];factor 2 有PSANet[2];GCNet归属到factor 3[3];至于factor 4,Local Relation Network[4]中的Geometry Prior可以算作范例。

当然,self-attention在CV的应用中,还有A2Net[5]、Local Relation Net[4]这两种范式。不过目前来看,CV里self-attention相关的文章,都抛不开如上计算形式(拍脑袋总结,求打脸)。

所以呢,如果看到一篇新的文章声称自己propose了一种全新的attention机制,并创造出一整套的全新的术语来描述,那么我们不妨如下简单地两步走:1. 是否是上述六种计算形式;2. 如果是,形式上有没有真正的创新。如果满足1不满足2,那么就不要被其花哨的写作唬住了。

参考

  1. ^ https://arxiv.org/abs/1711.07971
  2. ^ https://hszhao.github.io/papers/eccv18_psanet.pdf
  3. ^ https://arxiv.org/abs/1904.11492
  4. ^ a b https://arxiv.org/abs/1904.11491
  5. ^ https://arxiv.org/abs/1810.11579



  

相关话题

  在文本分类任务中,有哪些论文中很少提及却对性能有重要影响的tricks? 
  有没有必要把机器学习算法自己实现一遍? 
  如何看待在某度搜不到megengine官网? 
  如何评价谷歌提出的 Pix2Seq:将目标检测看成语言建模,效果超过 DETR? 
  国内较强的NLP高校实验室有哪些? 
  计算机视觉(cv)方向今年招聘情况怎么样?是否已经人才过剩? 
  深度学习调参有哪些技巧? 
  如何看待QQ邮箱翻译出他人的快递通知? 
  AlphaGo「理解」围棋吗? 
  如何看UCBerkeley RISELab即将问世的Ray,replacement of Spark? 

前一个讨论
既然使用神经网络也可以解决分类问题,那SVM、决策树这些算法还有什么意义呢?
下一个讨论
重庆被外界高估了吗?





© 2024-11-24 - tinynew.org. All Rights Reserved.
© 2024-11-24 - tinynew.org. 保留所有权利