百科问答小站 logo
百科问答小站 font logo



如何评价MSRA视觉组最新对spatial attention mechanism分析论文? 第1页

  

user avatar   li-xia-zhi-guang 网友的相关建议: 
      

很钦佩的一篇文章,一统地将多个思路总结在一个框架下。

将self-attention计算所用的factor总结为四种:

  1. query and key content
  2. query content and relative position
  3. key content only
  4. relative position only

其实回顾来看,在近两年的CV文章里,每个factor都有成功的范例。factor 1 最经典的文章就是Non-local[1];factor 2 有PSANet[2];GCNet归属到factor 3[3];至于factor 4,Local Relation Network[4]中的Geometry Prior可以算作范例。

当然,self-attention在CV的应用中,还有A2Net[5]、Local Relation Net[4]这两种范式。不过目前来看,CV里self-attention相关的文章,都抛不开如上计算形式(拍脑袋总结,求打脸)。

所以呢,如果看到一篇新的文章声称自己propose了一种全新的attention机制,并创造出一整套的全新的术语来描述,那么我们不妨如下简单地两步走:1. 是否是上述六种计算形式;2. 如果是,形式上有没有真正的创新。如果满足1不满足2,那么就不要被其花哨的写作唬住了。

参考

  1. ^ https://arxiv.org/abs/1711.07971
  2. ^ https://hszhao.github.io/papers/eccv18_psanet.pdf
  3. ^ https://arxiv.org/abs/1904.11492
  4. ^ a b https://arxiv.org/abs/1904.11491
  5. ^ https://arxiv.org/abs/1810.11579



  

相关话题

  神经网络的损失函数为什么是非凸的? 
  为什么计算注意力机制的时候不加偏置项? 
  机器全面代替人工劳动力的那一天,你能如何生存下去? 
  三门问题(蒙提霍尔悖论)变种,如果主持人不知道哪个门是汽车随便蒙门打开正好是羊这时观众还需要换门吗? 
  机器学习中如何识别图片中的手是手背还是手心? 
  深度学习(机器学习)的下一步如何发展? 
  神经网络中如果一个重要特征C等于特征A+特征B(算数意义上的相加),选特征的时候还有必要选特征C吗? 
  多模态训练,怎么解决不同模态之间差异的问题? 
  GAN 真的创造了新的信息吗? 
  数字图像处理的工作是用传统算法更多还是用深度学习更多? 

前一个讨论
既然使用神经网络也可以解决分类问题,那SVM、决策树这些算法还有什么意义呢?
下一个讨论
重庆被外界高估了吗?





© 2024-11-05 - tinynew.org. All Rights Reserved.
© 2024-11-05 - tinynew.org. 保留所有权利