百科问答小站 logo
百科问答小站 font logo



如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」? 第1页

  

user avatar   mileistone 网友的相关建议: 
      

发现了一个发文章的思路。

  • 先看看各种norm

15年提出的batch norm,从 三个维度做norm;

16年提出的layer norm,从 三个维度做norm;

16年提出的instance norm,从 两个维度做norm;

18年提出的group norm,从 上面做norm, 是在把 这个维度切成多个部分;

总结起来就是在 四个维度上面做排列组合,进行norm,每个维度还可以切成多个部分。好像还没有论文做norm,下一篇norm的论文也许就是这个了,哈哈哈。

  • 再看看各种drop

14年的dropout,随机drop一个 的特征;

15年的spatialdropout,随机drop一个 的特征;

18年的dropblock,随机drop一个 特征, 是在 上取一个region,跟group norm的group比较像;

总结起来就是在 四个维度上面做排列组合,进行drop,每个维度还可以切成多个部分。我试着继续做一下排列组合: 、 、 、 、 、 ,下一篇drop的论文也许就在上述排列组合中。


从norm系列论文和drop系列论文来看,当出现了一篇经典论文后,快速发现这篇论文方法的可拓展性,比如上述的 ,做实验,有效果了就可以发论文。

之前看non local neural networks的时候也发现了一种想idea的方法,还写了一篇回答


这篇文章还有一个有趣的彩蛋,backbone为ResNet-50 FPN的retinanet直接train from scratch跟在ImageNet数据pretrain的网络上效果相当。

就这个彩蛋,我写了一篇文章简单介绍了一下。




  

相关话题

  既然使用神经网络也可以解决分类问题,那SVM、决策树这些算法还有什么意义呢? 
  大家用resnet50在imagenet上面top1最高能到多少? 
  如何看待SQuAD比赛中,阿里、MSRA机器阅读理解准确率超越人类? 
  研一刚入学,从未接触过神经网络,python也是才开始学,现在导师要我做LSTM,我应该去学什么? 
  从今年校招来看,机器学习等算法岗位应届生超多,竞争激烈,未来 3-5 年机器学习相关就业会达到饱和吗? 
  谈谈机器学习在网络安全领域的局限性,以及是否乐观? 
  为什么 larger batch size 对对比学习的影响比对监督学习的影响要大? 
  参加kaggle竞赛是怎样一种体验? 
  AI(或者说神经网络/深度学习)能够实现科学(尤其是物理学)研究中提出假设这一步嘛? 
  为什么多方安全计算(或者隐私计算/联邦学习)在中国这么火? 

前一个讨论
有哪些令你印象深刻的魔改transformer?
下一个讨论
为什么癌症往往一发现就是晚期?





© 2025-04-03 - tinynew.org. All Rights Reserved.
© 2025-04-03 - tinynew.org. 保留所有权利