如何评价FAIR团队最新推出的RegNet？ 第1页

私以为，kaiming这篇文章的核心精髓就在这，没有se，没有swish之类的奇怪操作，没有奇奇怪怪的数据扩增，就按照正常的情况去搜索各种纯结构组合，只跑100 epochs。

注意一下400M，72.7的结果，有没有发现什么。如果一直关注基础模型设计的人，就会发现，和手工设计的mobilenet v2，shufflenet v2对应的72.6极为接近，而这两个是在350epoch下的结果。

能得出什么结论，其实可以隐约可以看出就在打脸nas，不玩骚操作，大家都公平对比的情况下，搜出来的网络结构，和手工设计的，真没有本质区别。

而最近各种新的文章，本质上想涨点，四个操作，1.加se；2.relu改成prelu或者swish等激活函数；3.加上多尺度信息；4.各种特殊数据扩增，以及更多的epoch。

结论：再怎么高的网络，再怎么惊人的结果，也无非就是基础结构和以上四点的排列组合罢了，至于是nas还是手工设计，没有本质区别。这也是我这几年特别想喷的一个地方，每年几十上百篇nas的顶会文章，作者们真的扪心自问一下，有做出和手工设计差异性的地方吗？