为什么要压缩模型，而不是直接训练一个小的CNN？ 第1页

模型压缩的最终目的是得到更小性能更好的小模型，之所以不直接训练一个小模型，是因为之前的已有技术没办法让小模型得到好的性能。

模型压缩的方式，本质上是去冗余，也就意味着大多数时间资源都花费在最终不需要的部分，如果能够直接训练小模型得到更好的性能，当然是再好不过了。

通过最近几年的一些发展，有一些成熟的方法，可以直接训练小模型得到好的性能。

最近NetAug就明确提出，小模型是欠拟合的，需要网络增强技术提升性能(大模型相反，大模型过拟合，需要正则化)。

Large Model vs Tiny Model

NetAug指出大模型过拟合，需要通过dropout等正则化技术和数据增强来提升精度；而小模型是欠拟合的，需要增强网络技术，正则化技术对小网络是有害的。

如上图所示ResNet50(大模型)正则化后，精度都有所提升，NetAug会掉点；而MobileNetV2-Tiny(小模型)正则化会掉点，NetAug会提升精度。

Constructing Augmented Models

如左图所示，构建一个最大的增强模型(包含需要的小模型，参数共享)，其他增强模型从最大增强模型中采样。这种参数共享构建supernet的方式，之前在one-shot NAS中非常流行，详细可以看我之前的文章：NAS: One-Shot。

如右图所示，NetAug通过调整width构建其他增强模型，比起通过调整depth构建增强模型，训练开销更小。构建增强模型引入augmentation factor r和diversity factor s两个超参数，假设我们需要的小模型其中一个卷积宽度是w，最大增强模型的卷积宽度就是rxw，s表示从w到rw宽度之间等间距采样s个增强模型卷积宽度。比如r=3，s=2，那么widths=[w, 2w, 3w]。

训练阶段，NetAug在每个step采样一个增强模型进行辅助训练。NetAug训练额外开销相比baseline增加了16.7%，推理额外开销为0。

Effectiveness of NetAug for Tiny Deep Learning

可以看到，NetAug和KD是正交的，可以在KD基础上继续提升性能。

在流行的小模型和NAS模型基础上，NetAug可以继续提升性能，但是对于大模型(ResNet50)来说，NetAug是有害的。

上图清晰的揭示了本文提出的结论，小模型欠拟合，NetAug可以提升性能；大模型过拟合，NetAug是有害的。

总结

NetAug vs OFA

NetAug和之前的OFA非常相似，OFA先构建一个大模型，然后训练这个大模型，最后通过搜索的方式得到小模型。

从上表可以看到，在OFA搜索得到模型的基础上，NetAug还可以继续提升性能，也验证了NetAug可以进行网络增强的作用。

OFA和NetAug其实是一体两面：一个是自上而下通过supernet搜索最好的子网络，另一个是自下而上通过supernet辅助训练小网络。一个是终点未知，找最优终点(类似搜索)；另一个是终点已知，增强终点性能(类似动态规划)。

OFA的问题在于，大量的时间资源花费在可能跟最终目的无关的子模型上，而NetAug的优势在于，已知想要的小模型，通过supernet来提升小模型的精度。

小模型欠拟合，需要增加而外的监督信息(NetAug、KD、multi-task learning)；大模型过拟合，需要正则化。

NetAug和KD的差别在于，KD是通过outer network来辅助训练(提供信息)，而NetAug是通过inner network来辅助训练(共享参数)。

至此，小模型可以通过NetAug、KD、multi-task learning三种技术增加额外的监督信号，对小模型进行网络增强。无论是模型压缩还是直接训练小模型，只要能得到更小更好的小模型，就达到目的了。

Reference

1.NAS: One-Shot

2.ONCE-FOR-ALL: TRAIN ONE NETWORK AND SPE- CIALIZE IT FOR EFFICIENT DEPLOYMENT

3.NETWORK AUGMENTATION FOR TINY DEEP LEARNING

欢迎关注 Smarter ，构建CV世界观，输出优质内容

欢迎加入Smarter交流群，添加微信「cjy094617」，备注「学校-方向」即可