如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？ 第1页

一周前就听说Jifeng组做出了Deformable ConvNet V2（DCNV2），今天Jifeng告诉我paper已经挂ArXiv上之后果断放下所有事把这篇paper好好读了读。感觉这个工作特别solid，果然没有让人失望。下面简单谈谈个人对这篇paper的理解，可能有不对的地方请大家多多指点！

DCNV2首先用了更好的visualization来更深入的理解DCNV1为什么work以及还存在什么缺陷，发现存在的问题就是因为offset不可控导致引入了过多的context，而这些context可能是有害的（[1]和[2]中也说明了这些context可能是有害的）。

解决方法也很简单粗暴：

1. 增加更多的Deformable Convolution
2. 让Deformable Conv不仅能学习offset，还能学习每个采样点的权重（modulation）
3. 模拟R-CNN的feature（knowledge distillation）

(1) 就不用说了，在DCNV1中只有ResNet的Conv5 stage中有Deformable Conv，在DCNV2中把Conv3-Conv5的3x3 convolution都换成了Deformable Conv

(2) 在DCNV1里，Deformable Conv只学习offset：

而在DCNV2中，加入了对每个采样点的权重：

其中 是学到打offset， 是学到的权重。这样的好处是增加了更大的自由度，对于某些不想要的采样点权重可以学成0。

(3) [1]中作者（好吧，其实作者是我）发现把R-CNN和Faster RCNN的classification score结合起来可以提升performance，说明R-CNN学到的focus在物体上的feature可以解决redundant context的问题。但是增加额外的R-CNN会使inference速度变慢很多。DCNV2里的解决方法是把R-CNN当做teacher network，让DCNV2的ROIPooling之后的feature去模拟R-CNN的feature。（图里画的很清楚了）

其中feature mimic的loss定义是： ，在end-to-end train的时候这个loss给了一个0.1的weight。

实验结果大家看paper就好了，在ResNet-50 backbone COCO上跟DCNV1比涨了5个点！这比目前大部分detection paper靠东拼西凑涨的那一两个点要强多了。我惊讶的是和DCNV1对比，在image classification上也有很大的提升。

说说自己的想法吧，DCNV2方法简单，结果好，分析充分，我觉得和近期各种detection paper比算是业界良心了。我觉得还有可以学习的一点就是context的问题。很多detection的paper都在引入context（大家都claim说小物体需要引入context来解决），其实我个人觉得有点在扯淡，物体小最直接的方法难道不是放大物体来解决吗？比如SNIP/SNIPER都是在“放大”物体。所以在context这个问题上我（详情见[1]和[2]）跟Jifeng他们的看法是一样的，我们也许不需要那么多没用的context。作者都是熟人，我也不多吹了，反正我是准备去follow这个工作了哈哈。

最后说说DCN有一个小缺点，其实就是速度的问题。因为没有cudnn的加速，DCN完全是靠im2col实现的（从目前的MXNet版本来看是这样的），当batchsize大的时候我感觉速度会比有cudnn加速的3x3 conv慢。很好奇当batchsize大的时候（比如ImageNet）的training时间会慢多少。希望以后能和dilated convolution一样被加到cudnn里支持吧。

================================================================

发现好多人好像没有看过[1][2]，放张network的图（宣传一下自己的工作），DCN V2的mimic R-CNN和DCR V1的结构类似，但是通过knowledge distillation很巧妙的在inference阶段把R-CNN给去掉了。

[1] Revisiting RCNN: On Awakening the Classification Power of Faster RCNN

[2] Decoupled Classification Refinement: Hard False Positive Suppression for Object Detection