如何评价深度学习相关顶级期刊论文难复现的问题？ 第1页

作为一个在复现论文中踩坑无数，好不容易走出来的人，简单说一下我的看法。

例子1：我是活体检测落地的，老师当时跟我说，旷视能做出来，你应该也可以做个差不多的吧（微笑）。然后我就开始的漫长的算法复现道路。后来很久以后发现了两件事。一是腾讯的一篇论文，做了两个测试，一个是用了公司内部的数据，一个是没用公司内部数据的结果，用了公司内部数据的高了10个点。另一个是前不久小视科技开源的活体检测项目，我去看了一下，，效果确实好，一细看怎么做的，好家伙，千万级的训练集......。

例子2：当初我大四四月份的时候来到教研室，做活体检测的项目，看了近几年的会议和arxiv，找到了一篇效果最好的文章，甚至还公开了代码和预训练模型，心想，这不是稳了吗。当时我想的是：讲道理，结合pytorch，或者tensorflow，感觉论文复现不应该难才对啊？？？。花了两个星期学习tensorflow把它跑通，我去换换其他数据集看看（活体检测不同于其他领域，目前追求的就是跨数据集测试的准确率），结果效果稀烂。我当时在想，不对啊，它跨数据集的测试效果不差，为什么在这上面就是不行？后来数据集申请了下来，在它论文说的那个数据集上面试了一下跨数据集的测试，确实和文章描述差不多。我就更好奇了，那么好像这个论文就是对的啊，可是为什么其他数据集效果就差这么多（应该没人比我这个情况更奇葩了，不做落地基本不会遇到这个问题）。后来机缘巧合之下打印了很多日志之后我发现，它的正类和负类偏向不一样，预测主要偏向负类。但是这样效果应该会很差，为什么还这么好，然后我继续细挖，然后重点来了!!!!!!!我发现它的数据加载里面，正负类的加载就是不对等的,负类是正类的两倍多（正常是对等的），所以偏向负类，但是效果还是很好。我？？？？？。那天我发现论文造假的另一个至高境界，直接修改数据分布（刚刚去看了一下，这篇文章已经被某二区期刊收录）。并不是说这篇文章作者就是故意的，但是谁知道呢，而且后来我师兄也遇到了类似的情况，在dataloader里面对数据进行了修改...他是做图网络分类的，同一个数据集之前的测试准确率只有80出头，后来几篇文章就飙到了接近90，师兄怎么都复现不出来，后来开源了代码一看，好家伙，之前训练测试是二八分，新文章直接变成了三七分，就在dataloader里改的，但是作者文章完全没有提及，而且师兄把分布换成最开始的数据分布之后，那个新方法的效果还比不上原来的baseline…。

例子3：教研室有个同学做剪枝，复现CIFAR10的的baseline。CIFAR10这个数据集都说烂了，我复现一下还不是手到擒来？然后一个月过去了，还是复现不出来那个效果，后来发现原来大家都在用trick。不加余弦衰减，不加mixup，不训练200个epoch,基本就达不到目前大家说的那个SOTA效果，但是这些不会有人和你说的，他们只会说我在resnet50上训练到了多少多少的准确率。

例子4：教研室的师弟，结合GCN做few-shot learning。之前的测试准确率都是百分之五六十，去年AAAI突然出现了一篇准确率直接刷到80%多的文章还开源了代码，师弟惊为天人，感叹难道这个领域就这样做没了？然后拿作者的代码来加上自己之前的想法改了改又涨了几个点，在90%多，实现了大家默认要求的sota，觉得可以写文章了，文章写到一半，发现不对，代码好像有问题，github上有人提问，这个是不是好像过拟合了学习到了标签的顺序，然后师弟一看还真是，我把batch内多个任务之间测试样本顺序打乱，效果就又回到了普通的百分之五六十的水平，然后写完一半的文章就这样被废掉了。

从这些故事中，我发现了以下的结论：

绝大部分刚入门的人，都会迷信SOTA，我要复现就要复现那篇最好的，管它难不难，能不能复现，是不是真的有效。但是做过一年深度学习的人就知道，SOTA？一百篇文章一百个SOTA。

有源码就一定可靠？我被源码坑过不止这一次，刚刚例子是，另一个回答里说到的LBCNN也是一样的，给的源码和文章里面的结构就是两回事。

顶刊顶会大公司就一定可靠？顶会的可复现性问题存在也不是一两天了，那么顶刊也可见一番，每年三大顶会能复现出来的有一半就不错了，之前还有说90%都不能复现的...。

有效的也许不是方法，而是trick---同学复现的那篇论文。有效的也许不是方法，而是数据分布---我遇到的那篇文章的数据分布。有效的也许不是方法，而是数据---活体千万数据集。有效的确实是方法，但是这个方法有问题----师弟的小样本学习的例子。

这还是活体需要做跨数据集的交叉验证这种难的验证指标了，要是单纯刷一个数据集的指标的，能作弊的地方就更多了。

怎么办？

后来我想了很久，说，草，不追SOTA了，去选那些我理解了，而且直觉上我觉得可行的方法。就算是最后真的不行，我也能知道是哪里不行，也是我思维的完善。然后我开始去复现motion-based methods，检测眨眼和张嘴这些动作，确实可行，但是老师要做静默活体，然后又去试了rPPG，发现也可以，但是时间开销太大了，分析发现受采样定律的限制，10s左右的视频才能做出一个比较好的估计结果。然后去试了一下质量估计，也是有用，但是高质量的攻击也确实不能检测出来。于是慢慢又去做模型的分析，寻找其他的特征，我的目标慢慢从最近的18 19年，转向了12,13年那会，做理论分析的文章。虽然效果不好，但是有理有据，而且很多那时候的传统模型，结合现在的深度学习往往能爆发出强大的力量，于是就有了我现在的工作。

不要盲目的去追求SOTA，那些高大上的结构，网络，因为很多时候并不是那些结构有用，而是trick有用，或者是其他的地方有问题。更重要的是看文章的核心思想，你觉得这个思想是不是合理，你接不接受，如果你自己也觉得他这个思想很不错，那么就可以尝试去复现，就算是最后失败了，你也会不会很难受，你知道什地方有问题，而这会是你后面科研的创新来源之一。

现在深度学习的问题就是这个不到五岁的一个东西，直接盖过了一个领域过去10年甚至20年进化来的传统的模型和研究。但是它真的消失了吗？不，它不过换了一个方式去应用。我最开始做做活体发现近几年什么多模态，多光谱，深度图，时频分析，这些高大上的名词，觉得强的一批，他们是怎么想出来的，后来追溯到10多年前的文章之后才发现，原来这些东西在过去都研究过了，频率，反照率，3D结构，这些在过去都有分析，只不过过去的特征提取算法和数据没有现在这么多，所以没有很好的解决问题，现在被深度学习重新唤起了生机而已。正本清源，知道一个领域过去的研究你才能知道现在在什么地方，特别是各个领域都被深度学习冲击的今天。