AI论文中的novelty如何评价？ 第1页

提出了一个新的方法，研究了一个新的问题，一个新的数据集都很明显算是有novelty的。当然也存在很多有争议的情况，就看怎么定义novelty了。我觉得只要是扩充了科学认知的边界，而且扩充的内容是有价值的 (可千万别往里面扔垃圾)，就算有novelty。比如以下几个常见的情况：

1. 很多文章其实没啥新的方法，但是却提供了一个很好的看问题的角度和insight，这些文章其实是有novelty的。比如一些挖坑的文章，举个例子Knowledge Distillation （其实我一直觉得Hinton老爷子是很能挖坑的）, 这个概念非常通俗易懂，简单直接，而且启发了很多后续工作。但是你要说他的方法有多novel也不见得，比如这篇微软的文章 比KD还要早发表，也使用了类似的方法。Hinton的文章的novelty不在于方法有多新，而是提供了一个很新很intuitive的看问题的视角，也对大家比较关心的问题做了很多有价值的分析。
2. 最常见的被说没有novelty的文章就是对已有的方法做某种改进。这种改进通常需要作者来justify为什么要这么设计算法，可能需要一些直观的例子和解释。而且要做出好的实验或者理论结果来支持文章的claim。虽然很多时候乍一看这个文章也没改多少东西，但是并不是就没有novelty没有价值了。很多重要的文章也是一步步的累积才有了爆发式的进步。举个例子NLP里的transformer model看着比传统的RNN改进了很多。但实际上也是通过RNN，RNN加attention，中间又有很多文章在一步步改进attention的结构(比如DeepAtt)，最后凭借不断地积累才有了transformer这样的突破。
3. 还有一种搬砖的文章，比如把CV的东西往NLP搬，把NLP的东西往Graph搬。搬砖本身不是啥大问题，但是你得搬得好才行。得做出令人信服的实验结果证明你这么搬是有意义的，很多时候也要配合一些定量的实验来分析证明你为什么要这么搬。只要搬得好，能给新的领域提供一些新的知识或者insight，也是有novelty的。不过从A往B搬的时候，B其实跟A没啥差别，这么搬就没啥意义。比如BERT证明了在GLUE上能达到SOTA，你说我再找了个文本分类的任务说用一下BERT就能提升，显然这个文章没有啥意义，除非你能证明你的分类任务是多么的与众不同。但是把BERT稍微adapt一下做比如dialogue （举个例子），能show出来有用，我觉得是有novelty的。因为dialogue这个问题本身足够重要，而且怎么能把BERT在dialogue下运用好也是值得讨论的。
4. 再就是工程上的创新也是创新。比如这篇Scaling NMT的文章，我一直非常喜欢。方法上没有任何的不同，就是把最简单的baseline做到了极致，设置了一个很强的baseline。只要工程上做得足够好，我觉得也是有novelty的。

最后再说一点最近审paper的感受，很多reviewer上来就喷说没有novelty，也不仔细看文章就看个大概，直接给个reject，真的是太有ego了。比如一个做CV的reviewer审一篇NLP的paper，上来就说你这个就是用了我当年的一篇xxx paper 还不cite我，没有novelty直接clear reject。首先做NLP的人不知道一些CV的literature很正常，何况也不是什么特别出名的paper。而且方法也不完全一样。就算是topic比较接近，但是NLP本身也是足够重要的领域，再在NLP上study一遍也是有他的novelty的。在自己的标准下随便说文章novelty不够，随手给个reject是很不合理的。

马普所的大佬 Michael J. Black 写了一篇 Novelty in Science，副标题叫 A guide for reviewers，我觉得对于作者和审稿人对于 Novelty 的理解都是很有帮助的。

他提到：

I see reviewers regularly mistake complexity, difficulty, and technicality for novelty.

审稿意见中的 Novelty，往往和方法/模型的复杂度、难度以及技术性贡献混淆在一起，一个更准确的描述或许是 Beauty，一幅画作即使所使用的的技艺很简单，但依旧能给人带来美的体验，（AI) Paper 也是如此。

作者进一步结合自己的经历了阐述了这几个方面：

• Novelty 和 Complexity：

我们经常会收到这样的评审建议:

The idea is very simple. It just changes one term in the loss and everything else is the same as prior work. （这个想法很简单，你只是改了 loss 函数的一项，其他网络结构都和之前的工作是一样的 )

Michael 指出，如果之前没有人想到要去修改 loss ，那实际上这就是 Novel 的，确保讲清楚修改 Loss 的动机并且阐述清楚 formulate 出 loss term 的过程，而不是在你的模型中添加花里胡哨的模块以期审稿人会因此就觉得你的工作变得 Novel 了。

• Novelty 和 Difficulty

被顶会录取是困难的，所以审稿人会隐约地把 idea 的难度和 Novelty 画上等号，但是:

Formulating a simple idea means stripping away the unnecessary to reveal the core of something.

简单的 idea 可能是 important，但也可能是 trivial 的，这就是 reviewer 经常搞混的地方。一个判断的标准是，如果审稿的时候发现一个简单的 idea 能够比 sota 还好，那么可能其实它并不 trivial，需要仔细再审阅。

• Novelty 和 Surprise

一个 novel 的 idea 和一个让人感到 surprise 的 idea 似乎是高度相关的，但是，surprise 是一个稍纵即逝的感受，我们经常会收到这样的 comment：

The idea is obvious because the authors just combined two well known ideas.

如果一个 idea 是显然的，那么显然它就不是 novel 的。但是作为 reviewer，我们需要在这个 idea 被呈现到你面前之前来判断它的 Novelty。在这种情况下，想到这个 idea 本身就是一种 novelty，或许后视镜来看觉得很直观和显然，但这并不能削弱 novelty。

• Novelty 和 Technical Novelty

技术上的创新也是审稿人容易混淆的地方，一个数据集 paper 能够评估之前数据集无法评价的模型能力，那么即使创造数据集的方法是一样的（例如人工标注），那也同样是 Novel 的。

• Novelty 和 Usefulness

新颖的想法并不一定有用，例如这样的 comment:

The authors describe a new method but I don't know why anyone needs this.

做出这样的评判的审稿人应该非常小心，因为这样的判断是很局限的。

最后，作者说，在灵关闪现中瞥见一个新的角度来思考问题（new idea）是很令人激动的体验，像是第一个登上山峰的人，而最后呈现的 Paper 是把这样的一个 idea 给落到代码、实验以及文本上的，那灵光一现的美好的火光也许以及变得非常昏暗了。在做 reviewer 的时候，也请大家想象一下火光之前的黑暗再落笔。

另外附上李沐老师对这篇 Blog 的解读视频：