如何评价陈丹琦团队新作 Should You Mask 15% in MLM? 第1页

作为提问者我也自问自答一下吧。这篇工作出来以后身边同事的观点都不是特别信服。觉得和自身以往的实验结果不符合。

我本人也读完了论文全文，对于这样有争议性的工作代码竟然没有开源也有点惊讶。但说说我的想法：

论文作者提到遮蔽率达到八成的时候困惑度perplexity 会高达1000多 这是符合直觉的。但是在模型表征层面和任务准确度方面却没有下降太多。这点笔者最近在做非自回归式的插入式生成。模型由一个遮蔽了绝大部分文本的破碎句子开始重新尝试复原原句。在经过细致的训练之后模型其实是可以学到并具有相应能力的。（有兴趣的小伙伴可以看看pointer或者cbart这两篇论文）。而根据笔者的同事曾经做过的一个实验来说，他并没有使用cls来进行预测，而是使用随机词的表征进行预测。但模型准确率也没有下降太多。

我觉得模型黑盒的层面很多，还有很多我们无法得到一个准确数学解析和理论指导的地方。该论文作者的实验未必不可复现，但如果要让人信服的话还是希望能尽快看到源码吧……

大家可以关注一下 Appendix A 里给出的实验设置，和原汁原味的 BERT 还是有不少不同之处的：

• Tokenizer 用的是 RoBERTa 的 tokenizer
• [MASK] token 并没有采用 80-10-10（[mask]-original-random）的替换策略
• objective function 没有用 NSP
• 因为采用了比较大的 LR（peak LR 2e-3），所以采用的是 Pre-Norm

这个 recipe 已经和 BERT 产生比较大的区别了，需要辩证地看待这个结论。