如何评价 BERT 模型？ 第1页

一句话概括：首个深层“原生”双向语言模型屠了榜。

-----------------------------------------------------------

分隔线下面慢慢解释：

BERT是直接对标OpenAI的GPT的，并且同时也带上ELMo一起开心地鞭打。

Jacob反复怼了好几次以前的语言模型要么只有单向的（说的就是你，从左到右接受token输入的Transformer—GPT，啪）：

要么非“原生”双向（ELMo同学，你这个双向是两个单向语言模型（从左到右，从右到左）拼起来的，不算“原生”，而且太浅。你不知道何凯明老师告诉我们是深度学习就下一百层吗（大误...））：

你们两个看我做示范（合成装备中.......请稍候）：

Duang:

Jacob：你们看我每一层，每一个token位置都是同时接受两边所有token输入的，这个叫intuitively powerful（论文原话啊，我没有造谣啊，3.3.1第一句）

Intuitively, it is reasonable to believe that a deep bidirectional model is strictly more powerful than either a left-to-right model or the shallow concatenation of a left-to-right and right-to- left model.

那我们来脑补一下为什么intuitively。标准的从左到右语言模型训练目标是用一句话里面某一个词左侧的所有词来作为模型输入，输出接下来会是那个词。从右往左也是类似，不再详述。然后我们切换到人力智能模式，如果你给一个人左半句话，让他预测下面那个词，他会不会问你有没有词右边的半句话？所以对于这个任务来说只要中心词左边所有词就够了吗？理想情况是不是要左右两边的词来预测中心词，整个模型的预测效果会更好，模型学到的语言模型会含有更多的语义语法信息（整体熵更小）？然后在"原生"双向的基础上再把模型叠深也更加合理。

因此使用了与ELMo完全不同的语言模型训练目标：

模型有两个训练目标，一个是Token级别（不熟悉的同学可以先简单地理解为词级别），一个是句子级别。Token级别简单来说即完形填空，一个句子中间挖个词，让模型预测那个空的是哪个词。句子级别即给两句句子，判断这两句是不是原文中的连在一起的互为上下文。（句子级别的任务对于阅读理解，推理等任务提升较大。）。Jacob在论文中反复强调了这两个新的Task的作用，把这两个任务各种打开关闭与GPT做对比，参考5.1节(GPT你先别跳起来。)

最复杂的是Token级别的Task1(完形填空部分):
他的具体操作是取一长段话，随机找出15%的token，然后针对这15%再以3种不同的概率做3种处理：
80％的时间：用[MASK]标记替换单词，例如，my dog is hairy → my dog is [MASK]
10％的时间：用一个随机的单词替换该单词，例如，my dog is hairy → my dog is apple
10％的时间：保持单词不变，例如，my dog is hairy → my dog is hairy.
这么复杂的操作作者是有一些考量的，如果总是挖空的话，那token级别下游任务中，比如序列标注，他是需要使用[mask]位置词义的，这就和pre-train形成的模型习惯不一样，会带来不好的影响。模型中总共有1.5%(15%*10%)的情况是保留原始的（引导模型去在[MASK]的位置还是考虑一下原来的token输入），还有1.5%（15%*10%）的情况是用随机词替换。随机词替换会给模型增加一点点噪声，但是因为此时模型不知道哪个词是被随机换了(不像[MASK]，给模型[MASK]则模型知道此处词的是被挖了，他需要预测这个位置是啥)，所以就迫使他去更好地保留每个词的词义，为下游任务提供方便。

至于这些概率是intuitively还是拍脑袋ly，反正其实都差不多吗，毕竟深度学习是一门试一试有效就好了的艺术。

至于使用Transformer作为基础模型，现在也是很自然的事情了，毕竟人家早就说了Attention is all you need是吧？总不能没过两年大谷歌就打自己脸是吧？

最后，个人认为BERT除了屠榜以外还开启了一个新的方向：money is all you need(大误)。在无监督文本数据上怎样更合理地设定训练目标能够得到更好的熵更小的语言模型表示来提升下游任务。毕竟不像CV有ImageNet，NLP没有超大的万能有标注数据集，有的只有未标注的维基百科（大误）

--------------------------

更新：看了一下ELMo的代码，ELMo确实是从左往右的语言模型和从右往左的语言模型其实是独立开来训练的，共享embedding，然后把loss平均一下，然后用的时候把两个方向的语言模型输出拼在一起。所以确实Jacob的挖洞，每个单层内部都是双向的做法更加符合直觉。

Updated on Oct 31st:

更新Google官方发布的BERT相关代码：google-research/bert

搬运一下Reddit上Jacob的介绍（附原帖链接）。

Hi, I'm the lead author of the paper.

The basic idea is very simple. For several years, people have been getting very good results "pre-training" DNNs as a language model and then fine-tuning on some downstream NLP task (question answering, natural language inference, sentiment analysis, etc.).

Language models are typically left-to-right, e.g.:

       "the man went to a store"  P(the | <s>)*P(man|<s> the)*P(went|<s> the man)*...     

The problem is that for the downstream task you usually don't want a language model, you want a the best possible contextual representation of each word. If each word can only see context to its left, clearly a lot is missing. So one trick that people have done is to also train a right-to-left model, e.g.:

       P(store|</s>)*P(a|store </s>)*...     

Now you have two representations of each word, one left-to-right and one right-to-left, and you can concatenate them together for your downstream task.

But intuitively, it would be much better if we could train a single model that was deeply bidirectional.

It's unfortunately impossible to train a deep bidirectional model like a normal LM, because that would create cycles where words can indirectly "see themselves," and the predictions become trivial.

What we can do instead is the very simple trick that's used in de-noising auto-encoders, where we mask some percent of words from the input and have to reconstruct those words from context. We call this a "masked LM" but it is often called a Cloze task.

Task 1: Masked LM

       Input: the man [MASK1] to [MASK2] store Label: [MASK1] = went; [MASK2] = store     

In particular, we feed the input through a deep Transformer encoder and then use the final hidden states corresponding to the masked positions to predict what word was masked, exactly like we would train a language model.

The other thing that's missing from an LM is that it doesn't understand relationships between sentences, which is important for many NLP tasks. To pre-train a sentence relationship model, we use a very simple binary classification task, which is to concatenate two sentences A and B and predict whether B actually comes after A in the original text.

Task 2: Next Sentence Prediction

       Input: the man went to the store [SEP] he bought a gallon of milk Label: IsNext  Input: the man went to the store [SEP] penguins are flightless birds Label: NotNext     

Then we just train a very big model for a lot of steps on a lot of text (we used Wikipedia + a collection of free ebooks that some NLP researchers released publicly last year). To adapt to some downstream task, you just fine-tune the model on the labels from that task for a few epochs.

By doing this we got pretty huge improvements over SOTA on every NLP task that we tried, with almost task-specific no changes to our model needed.

But for us the really amazing and unexpected result is that when we go from a big model (12 Transformer blocks, 768-hidden, 110M parameters) to a really big model (24 Transformer blocks, 1024-hidden, 340M parameters), we get huge improvements even on very small datasets (small == less than 5,000 labeled examples).

We also really 100% will release the pre-trained model and code for push-button replication of the main results within the next 2-3 weeks. (Replicating the fine-tunings takes at most a few hours on a single GPU).

以下为个人翻译，一些专有词会在第一次出现时附上对应英文。如有不当之处还请指出，谢谢~

大家好，我是该论文的第一作者。

基本思路非常简单。几年来，人们已通过"预训练"『pre-training』深度神经网络『DNN』作为语言模型(language model)，随后在一些后续『downstream』的自然语言处理任务（问答系统『question answering』，自然语言推理『natural language inference』，情感分析『sentiment analysis』等等）上进行微调『fine-tuning』的方式获得了很不错的结果。

一般而言语言模型是自左向右，比如：

       "the man went to a store"  P(the | <s>)*P(man|<s> the)*P(went|<s> the man)*...     

问题是对于后续任务，一般你不需要一个语言模型，而是需要每一个词的最可能语境表示『contextual representation』。如果每个词只能感知其左侧语境，显然很多信息就丢失了。所以人们想出的一个技巧是再训练一个自右向左的模型， 比如：

       P(store|</s>)*P(a|store </s>)*...     

现在对于每个词便有了两种表示形式：一种自左向右，一种自右向左。你可以连接在一起处理你的后续任务。

但是，如果我们可以训练一个单独的深度双向『deeply birectional』的模型，显然结果会更好。

不巧的是，我们无法像传统的语言模型一样训练一个深度双向模型，因为其会产生环路『cycle』，词会间接“感知自身”，而预测变得微不足道『trivial』。（不好意思这里我不是太理解……）

不过，我们可以利用去噪自动编码器『de-noising auto-encoder』中使用的简单技巧：我们可以遮盖『mask』输入中的部分词汇，并从语境中重构那些词汇。我们称之为“遮盖语言模型”『masked LM』，不过它更多地被称为完形任务『Cloze task』。

Task 1: Masked LM

       Input: the man [MASK1] to [MASK2] store Label: [MASK1] = went; [MASK2] = store     （这里个人觉得MASK2应为2）     

尤其是，我们通过一个深层转换『Transformer』编码器进行输入，随后使用对应于遮盖处的最终隐态『final hidden states』对遮盖词进行预测，正如我们训练一个语言模型一样。

另外，语言模型还不理解句间关系，而这恰恰对于许多自然语言处理任务而言十分重要。为了预训练一个句子关系模型，我们使用了非常简单的二元分类『binary classification』任务：连接两个句子A和B后，预测在原文中B是否真的出现在A之后。

Task 2: Next Sentence Prediction

       Input: the man went to the store [SEP] he bought a gallon of milk Label: IsNext  Input: the man went to the store [SEP] penguins are flightless birds Label: NotNext     

随后我们便训练一个非常巨大的模型，大量的步骤及大量的文本（我们使用了维基百科以及一系列的自然语言处理研究者去年公开发表的免费电子书）。为了适应一些后续任务，你只需根据任务对模型的标签进行几代微调。

我们在每一个尝试的自然语言处理任务上，都比原先的最佳结果『SOTA, state-of-the-art』取得了巨大的提升，并且我们的模型几乎不需要针对特定任务『task-specified』加以修改。

不过难以置信的结果是，当我们从一个较大的模型（12个Transformer块，768隐藏层，110M参数）转向一个超巨大的模型（24个Transformer块，1024隐藏层，340M参数），即使在很小的数据集（小，即意味着少于5000个标记样本）上我们也有巨大的提升。

同时我们将会在两到三周内发布预训练模型，以及复现主要结果的自动化代码『code for push-button replication of the main results』。（在单GPU上复现微调最多只需几个小时）。

问题不准确。除了模型的改进，更重要的是用了超大的数据集（BooksCorpus 800M + English Wikipedia 2.5G单词）和超大的模型在相关的任务上做预训练，实现了在目标任务上的表现的单调增长（Figure 4.）

类似的现象在计算机视觉任务中也有体现：https://arxiv.org/abs/1805.00932

用超大的模型在Instagram图像上做预训练预测hashtag，在ImageNet上fine-tune，达到了目前最好的图像分类效果，且目标任务的表现随预训练数据量单调增长（Fig. 2）。

除此之外，没有什么好评价的了。毕竟一个实验需要在16个TPU上跑4天，而我只有两个GTX 1070。