Google BERT

概述

BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。

BERT的应用步骤

模型结构

• BERT BASE：和OPENAI Transformer大小差不多
  • 12个encoder layers(Transformer Blocks)
  • 768个隐藏单元的前向网络
  • 12个attention heads
• BERT LARGE：State of Art
  • 24个encoder layers(Transformer Blocks)
  • 1024个隐藏单元的前向网络
  • 16个attention heads

模型输入输出

Inputs

这里的Embedding由三种Embedding求和而成

其中：

• Token Embeddings：是词向量，第一个单词是CLS标志，可以用于之后的分类任务
• Segment Embeddings：用来区别两种句子，因为预训练不光做LM还要做以两个句子为输入的分类任务
• Position Embeddings：和之前文章中的Transformer不一样，不是三角函数而是学习出来的

模型的每一层运行self-attention，然后将结果交给前向网络，再传输给下一个编码器

Outputs

每个位置输出一个\(hidden\_size\)大小的向量，对于分类任务，我们只关注第一个位置的输出([CLS]的位置)

其他方法

ElMo

在对于预训练的词向量，每个词的词向量是固定的。但是ElMo的基本思想是，对于不同的上下文，同一个词有不同的含义。因此ElMo是感知语境的词向量。

ElMo使用一个双向LSTM基于特定的任务来得到上述词嵌入。通常的做法是，在大量的数据集上训练ElMo LSTM，然后将它作为其它模型的一个组件。

ElMo是通过预测序列的下一个词进行训练的，这个任务被称为语言建模(Language Modeling)，这能充分利用大量的无标注数据。而且，ElMo训练了一个双向的LSTM，因此它的语言模型不仅能感知下一个词，也能感知上一个词。最终的上下文感知词嵌入是通过将隐藏状态加权求和而来的。如下图所示：

ULM-FiT

介绍了在各种任务上进行fine-tune的语言模型和流程，不仅仅是词向量和上下文感知的嵌入。

OpenAI Transformer

OpenAI Transformer只考虑了Transformer的decoder部分，叠加了12层的decoder层。

在预训练之后，OpenAI Transformer就能够用于夏有任务的迁移学习，对于不同任务的不同输入，OpenAI模型拥有不同的输入，下图是不同的任务：

几种模型的比较

对比OpenAI GPT(Generative pre-trained transformer)，BERT是双向的Transformer block连接；就像单向rnn和双向rnn的区别，直觉上来讲效果会好一些。

对比ElMo，虽然都是“双向”，但目标函数其实是不同的。ElMo是分别以\(P(w_i| w_1,\cdots w_{i-1})\)和\(P(w_i|w_{i+1}, \cdots w_n)\)作为目标函数，独立训练处两个representation然后拼接，而BERT则是以\(P(w_i|w_1, \cdots ,w_{i-1}, w_{i+1},\cdots,w_n)\)作为目标函数训练语言模型

BERT: From Decoders to Encoders

OpenAI虽然基于Transformer给出了一个可以fine-tune的预训练模型，但是因为没有使用LSTM，丢失了部分信息（比如双向信息）。而ElMO利用双向LSTM，但是很复杂。因此BERT的想法就是，既基于Transformer模型，又能在语言模型中捕捉到前向和后向的信息。

Task 1: Masked Language Model

第一步预训练的目标就是做语言模型，从上文模型结构中看到了这个模型的不同，即bidirectional。关于为什么要如此的bidirectional，作者在reddit上做了解释，意思就是如果使用预训练模型处理其他任务，那人们想要的肯定不止某个词左边的信息，而是左右两边的信息。而考虑到这点的模型ELMo只是将left-to-right和right-to-left分别训练拼接起来。直觉上来讲我们其实想要一个deeply bidirectional的模型，但是普通的LM又无法做到。

在训练过程中作者随机mask 15%的token，而不是把像cbow一样把每个词都预测一遍。最终的损失函数只计算被mask掉那个token

Mask如何做也是有技巧的，如果一直用标记[MASK]代替（在实际预测时是碰不到这个标记的）会影响模型，所以随机mask的时候10%的单词会被替代成其他单词，10%的单词不替换，剩下80%才被替换为[MASK]。具体为什么这么分配，作者没有说。要注意的是Masked LM预训练阶段模型是不知道真正被mask的是哪个词，所以模型每个词都要关注。

Task 2: Next Sentence Prediction

因为涉及到QA和NLI之类的任务，增加了第二个预训练任务，目的是让模型理解两个句子之间的联系。训练的输入是句子A和B，B有一半的几率是A的下一句，输入这两个句子，模型预测B是不是A的下一句。预训练的时候可以达到97-98%的准确度。

注意，作者特意说了语料的选取很关键，要选用document-level的而不是sentence-level的，这样可以具备抽象连续长序列特征的能力。

Task specific-Models

对于不同的任务，BERT模型结构的使用有不同的方式，如下图所示：

BERT for feature extraction

fine-tuning不是利用BERT的唯一方式。和ElMo一样，也可以使用BERT创建上下文感知的词向量，然后将这些向量feed到现有模型中使用。

究竟该用哪个向量作为上下文感知的嵌入，这应该取决于具体的任务。比如说高层特征和低层特征的区别。