ERNIE1-2

ERNIE1.0

ERNIE: Enhanced Representation through Knowledge Integration提出了三种级别的masking：（1）word piece级别的mask，与bert相同；（2）phrase level masking ，对句子中的短语进行mask；（3）entity level masking，对实体词进行mask，如人名、地名、机构名

增加DLM（Dialogue Language Model) task：（1）输入的句子是QRQ、QRR、QQR等形式。其中Q是提问，R是回答；（2）引入了dialog embedding组合，即Q、R分别表示一个向量，类似于segment embedding；（3）增加了判断这个多伦对话真假的任务

ERNIE2.0

ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding主要提出了模型的人持续学习：Continual Pre-training（即在预训连的过程中加入更多的下游任务进行学习）和Continual Fine-tuning。

• 在训练新任务时，将旧任务混在其中，这样可以防止模型在学习了新任务后，在旧任务上性能大幅变差

• 模型训练过程中，自动为每个任务分配N个训练轮次，可一个提高模型持续学习的效率（具体做法是：以先前训练好的模型参数作为初始化，再以当前任务进行训练）

• 模型输入：segment embedding + token embedding + position embedding + task embedding

• 构建的语言模型任务归为三大类

  • 字层级的任务（word-aware pretraining task)：字母大小写预测、预测一个词是否会多次出现在文、
  • 句结构层级的任务（structure-aware pretraining task）：句子排序（把一篇文章随机分为m份，预测当前句属于那一份）、判断句子是否相邻、
  • 语义层级的任务（semantic-aware pretraining task）：判断问题与标题是否相关等