ALBERT论文简读

问题描述

预训练自然语言表征时，增加模型的参数量通常可以是模型在下有任务中性能提升。但是这种做法对硬件设备的要求较高（当下的各种SOTA模型动辄数亿甚至数十亿个参数，倘若要扩大模型规模，这个内存问题是无法回避的），也会显著地降低训练效率(由于通信开销与模型中参数的数量成正比，在分布式训练中训练速度将成为一大瓶颈。简单地增加隐含层单元数，只会适得其反，从而降低效率)。并且随着模型参数的增加，模型性能会先提升，后又会随着参数的增加性能反而变差。

核心方法

为了降低模型训练的系统开销，提升模型的训练效率，且几乎不降低模型效果，本文做如下一些优化：

对嵌入参数进行因式分解（factorized embedding parameterization）。将一个大的词汇嵌入矩阵分解为两个小的矩阵，将隐藏层的大小与词汇嵌入的大小分离开来（原本认为词汇嵌入学习的是一种上下文无关，无依赖的词嵌入表示；而隐状态学习的是上下文相关的，有上下文依赖的表示；故而应该将其分类开来，同时降低了参数）。此过程其实就是降低了词嵌入向量的长度，使得每个词嵌入向量长度远小于隐状态的向量长度（原bert模型中二者长度相同）。而且在后续增加隐状态的参数时，并不会显著增加词汇嵌入的参数量
跨层参数共享。共享模型不同layer之间的参数，避免模型参数量随着网络深度的增加而增加
- All-shared：在该方法中，与其他编码器的所有子层共享第一个编码器的所有子层的参数
- Shared feedforward network：只与其他编码器层的前馈网络共享第一个编码器层的前馈网络的参数
- Shared attention：只与其他编码层的多头注意力共享第一个编码器层的多头注意力参数。
句子顺序预测（SOP：sentence-order prediction)。在bert中有提出NSP，即预测一个句子是否是另一个句子的下一句。其正样本是两个连续的句子，欺负样本中后一句来自于其他文档，这可能会导致模型根据两句话的主题就能判断后一句子是否是前一句子的next sentence，而并未真正学到语序信息。本文所提SOP的正样本与bert一样，但负样本是将正样本进行对换顺序，从而预测两个句子顺序。

实验结果

对于ALBERT，在不共享参数时，词嵌入的尺寸越大，模型效果越好，但提升幅度并不是很大；在共享参数时，随着嵌入尺寸增大，模型效果先变好，后变差。

不同跨层参数共享的效果，同样使用 ALBERT-base 作为示例模型，all-shared策略(ALBERT-style)、not-shared 策略(BERT-style)及其介于二者之间的中间策略(仅注意力参数共享，FNN不共享；仅FNN参数共享，注意力参数不共享)。总体而言，all-shared型策略使得模型在一定程度上降低了性能，但是下降幅度较小。

在预测下一句任务中，本文总共对比三种策略：没有句子间损失(比如XLNet和RoBERTa)、NSP(比如BERT)、SOP(ALBERT)。从表中可以看出，训练NSP任务，对SOP任务的益处并不明显，正确率只打到52%；而SOP任务则有利于NSP，能使其正确率达到78.9%。更重要的是，SOP对下游任务性能的提升也较为明显。

ALBERT模型默认使用All-shared方式。实验表明，使用参数共享后，每一层的输入嵌入和输入嵌入的L2距离和余弦相似度都比bert平滑得多，证明参数共享能够使模型的参数更加稳定。

参考链接

https://blog.csdn.net/ljp1919/article/details/101680220

https://blog.csdn.net/yjw123456/article/details/120275965