LUSE: 无监督数据预训练短文本编码模型

1 前言

本博文本应写之前立的Flag：基于加密技术编译一个自己的Python解释器，经过半个多月尝试已经成功，但考虑到安全性问题就不公开了，有兴趣的朋友私聊讨论吧。

从本篇博客开始，本人将转化写作模式，由话痨模式转为极简模式，力求三言两语让各位看的明白。

2 工作简介

受到MOCO和SimCSE的启发, 基于自监督，使用海量无监督数据(nlp_chinese_corpus)，预训练了一个专门用于短文本表征的编码器。该编码器在分类任务尤其是短文本相似度任务上效果超过同级别BERT模型。该预训练模型暂且叫LUSE.

本次实验结果是仅在预训练0.1轮(10万步)情况下得到的，完全训练后会得到更强的效果。

三层预训练模型(torch)下载地址：

百度网盘：https://pan.baidu.com/s/1Do3ojovAe7VviSXdsk4mQQ 提取码：luse
和彩云(不限速): https://caiyun.139.com/m/i?1A5ChPLNDFGuW 提取码:tFK0

代码地址: https://github.com/DunZhang/LUSE

预处理后的nlp_chinese_corpus下载地址: https://pan.baidu.com/s/11ddgvZ7QAbIlliJgUiau9g 提取码：luse

使用方法：和正常BERT一样加载使用，使用CLS作为句表征。text_vec = transformers.BertModel()(input_id,attention_mask,token_type_ids)[1]

3 算法详情

算法伪代码如下：



Input: sens: List[str], sen_encoder: torch.nn.Module

Output: None

aug_sens = data_augment(sens) # 数据增强, 每个句子均会增强固定数量相似句做为正例,剩余所有句子则为负例

sens_vecs = sen_encoder.forward(sens+aug_sens) # 将所有句子编码为句向量

scores = compute_score(sens_vecs) # 计算所有向量间的相似度值

loss = multi_positive_multi_negative_func(scores) # 基于相似度值计算loss

update(sen_encoder,loss) # 更新模型权重

3.1 数据增强

本人将数据增强分为两类, text-level和vector-level.

text-level:字词句层面的数据增强, 本算法使用EDA

vector-level:句编码层面的数据增强,可参考图像, 本算法只使用随机裁剪,对应NLP操作为置0,即dropout操作, SimCSE就是该方法. CV与NLP的完美融合!!!

3.2 损失函数

对于一个句子,自身和其增强而来的句子为正例,其他句子及其增强为负例. 优化目标为让这些正例的概率最高,如果有n个正例,那么希望这n个正例概率都很高,那就索性平分概率值1得了,让其他负例概率都为0, 这其实就是均值不等式. 详细推导公式和代码实现见本人博客:一种基于均值不等式的Listwise损失函数

3.3 预训练数据

预训练数据为brightmart开源的nlp_chinese_corpus. 本人只做简单分句和去除空白字符两种清洗操作.然后将所有语料库所有句子完全打散作为训练集.最终约有1.1亿个句子

3.4 训练细节

batch_size为128, 每个句子增强8个相似问(4个EDA, 4个dropout),因此每个句子有9(8+1)个正例和(9*128-9)个负例,这变相扩大了batch_size, 也正是此原因, 本人未使用MOCO的负例队列来增大batch_size. 忍不住再夸一波MOCO负例队列的精巧设计,何凯明yyds.

优化器为Adam, 学习率5e-5,最大长度64(本模型只考虑短文本),短文本表征的pooling_mode为CLS向量,有兴趣的可以使用SentenceBERT, BERT-Whitening 和 SimCSE的pooling方式, 本开源项目已经提供代码.

GPU是租了一块RTX3090,训练了两天两夜,约12万步,即1500万个句子,离1.1亿差的远了,更别提多epoch了. 中途还遇上服务器宕机,不得不加载以前的模型重新训练, 真是倒了血霉. 共花了约150块大洋,要是训练完一轮非得倾家荡产不可,这就是只预训练三层模型且0.1轮的原因.

3.5 小技巧:同义词搜索加速

EDA里最耗时操作为选取同义词, 本人使用腾讯800万词向量, 使用gensim选取同义词速度比训练还慢, 对于穷逼是无法接受.

解决方案: 预缓存同义词词典, 计算同义词时不要用gensim库, 使用faiss或milvus向量加速库, 本人在不使用GPU的情况下仅耗时一夜就完成了缓存. 句向量加速指南可以看我的博客:[milvus和faiss安装及其使用教程]. 或者直接用我计算好的也行,本人能开源的都开源了,就是希望有算力的同志把我的方法跑一波.

4 微调验证

作为预训练模型,总需要微调来证明效果的.

4.1 数据集

4个分类数据集:

数据集	#Trian	#Dev	任务类型	参考链接
NLPCC情感分类	8000	2000	2分类	https://www.luge.ai/
微博情感分类	99988	20000	2分类	https://github.com/SophonPlus/ChineseNlpCorpus
购物网站评论情感分类	52774	10000	2分类	https://github.com/SophonPlus/ChineseNlpCorpus
今日头条新闻分类	53360	10000	15分类	https://github.com/CLUEbenchmark/CLUE

6个相似度数据集:

数据集	#Train	#Dev	参考链接
LCQMC(哈工大通用聊天数据集)	238766	8802	http://icrc.hitsz.edu.cn/Article/show/171.html
ADAT(基于Adversarial Attack的问题等价性判别比赛数据集)	36210	9027	/
ATEC(蚂蚁金服相似度数据集)	81981	20496	/
CHIP(平安医疗中文的疾病问答数据)	16000	4000	/
COVID(新冠句对)	8747	2001	https://aistudio.baidu.com/aistudio/datasetdetail/48492
CCKS(微众银行智能客服问句匹配大赛)	80000	20000	/

没有链接的数据集可以自行搜索, 由于微调数据集可能设计到一些版权问题, 开源项目里就不再放出.

为了简化操作只使用dev评估.

4.2 微调方法

对于分类数据集,使用交叉熵微调

对于相似度数据集,由于预训练模型为短文本编码器, 将两个句子一起输入做0/1分类是不合适的. 做法是单独对两个句子进行编码,计算余弦相似度并归一化至0-1之间作为概率值, 然后最大似然求解.

同时考虑到低计算资源情况, 训练又分为全部微调和固定bert训练上层神经网络两种.

4.3 评价指标

分类数据集使用ACC和F1

相似度数据集使用Spearman相关系数

4.4 基线模型

哈工大的RBT3

4.4 实验结果

分类实验结果(ACC / F1):

	NLPCC情感分类	微博情感分类	购物网站评论情感分类	今日头条新闻分类
	ACC / F1	ACC / F1	ACC / F1	ACC / F1
RBT3-TrainBERT	0.786 / 0.784	0.979 / 0.979	0.945 / 0.945	0.554 / 0.538
LUSE-TrainBERT	0.791 / 0.789	0.979 / 0.979	0.944 / 0.944	0.556 / 0.541
RBT3-FreezeBERT	0.720 / 0.720	0.864 / 0.864	0.873 / 0.873	0.445 / 0.416
LUSE-FreezeBERT	0.740 / 0.740	0.804 / 0.804	0.888 / 0.888	0.482 / 0.460

文本相似度实验结果(Spearman):

	ADAT	ATEC	CCKS微众银行	CHIP	COVID	LCQMC
RBT3-TrainBERT	0.633	0.086	0.785	0.624	0.703	0.642
LUSE-TrainBERT	0.636	0.210	0.796	0.634	0.692	0.650
RBT3-FreezeBERT	0498	0.070	0.432	0.308	0.507	0.280
LUSE-FreezeBERT	0.556	0.200	0.675	0.527	0.653	0.497

行名解释, RBT3代表使用的是哈工大的RBT3模型,LUSE代表本人预训练的模型.

TrainBERT代表微调时整体训练耗时但效果好, FreezeBERT代表冻结BERT训练上层神经网络,省时省力但效果差些.

实验结论: 专门针对短文本编码预训练的模型确实可以取得更好的效果, 尤其是在短文本相似度任务上

5 总结

LUSE模型是一个优缺点非常明显的模型, 成也预训练任务败也预训练任务.

LUSE模型在需要进行短文本编码的任务上能取得较好的效果,即便只训练了0.1轮,效果也很明显.

但是缺点同样突出, 由于其预训练任务, 使其适用场景变得很小, 在其他任务上LUSE怕是无能为力了, 估计在二分类的短文本相似度任务上,LUSE都未必效果好,后续可以做实验看下.

即便如此, 本人构想还是对的,基于无监督数据, 借助对比学习, 还是可以预训练出优质文本编码模型的, 挺好奇为什么SimCSE的作者不预训练一个文本编码模型.

图像的好多东西都可以借鉴到NLP中,NLPer需要定期关注图像领域的最新进展.

6 TODOList

MOCO负例队列或许可以一试
能否基于GAN做vector-level的数据增强
使用百GB级别数据预训练一次大模型
和MLM-Loss做交叉训练
文本相似度微调模型可以尝试Sentence-BERT的方式
alignment和uniformity验证无监督句向量效果

7 FAQ

Q: 为什么就放出了一个没完全训练的小模型?

A: 穷

Q: 后续还会放出新的预训练模型吗?

A: 会的, 一定会的. 该预训练任务本人会一直尝试下去的, 但是要等到显卡回落到正常价格之后(万恶的虚拟货币)

Q: 与simbert以及RoFormer-sim相比如何?

A: 没有可比性，有监督对无监督就是降维打击. 中文数据任务完全可以用SimBERT替代LUSE预训练模型.

Q：接上一问题，那LUSE预训练模型的意义何在呢？

A：如果没有有监督数据怎么办？如果数据脱敏了怎么办? 本文主要探索无监督数据预训练短文本编码模型的可能性.

Q：EDA和dropout数据增强，那个更有用？

A：没钱做消融实验了，中庸了, 两个都用. 个人猜测两个都起正面作用, dropout可能会更强些, 毕竟simcse论文效果很好

Q：为什么实验结果的好多F1和ACC一样了？

A：其实不一样,只是取了前三位恰好一样罢了

8 致谢

特别感谢数据集nlp_chinese_corpus, 没有数据集一切免谈.

还要感谢SimCSE和MOCO,正是这两篇论文激发本人尝试LUSE的兴致.