BERT模型的OneFlow实现

模型概述

BERT(Bidirectional Encoder Representations from Transformers)是NLP领域的一种预训练模型。本案例中,基于论文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding实现了BERT模型的OneFlow版本。

模型架构

BERT 在实际应用中往往分为两步:

  • 首先,预训练得到 BERT 语言模型;
  • 然后,为满足下游应用,在得到的 BERT 语言模型的基础上,多加一层网络,并进行微调,得到下游应用。

快速开始

获取相关数据集

提供了完成 BERT 预训练及 SQuAD 微调的 OFRecord 数据集及相关数据文件,可以通过以下命令下载并解压:

wget https://oneflow-static.oss-cn-beijing.aliyuncs.com/oneflow-tutorial-attachments/bert_squad_dataset.zip

unzip bert_squad_dataset.zip

解压后的文件目录清单如下:

  • bert_config.json、vocab.txt:制作 prediction json 文件需要的文件,来自google bert
  • dev-v1.1/、dev-v1.1.json:SQuAD 检验集,用于打分
  • part-0:预训练集样本(40个样本)
  • train-v1.1:SQuAD 训练集,已经转为 ofrecord 数据集格式

以上各个文件将在下文的预训练任务、SQuAD 微调中使用到。

训练 BERT 模型

首先,克隆 OneFlow-Benchmark 仓库。

git clone https://github.com/Oneflow-Inc/OneFlow-Benchmark.git

cd OneFlow-Benchmark/LanguageModeling/BERT/

然后,通过以下命令,使用预训练好的 pretrain 模型以及小型样本集合,开始 BERT 预训练查看效果:

python ./run_pretraining.py\

--gpu_num_per_node=1 \

--learning_rate=3e-5 \

--batch_size_per_device=1 \

--iter_num=3 \

--loss_print_every_n_iter=50 \

--seq_length=128 \

--max_predictions_per_seq=20 \

--num_hidden_layers=12 \

--num_attention_heads=12 \

--max_position_embeddings=512 \

--type_vocab_size=2 \

--vocab_size=30522 \

--attention_probs_dropout_prob=0.0 \

--hidden_dropout_prob=0.0 \

--hidden_size_per_head=64 \

--use_boxing_v2=True \

--data_dir=./dataset/ \

--data_part_num=1 \

--log_dir=./bert_regresssioin_test/of \

--loss_print_every_n_iter=5 \

--model_save_dir=./bert_regresssioin_test/of \

--warmup_batches 831 \

--save_last_snapshot True

将获得类似以下输出:

==================================================================

Running bert: num_gpu_per_node = 1, num_nodes = 1.

==================================================================

gpu_num_per_node = 1

node_num = 1

node_list = None

learning_rate = 3e-05

weight_decay_rate = 0.01

batch_size_per_device = 1

iter_num = 20

warmup_batches = 831

log_every_n_iter = 1

data_dir = ./dataset/

data_part_num = 1

use_fp16 = None

use_boxing_v2 = True

loss_print_every_n_iter = 5

model_save_every_n_iter = 10000

model_save_dir = ./bert_regresssioin_test/of

save_last_snapshot = True

model_load_dir = None

log_dir = ./bert_regresssioin_test/of

seq_length = 128

max_predictions_per_seq = 20

num_hidden_layers = 12

num_attention_heads = 12

max_position_embeddings = 512

type_vocab_size = 2

vocab_size = 30522

attention_probs_dropout_prob = 0.0

hidden_dropout_prob = 0.0

hidden_size_per_head = 64

------------------------------------------------------------------

Time stamp: 2020-07-06-19:09:29

I0706 19:09:29.605840639   34801 ev_epoll_linux.c:82]        Use of signals is disabled. Epoll engine will not be used

Init model on demand

iter 4, total_loss: 11.032, mlm_loss: 10.281, nsp_loss: 0.751, speed: 33.086(sec/batch), 0.151(sentences/sec)

iter 9, total_loss: 11.548, mlm_loss: 10.584, nsp_loss: 0.965, speed: 0.861(sec/batch), 5.806(sentences/sec)

iter 14, total_loss: 10.697, mlm_loss: 10.249, nsp_loss: 0.448, speed: 0.915(sec/batch), 5.463(sentences/sec)

iter 19, total_loss: 10.685, mlm_loss: 10.266, nsp_loss: 0.419, speed: 1.087(sec/batch), 4.602(sentences/sec)

Saving model to ./bert_regresssioin_test/of/last_snapshot.

------------------------------------------------------------------

average speed: 0.556(sentences/sec)

------------------------------------------------------------------

详细说明

脚本说明

脚本参数

run_pretraining.py通过命令行参数配置包括超参在内的训练环境,可以通过 run_pretraining.py --help查看,以下是这些参数作用的具体说明:

  • gpu_num_per_node: 每个节点上 GPU 的数目,OneFlow 要求每个节点的 GPU 数目必须一致
  • node_num: 节点数目,即分布式训练时的主机数目
  • node_list: 节点列表,如果节点数大于1,则需要通过 node_list 指定节点列表,节点列表为字符串形式,采用逗号分隔,如--node_num=2 --node_list="192.168.1.12,192.168.1.14"
  • learning_rate: Learning rate
  • weight_decay_rate:设置权重衰减率
  • batch_size_per_device: 分布式训练时每个设备上的batch大小
  • iter_num ITER_NUM: 训练的总轮数
  • warmup_batches: 预热轮数,默认值为10000
  • data_dir: OFRecord数据集的路径
  • data_part_num:OFRecord数据集目录下的数据文件数目
  • use_fp16: 是否使用fp16
  • use_boxing_v2: 是否使用boxing v2
  • loss_print_every_n_iter:训练中每隔多少轮打印一次训练信息(loss信息)
  • model_save_every_n_iter: 训练中每隔多少轮保存一次模型
  • model_save_dir: 模型存储路径
  • save_last_snapshot:指定最后一轮训练完成后,模型保存路径
  • model_load_dir:指定模型加载路径
  • log_dir LOG_DIR:指定日志路径
  • seq_length: 指定BERT句子长度,默认值为512
  • max_predictions_per_seq: 默认值为80
  • num_hidden_layers:隐藏层数目,默认值为24
  • num_attention_heads: Attention头数目,默认值为16

使用完整的 Wikipedia + BookCorpus 数据集

如果需要从无到有进行 BERT 的 pretrain 训练,则需要使用较大的训练集。

如果感兴趣,可以通过 google-research BERT 的页面,下载 tfrecord 格式的数据集。再根据加载与准备OFRecord数据集中的方法,将 TFRecord 数据转为 OFRecord 数据集使用。

将 Tensorflow 的 BERT 模型转为 OneFlow 模型格式

如果想直接使用已经训练好的 pretrained 模型做 fine-tune 任务(如以下将展示的SQuAD),可以考虑直接从 google-research BERT 页面下载已经训练好的 BERT 模型。

再利用提供的 convert_tf_ckpt_to_of.py 脚本,将其转为 OneFlow 模型格式。转换过程如下:

首先,下载并解压某个版本的 BERT 模型,如 uncased_L-12_H-768_A-12。

wget https://storage.googleapis.com/bert_models/2020_02_20/uncased_L-12_H-768_A-12.zip

unzip uncased_L-12_H-768_A-12.zip -d uncased_L-12_H-768_A-12

然后,运行以下命令:

cd uncased_L-12_H-768_A-12/

cat > checkpoint <<ONEFLOW

model_checkpoint_path: "bert_model.ckpt"

all_model_checkpoint_paths: "bert_model.ckpt"

ONEFLOW

该命令将在解压目录下创建一个 checkpoint 文件,并写入以下内容:

model_checkpoint_path: "bert_model.ckpt"

all_model_checkpoint_paths: "bert_model.ckpt"

此时,已经准备好待转化的 TensorFlow 模型目录,整个模型目录的结构如下:

uncased_L-12_H-768_A-12

├── bert_config.json

├── bert_model.ckpt.data-00000-of-00001

├── bert_model.ckpt.index

├── checkpoint

└── vocab.txt

接着使用 convert_tf_ckpt_to_of.py 将 TensorFlow 模型转为 OneFlow 模型:

python convert_tf_ckpt_to_of.py \

--tf_checkpoint_path ./uncased_L-12_H-768_A-12 \

--of_dump_path ./uncased_L-12_H-768_A-12-oneflow

以上命令,将转化好的 OneFlow 格式的模型保存在 ./uncased_L-12_H-768_A-12-oneflow 目录下,供后续微调训练(如:SQuAD)使用。

微调:SQuAD 问答任务

将 pretrained 模型修改为 SQuAD 模型

只需要在 BERT 的 backbone 基础上,加上一层 output 层,并修改 loss 的表达式即可,完整的代码可以查看 squad.py 脚本,以下是几处关键修改:

def SQuADTrain():

#...

backbone = bert_util.BertBackbone()

#在BERT的基础上加上一个全连接层

with flow.name_scope("cls-squad"):

final_hidden = backbone.sequence_output()

final_hidden_matrix = flow.reshape(final_hidden, [-1, hidden_size])

logits = bert_util._FullyConnected(

final_hidden_matrix,

hidden_size,

units=2,

weight_initializer=bert_util.CreateInitializer(initializer_range),

name='output')

logits = flow.reshape(logits, [-1, seq_length, 2])

start_logits = flow.slice(logits, [None, None, 0], [None, None, 1])

end_logits = flow.slice(logits, [None, None, 1], [None, None, 1])

#重新定义SQuAD任务的loss

start_loss = _ComputeLoss(start_logits, start_positions_blob, seq_length)

end_loss = _ComputeLoss(end_logits, end_positions_blob, seq_length)

total_loss = 0.5*(start_loss + end_loss)

return total_loss

为了得到一个初始化的 squad 模型,通过以下脚本启动 squad 训练,并保存模型。

python ./run_squad.py\

--gpu_num_per_node=1\

--learning_rate=3e-5\

--batch_size_per_device=2\

--iter_num=50\

--loss_print_every_n_iter=50\

--seq_length=384\

--max_predictions_per_seq=20\

--num_hidden_layers=12\

--num_attention_heads=12\

--max_position_embeddings=512\

--type_vocab_size=2\

--vocab_size=30522\

--attention_probs_dropout_prob=0.0\

--hidden_dropout_prob=0.0\

--hidden_size_per_head=64\

--use_boxing_v2=True\

--data_dir=./dataset/train-v1.1\

--data_part_num=1\

--log_dir=./bert_regresssioin_test/of\

--model_save_dir=./bert_regresssioin_test/of\

--warmup_batches 831\

--save_last_snapshot True

完成训练后,在 ./bert_regresssioin_test/of/last_snapshot 中保存有初始化的 SQuAD 模型,将其与训练好的 BERT 合并后,进行微调(fine-tune)训练。

合并 pretrained 模型为 SQuAD 模型

SQuAD 模型是在 pretrained 模型基础上的扩充,需要参照模型的加载与保存中的“模型部分初始化和部分导入”方法,将训练好的 BERT pretrained 模型与初始化的 SQuAD 模型合并。

cp -R ./bert_regresssioin_test/of/last_snapshot ./squadModel

cp -R --remove-destination ./dataset/uncased_L-12_H-768_A-12_oneflow/* ./squadModel/

OneFlow 预训练模型的训练次数问题

OneFlow 生成的模型目录中,会有一个名为 System-Train-TrainStep-xxx 的子目录(xxx为作业函数的函数名),该子目录下的 out 文件中,保存有训练总迭代数,并且这个迭代数会用于动态调节训练过程的learning rate。

为了防止保存的迭代数影响到微调的训练,应该将out文件中的二进制数据清零:

cd System-Train-TrainStep-xxx

xxd -r > out <<ONEFLOW

00000000: 0000 0000 0000 0000

ONEFLOW

如果使用的是由 TensorFlow 转过来的预训练模型,则可以省去这个步骤。

开始 SQuAD 训练

通过 run_suqad.py 脚本,开始训练 SQuAD 模型,主要配置如下:

  • 使用以上合并得到的 SQuAD 模型 ./squadModel
  • 采用 SQuAD v1.1 作为训练集
  • epoch = 3 (iternum = 88641*3/(4*8) = 8310)
  • learning rate = 3e-5

python ./run_squad.py\

--gpu_num_per_node=4\

--learning_rate=3e-5\

--batch_size_per_device=8\

--iter_num=8310\

--loss_print_every_n_iter=50\

--seq_length=384\

--max_predictions_per_seq=20\

--num_hidden_layers=12\

--num_attention_heads=12\

--max_position_embeddings=512\

--type_vocab_size=2\

--vocab_size=30522\

--attention_probs_dropout_prob=0.0\

--hidden_dropout_prob=0.0\

--hidden_size_per_head=64\

--use_boxing_v2=True\

--data_dir=./dataset/train-v1.1\

--data_part_num=8\

--log_dir=./bert_regresssioin_test/of\

--model_save_dir=./bert_regresssioin_test/of\

--warmup_batches 831\

--save_last_snapshot True\

--model_load_dir=./squadModel

预测及打分

生成为了生成 Preidiction File 格式的 json 文件,先将预测结果保存为 npy 文件,再使用 google BERT的run_squad.py 中的 write_predictions 函数,转化为 json 格式。

利用 run_squad_predict.py 生成 all_results.npy 文件:

python run_squad_predict.py \

--gpu_num_per_node=1 \

--batch_size_per_device=4 \

--iter_num=2709 \

--seq_length=384 \

--max_predictions_per_seq=20 \

--num_hidden_layers=12 \

--num_attention_heads=12 \

--max_position_embeddings=512 \

--type_vocab_size=2 \

--vocab_size=30522 \

--attention_probs_dropout_prob=0.0 \

--hidden_dropout_prob=0.0 \

--hidden_size_per_head=64 \

--use_boxing_v2=True \

--data_part_num=1 \

--data_dir=./dataset/dev-v1.1 \

--log_dir=./bert_regresssioin_test/of \

--model_load_dir=path/to/squadModel \

--warmup_batches 831

注意将以上 model_load_dir 修改为 训练好的 squadModel。

得到 all_results.npy 文件后,在google bert仓库目录下(注意该仓库的 tensorflow 版本为 tensorflow v1 ),运行提供的 npy2json.py (由 google bert 中的 run_squand.py 修改得来):

python npy2json.py\

--vocab_file=./dataset/vocab.txt \

--bert_config_file=./dataset/bert_config.json \

--do_train=False \

--do_predict=True \

--all_results_file=./all_results.npy \

--predict_file=./dataset/dev-v1.1.json \

--max_seq_length=384 \

--doc_stride=128 \

--output_dir=./squad_base/

注意将 all_results_file 修改为上一步得到的 all_results.npy 的路径。

最终,得到 predictions.json 文件,可以使用 evaluate-v1.1.py 进行打分。

python evaluate-v1.1.py \

./dataset/dev-v1.1.json \

path/to/squad_base/predictions.json

分布式训练

如之前介绍脚本参数时描述:进行分布式训练,只需要在启动训练脚本式加入 node_num 选项指定主机数目及 node_list 选项即可:

python run_squad_predict.py \

--gpu_num_per_node=1 \

--batch_size_per_device=4 \

--iter_num=2709 \

--seq_length=384 \

--max_predictions_per_seq=20 \

--num_hidden_layers=12 \

--num_attention_heads=12 \

--max_position_embeddings=512 \

--type_vocab_size=2 \

--vocab_size=30522 \

--attention_probs_dropout_prob=0.0 \

--hidden_dropout_prob=0.0 \

--hidden_size_per_head=64 \

--use_boxing_v2=True \

--data_part_num=1 \

--data_dir=./dataset/dev-v1.1 \

--log_dir=./bert_regresssioin_test/of \

--model_load_dir=path/to/squadModel \

--warmup_batches 831 \

--node_num=2 \

--node_list="192.168.1.12,192.168.1.14"

BERT模型的OneFlow实现的更多相关文章

  1. BERT模型在多类别文本分类时的precision, recall, f1值的计算

    BERT预训练模型在诸多NLP任务中都取得最优的结果.在处理文本分类问题时,即可以直接用BERT模型作为文本分类的模型,也可以将BERT模型的最后层输出的结果作为word embedding导入到我们 ...

  2. 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史(转载)

    转载 https://zhuanlan.zhihu.com/p/49271699 首发于深度学习前沿笔记 写文章   从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 张 ...

  3. attention、self-attention、transformer和bert模型基本原理简述笔记

    attention 以google神经机器翻译(NMT)为例 无attention: encoder-decoder在无attention机制时,由encoder将输入序列转化为最后一层输出state ...

  4. BERT模型介绍

    前不久,谷歌AI团队新发布的BERT模型,在NLP业内引起巨大反响,认为是NLP领域里程碑式的进步.BERT模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩:全部两个衡量指标上全面超越 ...

  5. 想研究BERT模型?先看看这篇文章吧!

    最近,笔者想研究BERT模型,然而发现想弄懂BERT模型,还得先了解Transformer. 本文尽量贴合Transformer的原论文,但考虑到要易于理解,所以并非逐句翻译,而是根据笔者的个人理解进 ...

  6. zz从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

    从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 Bert最近很火,应该是最近最火爆的AI进展,网上的评价很高,那么Bert值得这么高的评价吗?我个人判断是值得.那为什么 ...

  7. 图示详解BERT模型的输入与输出

    一.BERT整体结构 BERT主要用了Transformer的Encoder,而没有用其Decoder,我想是因为BERT是一个预训练模型,只要学到其中语义关系即可,不需要去解码完成具体的任务.整体架 ...

  8. bert模型参数简化

    我们下载下来的预训练的bert模型的大小大概是400M左右,但是我们自己预训练的bert模型,或者是我们在开源的bert模型上fine-tuning之后的模型的大小大约是1.1G,我们来看看到底是什么 ...

  9. BERT模型

    BERT模型是什么 BERT的全称是Bidirectional Encoder Representation from Transformers,即双向Transformer的Encoder,因为de ...

随机推荐

  1. Blade模板引擎教程-常用语法格式

    打印变量或者默认值,这个语法会自动转义变量内容中的html标记,使得html标签原样输出Welcome, {{ $name or 'California' }} 打印变量原始内容,不进行转义的用法{! ...

  2. 如何在jQuery的Ajax调用后管理一个重定向请求

    1 success:function(data){ 2 if(data.xx == "xx") 3 { 4 //code... 5 window.location.href =&q ...

  3. 前端小白的学习之路html与css的较量【一】

    html和css的较量 web结构的组成 html标签规则 快速生成一个html html的基本结构 标签的关系 标签 标题标签 段落 图片 超链接 a 属性 a标签里面的值 字符实体 新增的标签 1 ...

  4. 【opencv】获取摄像头rstp视频流地址方法

    1.rstp通用地址格式为 : 通用格式 // user : 登录摄像头的用户名 // password:登录摄像头的密码 // ip:摄像头的ip地址 // port:端口号,常用的为554 &qu ...

  5. 【小技巧】Eclipse 中创建Maven项目后没有WEB-INF文件夹以及web.xml文件

    懒得截图了,一张图配下面步骤搞定. 1.右键项目,选择propertities后选择图中①(被遮住了): 2.先不②勾选去掉,点击Apply:然后在把②处勾选上.此时④位置会出现东东,点击蓝色超链接. ...

  6. ConcurrentHashMap源码解读一

    最近在学习并发map的源码,如果由错误欢迎指出.这仅供我自己学习记录使用. 首先就先来说一下几个全局变量 private static final int MAXIMUM_CAPACITY = 1 & ...

  7. MySQL|一文解决主库已有数据的主从复制

    主从复制配置方案和实际的场景有很多,在之前配置了主从库都是全新的配置方案 在这一篇会配置主库存在数据,然后配置主从复制 开始之前,先分享一套MySQL教程,小白入门或者学习巩固都可以看 MySQL基础 ...

  8. ES6新增常用方法

    字符串新增方法 padStart.padEnd 如果原字符串不够指定长度,则会在左侧(右侧)填充字符串,用以补全 padStart( length: number, fillStr?: string ...

  9. .NET 在信创常用软件适配清单之中?

    2020年8月份写了一篇文章<.NET Core也是国产化信息系统开发的重要选项>, 这又过去了大半年了,在信创领域发生了很大的变化,今天写这篇文章主要是想从信创常用软件适配清单 看一看. ...

  10. 有趣的css—简单的下雨效果

    简单的下雨效果 前言 最近在b站上看到一个下雨效果的视频,感觉思路很清奇,我也按照自己的思路做了一个简单的下雨效果. 由于我制作GIF图片的工具最多只支持制作33FPS的GIF图,所以看起来可能有一点 ...