聊聊HuggingFace Transformer

概述

参见：聊聊HuggingFace

项目组件

一个完整的transformer模型主要包含三部分：Config、Tokenizer、Model。

Config

用于配置模型的名称、最终输出的样式、隐藏层宽度和深度、激活函数的类别等。

示例：

{
  "architectures": [
    "BertForMaskedLM"
  ],
  "attention_probs_dropout_prob": 0.1,
  "gradient_checkpointing": false,
  "hidden_act": "gelu",
  "hidden_dropout_prob": 0.1,
  "hidden_size": 768,
  "initializer_range": 0.02,
  "intermediate_size": 3072,
  "layer_norm_eps": 1e-12,
  "max_position_embeddings": 512,
  "model_type": "bert",
  "num_attention_heads": 12,
  "num_hidden_layers": 12,
  "pad_token_id": 0,
  "position_embedding_type": "absolute",
  "transformers_version": "4.6.0.dev0",
  "type_vocab_size": 2,
  "use_cache": true,
  "vocab_size": 30522
}

Tokenizer

将纯文本转换为编码的过程(注意：该过程并不会生成词向量)。由于模型(Model)并不能识别(或很好的识别)文本数据，因此对于输入的文本需要做一层编码。在这个过程中，首先会将输入文本分词而后添加某些特殊标记([MASK]标记、[SEP]、[CLS]标记)，比如断句等，最后就是转换为数字类型的ID(也可以理解为是字典索引)。

示例：

pt_batch = tokenizer(
    ["We are very happy to show you the  Transformers library.",
     "We hope you don't hate it."],
    padding=True,
    truncation=True,
    max_length=5,
    return_tensors="pt"
)
## 其中，当使用list作为batch进行输入时，使用到的参数注解如下：
## padding:填充，是否将所有句子pad到同一个长度。
## truncation:截断，当遇到超过max_length的句子时是否直接截断到max_length。
## return_tensors:张量返回值，"pt"表示返回pytorch类型的tensor,"tf"表示返回TensorFlow类型的tensor,"np"表示Numpy数组。

Model

AI模型(指代基于各种算法模型，比如预训练模型、深度学习算法、强化学习算法等的实现)的抽象概念。

除了初始的Bert、GPT等基本模型，针对下游任务，还定义了诸如BertForQuestionAnswering等下游任务模型。

Transformer使用

pipeline的使用

transformer库中最基本的对象是pipeline()函数。它将模型与其必要的预处理和后处理步骤连接起来，使我们能够直接输入任何文本并获得可理解的答案：

from transformers import pipeline

classifier = pipeline("sentiment-analysis")
classifier("I've been waiting for a HuggingFace course my whole life.")

[{'label': 'POSITIVE', 'score': 0.9598047137260437}]

默认情况下，该pipeline函数选择一个特定的预训练模型，该模型已经过英语情感分析的微调。当创建classifier对象时，将下载并缓存模型。如果重新运行该命令，则将使用缓存的模型，并且不需要再次下载模型。

调用pipeline函数指定预训练模型，有三个主要步骤:

1. 输入的文本被预处理成模型(Model)可以理解的格式的数据(就是上述中Tokenizer组件的处理过程)。
2. 预处理后的数据作为输入参数传递给模型(Model)。
3. 模型的预测结果(输出内容)是经过后处理的，可供理解。

目前可用的pipelines如下：

• feature-extraction(特征提取)
• fill-mask
• ner(命名实体识别)
• question-answering(自动问答)
• sentiment-analysis(情感分析)
• summarization(摘要)
• text-generation(文本生成)
• translation(翻译)
• zero-shot-classification(文本分类)

完整说明可参考：pipelines示例说明

pipeline的原理

如上所述，pipeline将三个步骤组合在一起：预处理、通过模型传递输入以及后处理：

Tokenizer的预处理

与其他神经网络一样，Transformer 模型无法直接处理原始文本，因此pipeline的第一步是将文本输入转换为模型可以理解的数字。为此，我们使用分词器，它将负责：

• 将输入的文本分词，即拆分为单词、子单词或符号（如标点符号），这些被称为tokens(标记)。
• 将每个token映射到一个整数。
• 添加可能对模型有用的额外输入(微调)。

预训练模型完成后，所有的预处理需要完全相同的方式完成，因此我们首先需要从Model Hub下载该信息。 为此，我们使用 AutoTokenizer 类及其 from_pretrained() 方法。 使用模型的checkpoint，它将自动获取与模型的标记生成器关联的数据并缓存它。

由于情感分析pipeline的checkpoint是 distilbert-base-uncased-finetuned-sst-2-english ，因此我们运行以下命令：

from transformers import AutoTokenizer

checkpoint = "distilbert-base-uncased-finetuned-sst-2-english"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

如此便得到tokenizer对象后，后续只需将文本参数输入即可，便完成了分词-编码-转换工作。

使用Transformers框架不需要担心使用哪个后端 ML 框架(PyTorch、TensorFlow、Flax)。Transformer 模型只接受tensors(张量)作为输入参数。

注：NumPy 数组可以是标量 (0D)、向量 (1D)、矩阵 (2D) 或具有更多维度。它实际上是一个张量。

tokenizer中的return_tensors 参数定了返回的张量类型（PyTorch、TensorFlow 或普通 NumPy）

raw_inputs = [
    "I've been waiting for a HuggingFace course my whole life.",
    "I hate this so much!",
]
inputs = tokenizer(raw_inputs, padding=True, truncation=True, return_tensors="pt")
print(inputs)

以下是tokenizer返回的PyTorch张量的结果:

{
  'input_ids': tensor([
    [101,  1045,  1005,  2310,  2042,  3403,  2005,  1037, 17662, 12172, 2607,  2026,  2878,  2166,  1012,   102],
    [101,  1045,  5223,  2023,  2061,  2172,   999,   102,     0,     0,     0,     0,     0,     0,     0,     0]
  ]),
  'attention_mask': tensor([
    [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
    [1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0]
  ])
}

tokenizer的返回值参数说明如下：

1. 输出input_ids：经过编码后的数字(即前面所说的张量数据)。
2. 输出token_type_ids：因为编码的是两个句子，这个list用于表明编码结果中哪些位置是第1个句子，哪些位置是第2个句子。具体表现为，第2个句子的位置是1，其他位置是0。
3. 输出special_tokens_mask：用于表明编码结果中哪些位置是特殊符号，具体表现为，特殊符号的位置是1，其他位置是0。
4. 输出attention_mask：用于表明编码结果中哪些位置是PAD。具体表现为，PAD的位置是0，其他位置是1。
5. 输出length：表明编码后句子的长度。

Model层的处理

我们可以像使用tokenizer一样下载预训练模型。 Transformers 提供了一个 AutoModel 类，它也有一个 from_pretrained() 方法：

from transformers import AutoModel

checkpoint = "distilbert-base-uncased-finetuned-sst-2-english"
model = AutoModel.from_pretrained(checkpoint)
## inputs的参数值是前面tokenizer的输出
outputs = model(**inputs)

与初始化tokenizer一样，将相同的checkpoint作为参数，初始化一个Model；而后将tokenizer的输出数据——张量数据作为参数输入到Model中。

模型的处理架构流程图，如下：



Transformer network模块有两层：嵌入层(Embeddings)、后续层(Layers)。嵌入层将标记化输入中的每个输入 ID 转换为表示关联标记的向量。 随后的层使用注意力机制操纵这些向量来产生句子的最终表示。

Transformer的输出，作为Hidden States，也可以理解为是Feature(特征数据)。

而这些特征数据，将作为模型的另一些部分的输入，比如Head层；最终由Head层输出模型的结果。

参考：

https://huggingface.co/learn/nlp-course/chapter2/1?fw=pt