BI-LSTM-CRF在序列标注中的应用

1. 前言

在NLP中有几个经典的序列标注问题，词性标注（POS），chunking和命名实体识别（NER）。序列标注器的输出可用于另外的应用程序。例如，可以利用在用户搜索查询上训练的命名实体识别器来识别关键词，从而触发某些产品广告。另一个例子是搜索引擎可以使用这种标签信息来查找相关的网页。

2. BI-LSTM-CRF原理

在本文中，我们提出了各种基于长短期记忆（LSTM）的序列标注模型。这些模型包括LSTM网络，双向LSTM网络（BI-LSTM），带条件随机场的LSTM（LSTM-CRF）和具有CRF的双向LSTM（BI-LSTM-CRF）。

论文的工作是将BI-LSTM-CRF模型应用于NLP基准序列标注记数据集。实验表明，由于双向LSTM组件，BI-LSTM-CRF模型可以有效地使用过去和未来输入特征。

BI-LSTM-CRF模型可以在POS、chunking、NER数据集达到SOTA的水平。并且，与先前的结果相比，它更具有鲁棒性和对word embbding的依赖性较小。

3. BI-LSTM-CRF模型

BI-LSTM-CRF的结构是由word embedding、双向LSTM层、CRF层构成。

1. word embedding：使用 unigram，bi-gram，tri-gram的特征，使用了50维的词向量。
2. BI-LSTM层，是充分提取词过去和未来的特征，这种特征能够提升标签的准确度。
3. CRF层是连接LSTM输出的线性表示，CRF层具有状态转移矩阵作为参数。

BI-LSTM-CRF的算法过程：

3.1 Feature Trick

我们可以将拼写和上下文特征都看作单词的特征。也就是说，神经网络的输入包括单词，拼写和上下文特征。论文指出，我们发现加入拼写能够加速训练，并且它们得到非常相似的标注准确性。

如下图所示：

4. 总结

序列标注是基础性的NLP研究课题，是许多NLP任务的基础。比如搜索引擎使用命名实体识别查询语句中的产品类实体，继而推荐广告。经典的序列标注有HMM、MEMMs和CRFs三种，其中CRFs的效果最好，可以解决HMM和MEMMs的标签偏置（label bias）问题。后来词向量的研究兴起，Collobert（Collobert et al.201） 的C&W词向量也在序列标注一展身手。Collobert 用的是卷积神经网络+CRF。LSTM在语音识别等领域已经有了成功的应用，引文若干。在之后的实验中对比了这些模型和自己模型（BI-LSTM-CRF, state of the art）的结果。