CRF++使用说明

摘选自 ：CRF++: Yet Another CRF toolkit

Usage:

1.输入输出文件

He        PRP  B-NP
reckons   VBZ  B-VP
the       DT   B-NP
current   JJ   I-NP
account   NN   I-NP
deficit   NN   I-NP
will      MD   B-VP
narrow    VB   I-VP
to        TO   B-PP
only      RB   B-NP
#         #    I-NP
1.8       CD   I-NP
billion   CD   I-NP
in        IN   B-PP
September NNP  B-NP
.         .    O

He        PRP  B-NP
reckons   VBZ  B-VP
.. 

由许多token组成，每一行称之为一个token，每个token包含许多列，一般第0列是词本身，最后一列是词应该输出的标记(状态)，中间的列是词的Pos，可以有多个，例如可以是词性等

输出文件与输入文件一样，只不过最后一列的可有可无，包含最后一列时可用于测试

2. feature template

2.1 模板基础和介绍

Input: Data
He        PRP  B-NP
reckons   VBZ  B-VP
the       DT   B-NP << CURRENT TOKEN
current   JJ   I-NP
account   NN   I-NP

template	expanded feature
%x[0,0]	the
%x[0,1]	DT
%x[-1,0]	reckons
%x[-2,1]	PRP
%x[0,0]/%x[0,1]	the/DT
ABC%x[0,1]123	ABCDT123

模板由 %x[row,col]指定，row表示行偏移，col表示第col列。eg，当前元素是the的话，%x[0,1]表示DT，%x[-1,0]表示reckons等

2.2 模板类型

一共有两种类型的模板，Unigram和Bigram

2.2.1 Unigram

如果一个 %x[0,1]模板(这个模板的意思就是利用当前词的第一列(词性)去预测最后一列(输出))，会产生如下函数：

func1 = if (output = B-NP and feature="U01:DT") return 1 else return 0 func2 = if (output = I-NP and feature="U01:DT") return 1 else return 0 func3 = if (output = O and feature="U01:DT") return 1  else return 0 .... funcXX = if (output = B-NP and feature="U01:NN") return 1  else return 0 funcXY = if (output = O and feature="U01:NN") return 1  else return 0 ...

当前词的U01特征是DT，当前词的输出是B-NP 当前词的U01特征是DT，当前词的输出是I-NP 当前词的U01特征是DT，当前词的输出是O 当前词的U01特征是NN，当前词的输出是B-NP 当前词的U01特征是NN，当前词的输出是O

一共有 L*N个特征函数，L是输出的类别墅，N是expanded feature的数目

2.2.2 Bigram

会自动产生当前特征和前一个特征的合并，一共会有L*L*N个特征函数

2.2.3 区别两个unigram与bigram

• unigram: |output tag| x |all possible strings expanded with a macro|
• bigram: |output tag| x |output tag| x |all possible strings expanded with a macro|

模板示例

　# Unigram

U00:%x[-2,0]
U01:%x[-1,0]
U02:%x[0,0]
U03:%x[1,0]
U04:%x[2,0]
U05:%x[-1,0]/%x[0,0]
U06:%x[0,0]/%x[1,0]

U10:%x[-2,1]
U11:%x[-1,1]
U12:%x[0,1]
U13:%x[1,1]
U14:%x[2,1]
U15:%x[-2,1]/%x[-1,1]
U16:%x[-1,1]/%x[0,1]
U17:%x[0,1]/%x[1,1]
U18:%x[1,1]/%x[2,1]

U20:%x[-2,1]/%x[-1,1]/%x[0,1]
U21:%x[-1,1]/%x[0,1]/%x[1,1]
U22:%x[0,1]/%x[1,1]/%x[2,1]

# Bigram
B

‘#’在模板中表示注释，bigram中的B表示就只采用前一个token和当前token作为bigram特征

3 训练

3.1 命令

crf_learn template_file train_file model_file

3.2 输出

CRF++: Yet Another CRF Tool Kit
Copyright(C) 2005 Taku Kudo, All rights reserved.

reading training data: 100.. 200.. 300.. 400.. 500.. 600.. 700.. 800..
Done! 1.94 s

Number of sentences: 823
Number of features:  1075862
Number of thread(s): 1
Freq:                1
eta:                 0.00010
C:                   1.00000
shrinking size:      20
Algorithm:           CRF

iter=0 terr=0.99103 serr=1.00000 obj=54318.36623 diff=1.00000
iter=1 terr=0.35260 serr=0.98177 obj=44996.53537 diff=0.17161
iter=2 terr=0.35260 serr=0.98177 obj=21032.70195 diff=0.53257
iter=3 terr=0.23879 serr=0.94532 obj=13642.32067 diff=0.35138
iter=4 terr=0.15324 serr=0.88700 obj=8985.70071 diff=0.34134
iter=5 terr=0.11605 serr=0.80680 obj=7118.89846 diff=0.20775
iter=6 terr=0.09305 serr=0.72175 obj=5531.31015 diff=0.22301
iter=7 terr=0.08132 serr=0.68408 obj=4618.24644 diff=0.16507
iter=8 terr=0.06228 serr=0.59174 obj=3742.93171 diff=0.18953

• iter: 迭代次数
• terr: error rate with respect to tags. (# of error tags/# of all tag)
• serr: error rate with respect to sentences. (# of error sentences/# of all sentences)
• obj: current object value. When this value converges to a fixed point, CRF++ stops the iteration.
• diff: relative difference from the previous object value.

3.3 参数

• -a CRF-L2 or CRF-L1:
  指定正则化项。默认参数是L2。一般情况，L2比L1略好，但L1正则化情况下非零的特征数目明显比L2正则化少。
• -c float: 
  CRF中的hyper-parameter参数。C越大，CRF拟合训练数据过好，所以C是一个权衡过拟合和欠拟合的参数。训练结果受C值的影响较大。可以通过交叉验证等确定C的取值。
• -f NUM:
  设置参与训练的特征的阈值。仅使用出现次数不小于NUM次的特征。默认值是1。在大数据中，只出现一次的特征会有成百上千，此时这个选项就会很有用。
• -p NUM:
  如果电脑有多个CPU，可以多线程训练，NUM是线程数。

eg

crf_learn -f 3 -c 1.5 template_file train_file model_file

0.45以上的版本，还有single-best MIRA training模式，通过-a MIRA 指定，参数选项与上面的类似

4 预测

crf_test -m model_file test_files ...

每一行中前面的列是预测数据中的特征和真实结果，最后一列是通过训练得到的标注结果

输出普通结果

% crf_test -m model test.data
Rockwell        NNP     B       B
International   NNP     I       I
Corp.   NNP     I       I
's      POS     B       B
Tulsa   NNP     I       I
unit    NN      I       I
..

输出真实值的概率

% crf_test -v1 -m model test.data| head
# 0.478113
Rockwell        NNP     B       B/0.992465
International   NNP     I       I/0.979089
Corp.   NNP     I       I/0.954883
's      POS     B       B/0.986396
Tulsa   NNP     I       I/0.991966
...

输出所有情况的概率

% crf_test -v2 -m model test.data
# 0.478113
Rockwell        NNP     B       B/0.992465      B/0.992465      I/0.00144946    O/0.00608594
International   NNP     I       I/0.979089      B/0.0105273     I/0.979089      O/0.0103833
Corp.   NNP     I       I/0.954883      B/0.00477976    I/0.954883      O/0.040337
's      POS     B       B/0.986396      B/0.986396      I/0.00655976    O/0.00704426
Tulsa   NNP     I       I/0.991966      B/0.00787494    I/0.991966      O/0.00015949
unit    NN      I       I/0.996169      B/0.00283111    I/0.996169      O/0.000999975
..

我