CRF++使用小结

1. 简述

最近要应用CRF模型，进行序列识别。选用了CRF++工具包，具体来说是在VS2008的C#环境下，使用CRF++的windows版本。本文总结一下了解到的和CRF++工具包相关的信息。

参考资料是CRF++的官方网站：CRF++: Yet Another CRF toolkit，网上的很多关于CRF++的博文就是这篇文章的全部或者部分的翻译，本文也翻译了一些。

2. 工具包下载

第一，版本选择，当前最新版本是2010-05-16日更新的CRF++ 0.54版本，不过这个版本以前我用过一次好像运行的时候存在一些问题，网上一些人也说有问题，所以这里用的是2009-05-06: CRF++ 0.53版本。关于运行出错的信息有http://ir.hit.edu.cn/bbs/viewthread.php?action=printable&tid=7945为证。

第二，文件下载，这个主页上面只有最新的0.54版本的文件，网上可以搜索，不过不是资源不是很多，我在CSDN上面下载了一个CRF++0.53版本的，包含linux和windows版本，其要花掉10个积分。因为，我没有找到比较稳定、长期、免费的链接，这里上传一份这个文件：CRF++ 0.53 Linux和Windows版本。

3. 工具包文件

doc文件夹：就是官方主页的内容。
    example文件夹：有四个任务的训练数据、测试数据和模板文件。
    sdk文件夹：CRF++的头文件和静态链接库。
    crf_learn.exe：CRF++的训练程序。
    crf_test.exe：CRF++的预测程序
    libcrfpp.dll：训练程序和预测程序需要使用的静态链接库。

实际上，需要使用的就是crf_learn.exe，crf_test.exe和libcrfpp.dll，这三个文件。

4. 命令行格式

4.1 训练程序

命令行：
    % crf_learn template_file train_file model_file
    这个训练过程的时间、迭代次数等信息会输出到控制台上（感觉上是crf_learn程序的输出信息到标准输出流上了），如果想保存这些信息，我们可以将这些标准输出流到文件上，命令格式如下：
    % crf_learn template_file train_file model_file >> train_info_file

有四个主要的参数可以调整：
    -a CRF-L2 or CRF-L1     
    规范化算法选择。默认是CRF-L2。一般来说L2算法效果要比L1算法稍微好一点，虽然L1算法中非零特征的数值要比L2中大幅度的小。
    -c float
    这个参数设置CRF的hyper-parameter。c的数值越大，CRF拟合训练数据的程度越高。这个参数可以调整过度拟合和不拟合之间的平衡度。这个参数可以通过交叉验证等方法寻找较优的参数。
    -f NUM
    这个参数设置特征的cut-off threshold。CRF++使用训练数据中至少NUM次出现的特征。默认值为1。当使用CRF++到大规模数据时，只出现一次的特征可能会有几百万，这个选项就会在这样的情况下起到作用。
    -p NUM
    如果电脑有多个CPU，那么那么可以通过多线程提升训练速度。NUM是线程数量。

带两个参数的命令行例子：
    % crf_learn -f  3 -c 1.5 template_file train_file model_file

4.2 测试程序

命令行：
     % crf_test -m model_file test_files
     有两个参数-v和-n都是显示一些信息的，-v可以显示预测标签的概率值，-n可以显示不同可能序列的概率值，对于准确率，召回率，运行效率，没有影响，这里不说明了。
      与crf_learn类似，输出的结果放到了标准输出流上，而这个输出结果是最重要的预测结果信息（测试文件的内容+预测标注），同样可以使用重定向，将结果保存下来，命令行如下。
      % crf_test -m model_file test_files >> result_file

5. 文件格式

5.1 训练文件

下面是一个训练文件的例子：

    训练文件由若干个句子组成（可以理解为若干个训练样例），不同句子之间通过换行符分隔，上图中显示出的有两个句子。每个句子可以有若干组标签，最后一组标签是标注，上图中有三列，即第一列和第二列都是已知的数据，第三列是要预测的标注，以上面例子为例是，根据第一列的词语和和第二列的词性，预测第三列的标注。

当然这里有涉及到标注的问题，这个就是很多paper要研究的了，比如命名实体识别就有很多不同的标注集。这个超出本文范围。

5.2 测试文件

测试文件与训练文件格式自然是一样的，用过机器学习工具包的这个一般都理解吧。

与SVM不同，CRF++没有单独的结果文件，预测结果通过标准输出流输出了，因此前面4.2节的命令行中，将结果重定向到文件中了。结果文件比测试文件多了一列，即为预测的标签，我们可以计算最后两列，一列的标注的标签，一列的预测的标签，来得到标签预测的准确率。

5.3 模板文件

5.3.1 模板基础

模板文件中的每一行是一个模板。每个模板都是由%x[row,col]来指定输入数据中的一个token。row指定到当前token的行偏移，col指定列位置。
    
    由上图可见，当前token是the这个单词。%x[-2,1]就就是the的前两行，1号列的元素（注意，列是从0号列开始的），即为PRP。

5.3.2 模板类型

有两种类型的模板，模板类型通过第一个字符指定。

Unigram template: first character, 'U'
    当给出一个"U01:%x[0,1]"的模板时，CRF++会产生如下的一些特征函数集合(func1 ... funcN) 。
    
    这几个函数我说明一下，%x[0,1]这个特征到前面的例子就是说，根据词语(第1列)的词性(第2列)来预测其标注(第3列)，这些函数就是反应了训练样例的情况，func1反映了“训练样例中，词性是DT且标注是B-NP的情况”，func2反映了“训练样例中，词性是DT且标注是I-NP的情况”。
    模板函数的数量是L*N，其中L是标注集中类别数量，N是从模板中扩展处理的字符串种类。

Bigram template: first character, 'B'
    这个模板用来描述二元特征。这个模板会自动产生当前output token和前一个output token的合并。注意，这种类型的模板会产生L * L * N种不同的特征。

Unigram feature 和 Bigram feature有什么区别呢？ 
    unigram/bigram很容易混淆，因为通过unigram-features也可以写出类似%x[-1,0]%x[0,0]这样的单词级别的bigram(二元特征)。而这里的unigram和bigram features指定是uni/bigrams的输出标签。
    unigram: |output tag| x |all possible strings expanded with a macro|
    bigram: |output tag| x |output tag| x |all possible strings expanded with a macro|
    这里的一元/二元指的就是输出标签的情况，这个具体的例子我还没看到，example文件夹中四个例子，也都是只用了Unigram，没有用Bigarm，因此感觉一般Unigram feature就够了。

5.3.3 模板例子

这是CoNLL 2000的Base-NP chunking任务的模板例子。只使用了一个bigram template ('B')。这意味着只有前一个output token和当前token被当作bigram features。“#”开始的行是注释，空行没有意义。

6. 样例数据

example文件夹中有四个任务，basenp，chunking，JapaneseNE，seg。前两个是英文数据，后两个是日文数据。第一个应该是命名实体识别，第二个应该是分词，第三个应该是日文命名实体识别，第四个不清楚。这里主要跑了一下前两个任务，后两个是日文的搞不懂。

根据任务下面的linux的脚步文件，我写了个简单的windows批处理（其中用重定向保存了信息），比如命名为exec.bat，跑了一下。批处理文件放在要跑的任务的路径下就行，批处理文件内容如下：
    ..\..\crf_learn -c 10.0 template train.data model >> train-info.txt
    ..\..\crf_test   -m model test.data >> test-info.txt

这里简单解释一下批处理，批处理文件运行后的当前目录就是该批处理文件所在的目录（至少我的是这样，如果不是，可以使用cd %~dp0这句命令，~dp0表示了“当前盘符和路径”），crf_learn和crf_test程序在当前目录的前两级目录上，所以用了..\..\。

7. 总结

命令行（命令行格式，参数，重定向）

调参数（一般也就调训练过程的c值）

标注集（这个很重要，研究相关）

模板文件（这个也很重要，研究相关）

模板文件的Unigram feature 和 Bigram feature，前面也说了，这里指的是output的一元/二元，这个应用的情况暂时还不是特别了解，还需要看一些paper可能才能知道。