kenlm的使用

1.训练模型

install_path/bin/lmplz -o  -S % -T /temp <text >text.arpa 

• -o  表示n_gram 中的n（必选）
• -S  内存使用（可选）
• -T  临时文件（可选）
• -text  待训练语料，必须分词
• -text.arpa  输出为arpa格式的n_gram结果，如下图所示：

2.查询模型

为了更快的加载将 text.arpa 转换为 binary 文件

install_path/bin/build_binary text.arpa text.binary 

测试

install_path/bin/query text.binary <test.txt >result.txt

结果如下图所示，输出每个句子的混淆度和未登录词，以及整个测试语料的混淆度和未登录词。