HanLP — 词性标注

词性（Part-Of-Speech，POS）指的是单词的语法分类，也称为词类。同一个类别的词语具有相似的语法性质

所有词性的集合称为词性标注集。

词性的用处

当下游应用遇到OOV时，可以通过OOV的词性猜测用法词性也可以直接用于抽取一些信息，比如抽取所有描述特定商品的形容词等

词性标注

词性标注指的是为句子中每个单词预测一个词性标签的任务

汉语中一个单词多个词性的现象很常见（称作兼类词）
OOV是任何自然语言处理任务的难题

词性标注模型

联合模型

同时进行多个任务的模型称为联合模型（joint model）

商 B-名词

品 E-名词

和 S-连词

服 B-名词

务 E-名词

流水线式

中文分词语料库远远多于词性标注语料库

实际工程上通常在大型分词语料库上训练分词器

然后与小型词性标注语料库上的词性标注模型灵活组合为一个异源的流水线式词法分析器

词性标注语料库与标注集

目前还没有一个被广泛接受的汉语词性划分标准

本节选取其中一些授权宽松，容易获得的语料库作为案例，介绍其规模、标注集等特点

《人民日报》语料库与PKU标注集

语料库中的一句样例为：

１９９７年/t １２月/t ３１日/t 午夜/t ，/w 聚集/v 在/p 日本/ns 东京/ns 增上寺/ns 的/u 善男信女/i 放飞/v 气球/n ，/w 祈祷/v 新年/t 好运/n 。

国家语委语料库与863标注集

国家语言文字工作委员会建设的大型语料库

国家语委语料库的标注规范《信息处理用现代汉语词类标记集规范》在2006年成为国家标准

其词类体系分为20个一级类、29个二级类

《诛仙》语料库与CTB标注集

哈工大张梅山老师公开了网络小说《诛仙》上的标注语料

远处/NN ，/PU 小竹峰/NR 诸/DT 人/NN 处/NN ，/PU 陆雪琪/NR 缓缓/AD 从/P 张小凡/NR 身上/NN 收回/VV 目光/NN ，/PU 落到/VV 了/AS 前方/NN 碧瑶/NR 的/DEG 身上/NN ，/PU 默默/AD 端详/VV 著/AS 她/PN 。/PU

《诛仙》语料库采用的标注集与CTB（Chinese Treebank，中文树库）相同，一共33种词类

序列标注模型应用于词性标注

HanLP中词性标注由POSTagger接口提供

基于隐马尔可夫模型的词性标注

基于感知机的词性标注

基于条件随机场的词性标注

词性标注评测

自定义词性

在工程上，许多用户希望将特定的一些词语打上自定义的标签，称为自定义词性

朴素实现

规则系统，用户将自己关心的词语以及自定义词性以词典的形式交给HanLP挂载

CustomDictionary.insert("苹果", "手机品牌 1")CustomDictionary.insert("iPhone X", "手机型号 1")analyzer = PerceptronLexicalAnalyzer()analyzer.enableCustomDictionaryForcing(True)print(analyzer.analyze("你们苹果iPhone X保修吗？"))print(analyzer.analyze("多吃苹果有益健康"))

你们/r 苹果/手机品牌 iPhone X/手机型号保修/v 吗/y ？/w

多/ad 吃/v 苹果/手机品牌有益健康/i

标注语料

PerceptronPOSTagger posTagger = trainPerceptronPOS(ZHUXIAN); // 训练AbstractLexicalAnalyzer analyzer = new AbstractLexicalAnalyzer(new PerceptronSegmenter(), posTagger); // 包装System.out.println(analyzer.analyze("陆雪琪的天琊神剑不做丝毫退避，直冲而上，瞬间，这两道奇光异宝撞到了一起。")); // 分词+标注

陆雪琪/NR 的/DEG 天琊神剑/NN 不/AD 做/VV 丝毫/NN 退避/VV ，/PU 直冲/VV 而/MSP 上/VV ，/PU 瞬间/NN ，/PU 这/DT 两/CD 道/M 奇光/NN 异宝/NN 撞/VV 到/VV 了/AS 一起/AD 。/PU

总结

隐马尔可夫模型、感知机和条件随机场三种词性标注器

为了实现自定义词性

依靠词典匹配虽然简单但非常死板，只能用于一词一义的情况

如果涉及兼类词，标注一份领域语料才是正确做法