NlpirParser智能挖掘平台词性标注新算法

　　词性标注是自然语言浅层理解的一个重要环节，它可帮助系统自动判定词语所属的语法范畴，为进一步处理提供更高层面的支持。词性标注主要任务是消除词性兼类歧义，对于新信息检测来说，它的实际意义还在于：

　　(1)能够在很大程度上消除词义歧义。

　　(2)具有提高句子检索性能的潜力。词性标注可以帮助我们保留表征实际意义的名词、动词、形容词以及数词等实词，同时滤掉对检索不具实际影响的介词、代词、连词与冠词等。相对于纯粹从词形出发的过滤手段，词性更能有效消除噪声，在句子层面的检索上更具有潜力。

　　(3)提高区分信息新颖程度的能力：新信息本质上是寻找与以前不同的相关信息，词性标注结果有助于甄别同形异用的词汇，同时还可以帮助对词汇进行语法范畴的分类。

　　按照学习过程与标注过程的关系，词性标注方法分为监督型与非监督型两种。监督型标注器一般都采取事先已经标注好的语料库作为知识来源，从中学习抽取出标注过程需要的资源，比如标注词典、词语/词性频率、词性序列的概率以及规则集合;非监督词性标注模型不需要已经标注好的语料库，往往采取比较复杂的计算方法自动地进行词聚类，根据聚类结果来估算相关概率，或者推导出上下文规则。按照采用的技术方法来划分，还可将词性标注分为三类：规则方法、统计方法与神经网络方法。规则往往是语言学家手工整理，有的研究者还尝试自动地从语料库中自动地抽取规则，传统的规则方法往往根据上下文信息来标记未知词与歧义词的词性，比如规则“det - X - n = X/adj”说的就是“如果歧义词X在限定词与名词之间，则其词性为形容词”，因此，“a good boy”中的“good”为形容词;而“I'm telling you this for your good.”中的“good”为名词。

　　除上下文信息之外，构词规则也往往起到关键作用，比如字母大小写、前后缀、标点等。典型的系统有TAGGIT、Brill Tagger等。统计方法可以是任何一种结合了概率信息的标注模型，其目标是为句子中的词串选择一个最可能的词类序列。

　　灵玖软件NlpirParser智能挖掘平台词性标注能对汉语语言进行词性的自动标注，它能够真正理解中文，自动根据语言环境将词语诸如“建设”标注为“名词”或“动词”。灵玖采用条件随机场(Conditional Random Field,简称CRF)模型，一级词性标注准确率接近99%，具备准确率高、速度快、可适应性强等优势。

　　人名地名机构名识别能够自动挖掘出隐含在汉语中的人名、地名、机构名，所提炼出的词语不需要在词典库中事先存在，是对语言规律的深入理解和预测。采用条件随机场(Conditional Random Field,简称CRF)模型，识别准确率达到97%，速度达到10M/s，可在此基础上搭建各种多样化的统计和应用。