ELK技术-IK-中文分词器

1.背景

1.1 简介

ES默认的分词器对中文分词并不友好，所以一般会安装中文分词插件，以便能更好的支持中文分词检索。

本例参考文档：《一文教你掌握IK中文分词》

1.2 IK分词器

IK分词器在是一款基于词典和规则的中文分词器。这里讲解的IK分词器是独立于Elasticsearch、Lucene、Solr，可以直接用在java代码中的部分。实际工作中IK分词器一般都是集成到Solr和Elasticsearch搜索引擎里面使用。

IK分词采用Java编写。

IK分词的效果主要取决于词库，目前自带主词典拥有27万左右的汉语单词量。对于应用领域的不同，需要各类专业词库的支持。词库还可以自己维护。

IK分词器地址：https://github.com/medcl/elasticsearch-analysis-ik

IK分词器有两种分词模式：ik_max_word和ik_smart。

下载安装包

1. 下载预编译的安装包，下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

1. 下载对应版本，IK版本与Elasticsearch版本一致

1. 将IK包加入到Elasticsearch插件目录下，新建ik目录，参考如下：

1.3 分词模式

IK分词器有两种分词模式：

1. 细粒度模式 ik_max_word

1. 智能模式 ik_smart

细粒度模式

采用细粒度模式ik_max_word:会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,华，人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合。测试代码：

 GET /_analyze
{
  "text": ["中华人民共和国国歌"],
  "analyzer": "ik_max_word"
}

分词规则

1. 当查询词在词典中不存在时，会按字拆分。如：在风->在，风

1. 当查询词在词典中存在，且长度为两个字时，有时拆分有时不拆分。例如：甲乙–>甲乙 ， 联通–>联通，联，通

1. 当查询词在词典中存在，且查询词的一部分也在词典在中存在，则分别拆分。例如：甲乙丙丁–>甲乙丙丁，甲乙，丙丁 中国联通–>中国联通，中国，国联，联通，通

1. 当查询词任意部分都不在词典中存储，则按字拆分

智能模式

智能模式ik_smart会做最粗粒度的拆分。比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”，适合 Phrase 查询。

 GET /_analyze
{
  "text": ["中华人民共和国国歌"],
  "analyzer": "ik_smart"
}

分词规则

1. 当查询词在词典中不存在时，会按字拆分 例如：在北–>在，北

1. 当查询词在词典中存在，不做拆分 例如：甲乙–>甲乙，甲乙丙丁–>甲乙丙丁

1. 当查询词任意部分都不在词典中存储，则按字拆分

2.分词实践

2.1 词典配置

很多时候默认的分词效果达不到线上使用的要求，这就需要不断维护扩展词典和停止词字典，提高分词匹配的准确性，优化用户体验。

在IK分词器中，主要可以维护2种词典，一种是扩展词典，可以自定义一些词语，提高分词精读。

另一种是停止词词典，停止词就是指不会被分词拆分出来的词语，不参与分词和检索操作。

可以通过修改IKAnalyzer.cfg.xml配置文件，来自定义词典。IKAnalyzer.cfg.xml的位置为{plugins}/ik/config/。

注意事项

1. ext_dict：直接修改ext_dict属性中配置的字段里面的内容，并不能立刻生效。只有重启ES进程实例，修改的内容才会生效。

1. remote_ext_dict：通过远程扩展的字典，可以实现词典的热更新，不用重启ES进程实例。

2.2 词典热更新

配置词典代理

配置词典源有多种模式，如tomact容器，Nginx代理等，本例基于Nginx配置代理如下：

Nginx按照参考：《Nginx按照教程》

 server {
        listen       8084;
        server_name  localhost;
        #charset koi8-r;
        #access_log  logs/host.access.log  main;
        location / {
            root   html;
            index  index.html index.htm;
        }
        location /ik-remote-dic {
            alias   /opt/elasticsearch/ik-config;
            autoindex on;
            }
........

设置词典值

在目录下设置数据词典（本例为: /opt/elasticsearch/ik-config)，由于是中文分词，特别注意文件的字符格式（UTF-8），参考如下：

配置远程词典源

2.3 分词应用

关键词查询，未做扩展的数据字典：

 GET /_analyze
 {
   "text": "成都数康公司，通商速子股份有限公司，字节不跳动公司,头颅后侧位工时,王令",
   "analyzer": "ik_smart"
 }

关键词查询，做扩展的数据字典：

 GET /_analyze
 {
   "text": "重庆数康公司，通商数字股份有限公司，字节跳动公司,头颅正侧位工时，王令,王玲的报告，测试是报告",
   "analyzer": "ik_smart"
 }