elasticsearch之分词插件使用

elasticsearch对英文会拆成单个单词，对中文会拆分成单个字。下面来看看是不是这样。

首先测试一下英文：

GET /blog/_analyze
{
  "text": "Installation and Upgrade Guide"
}

返回结果如下：

{
  "tokens": [
    {
      "token": "installation",
      "start_offset": 0,
      "end_offset": 12,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "and",
      "start_offset": 13,
      "end_offset": 16,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "upgrade",
      "start_offset": 17,
      "end_offset": 24,
      "type": "<ALPHANUM>",
      "position": 2
    },
    {
      "token": "guide",
      "start_offset": 25,
      "end_offset": 30,
      "type": "<ALPHANUM>",
      "position": 3
    }
  ]
}

接下来测试一下中文：

GET /blog/_analyze
{
  "text": "加媒称美军利用威克岛遏制中国"
}

返回结果如下：

{
  "tokens": [
    {
      "token": "加",
      "start_offset": 0,
      "end_offset": 1,
      "type": "<IDEOGRAPHIC>",
      "position": 0
    },
    {
      "token": "媒",
      "start_offset": 1,
      "end_offset": 2,
      "type": "<IDEOGRAPHIC>",
      "position": 1
    },
    {
      "token": "称",
      "start_offset": 2,
      "end_offset": 3,
      "type": "<IDEOGRAPHIC>",
      "position": 2
    },
    {
      "token": "美",
      "start_offset": 3,
      "end_offset": 4,
      "type": "<IDEOGRAPHIC>",
      "position": 3
    },
    {
      "token": "军",
      "start_offset": 4,
      "end_offset": 5,
      "type": "<IDEOGRAPHIC>",
      "position": 4
    },
    {
      "token": "利",
      "start_offset": 5,
      "end_offset": 6,
      "type": "<IDEOGRAPHIC>",
      "position": 5
    },
    {
      "token": "用",
      "start_offset": 6,
      "end_offset": 7,
      "type": "<IDEOGRAPHIC>",
      "position": 6
    },
    {
      "token": "威",
      "start_offset": 7,
      "end_offset": 8,
      "type": "<IDEOGRAPHIC>",
      "position": 7
    },
    {
      "token": "克",
      "start_offset": 8,
      "end_offset": 9,
      "type": "<IDEOGRAPHIC>",
      "position": 8
    },
    {
      "token": "岛",
      "start_offset": 9,
      "end_offset": 10,
      "type": "<IDEOGRAPHIC>",
      "position": 9
    },
    {
      "token": "遏",
      "start_offset": 10,
      "end_offset": 11,
      "type": "<IDEOGRAPHIC>",
      "position": 10
    },
    {
      "token": "制",
      "start_offset": 11,
      "end_offset": 12,
      "type": "<IDEOGRAPHIC>",
      "position": 11
    },
    {
      "token": "中",
      "start_offset": 12,
      "end_offset": 13,
      "type": "<IDEOGRAPHIC>",
      "position": 12
    },
    {
      "token": "国",
      "start_offset": 13,
      "end_offset": 14,
      "type": "<IDEOGRAPHIC>",
      "position": 13
    }
  ]
}

为了能够对中文进行更好的分词，我们需要安装第三方的分词插件，目前比较成熟的是ik（elasticsearch-analysis-ik），官方地址：https://github.com/medcl/elasticsearch-analysis-ik。

安装方式

方式一：到这里下载已编译好的包，解压到elasticsearch安装根目录下的plugins文件夹。

方式二：elasticsearch 版本在5.5.1以上，可以使用 elasticsearch-plugin 安装，方式如下：
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.2.3/elasticsearch-analysis-ik-6.2.3.zip

方式三：elasticsearch-analysis-ik是用maven构建的java项目，和打包自己写的java程序没啥区别。所以只需下载代码到本地，使用 mvn package打包后，解压到elasticsearch安装根目录下的plugins文件夹下即可。

注意，安装好后，记得重启elasticsearch。安装好后大概就是下面这样子。

测试安装是否成功

ik分词有两种分词方式：ik_max_word 和 ik_smart ，区别在于：
ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合；

ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。
下面我们再来测试一把：

GET /blog/_analyze
{
  "text": "加媒称美军利用威克岛遏制中国",
  "analyzer": "ik_max_word"
}

返回结果如下：

{
  "tokens": [
    {
      "token": "加",
      "start_offset": 0,
      "end_offset": 1,
      "type": "CN_CHAR",
      "position": 0
    },
    {
      "token": "媒",
      "start_offset": 1,
      "end_offset": 2,
      "type": "CN_CHAR",
      "position": 1
    },
    {
      "token": "称",
      "start_offset": 2,
      "end_offset": 3,
      "type": "CN_CHAR",
      "position": 2
    },
    {
      "token": "美军",
      "start_offset": 3,
      "end_offset": 5,
      "type": "CN_WORD",
      "position": 3
    },
    {
      "token": "利用",
      "start_offset": 5,
      "end_offset": 7,
      "type": "CN_WORD",
      "position": 4
    },
    {
      "token": "威",
      "start_offset": 7,
      "end_offset": 8,
      "type": "CN_CHAR",
      "position": 5
    },
    {
      "token": "克",
      "start_offset": 8,
      "end_offset": 9,
      "type": "CN_CHAR",
      "position": 6
    },
    {
      "token": "岛",
      "start_offset": 9,
      "end_offset": 10,
      "type": "CN_CHAR",
      "position": 7
    },
    {
      "token": "遏制",
      "start_offset": 10,
      "end_offset": 12,
      "type": "CN_WORD",
      "position": 8
    },
    {
      "token": "中国",
      "start_offset": 12,
      "end_offset": 14,
      "type": "CN_WORD",
      "position": 9
    }
  ]
}

从上面的返回结果来看，分词插件就安装成功了。下面简单举个例子：

1、创建index和mapping，并指定title字段使用ik_max_word方式进行分词

PUT /blog
{
  "mappings": {
    "news": {
      "properties": {
        "title": {
          "type": "text",
          "analyzer": "ik_max_word"
        }
      }
    }
  }
}

2、添加一些数据，最好有点关联，这样搜索才能看到效果：

POST /blog/news/_bulk?pretty
{"index":{"_id":"1"}}
{"title": "台退将警告台当局：美国把台湾当筹码 想玩你！" }
{"index":{"_id":"2"}}
{"title":"美媒:中国以前遭美污蔑走防守路线 现在战斗力太强"}
{"index":{"_id":"4"}}
{"title":"美国在南海设“红线”和炮舰政策 不会吓倒中国"}
{"index":{"_id":"5"}}
{"title":"美媒：美国想单方面遏制中国？结果可能很惨"}
{"index":{"_id":"6"}}
{"title":"美媒炒作俄可能“割光缆” 担心俄或借此反制西方"}
{"index":{"_id":"7"}}
{"title":"金一南：逼中国与俄罗斯结盟 将是西方最大灾难！"}
{"index":{"_id":"8"}}
{"title":"旧战场焕发新生？加媒称美军利用威克岛遏制中国"}

3、接着，我们来搜索一把

GET /blog/news/_search
{
  "query": { "match": { "title": "结果可能很惨" } }
}

返回结果如下：

{
  "took": 12,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 2,
    "max_score": 2.1470046,
    "hits": [
      {
        "_index": "blog",
        "_type": "news",
        "_id": "5",
        "_score": 2.1470046,
        "_source": {
          "title": "美媒：美国想单方面遏制中国？结果可能很惨"
        }
      },
      {
        "_index": "blog",
        "_type": "news",
        "_id": "6",
        "_score": 0.99096406,
        "_source": {
          "title": "美媒炒作俄可能“割光缆” 担心俄或借此反制西方"
        }
      }
    ]
  }
}

字典配置

ik配置文件位于config文件夹中，具体位置就像下面这样。

1. IKAnalyzer.cfg.xml：用来配置自定义词库
2. main.dic：ik原生内置的中文词库，总共有27万多条，只要是这些词语，都会被分在一起
3. quantifier.dic：放了一些计量单位相关的词
4. suffix.dic：放了一些后缀
5. surname.dic：中国的姓氏
6. stopword.dic：英文停用词，会在分词的时候，直接被忽略，不会建立在倒排索引中

自定义词库

可能在ik的原生词典里，对一些新生的流行语并没有，比如尬聊、蓝瘦香菇、中二病、斜杠青年。那么就需要我们自己建立词库了。

在IKAnalyzer.cfg.xml配置文件中，配置我们自定义字典的路径。

在mydict.dic文件中写入想要扩展的词语：

重启elasticsearch，测试一下生效否：

GET /blog/_analyze
{
  "text": "蓝瘦香菇",
  "analyzer": "ik_max_word"
}

返回结果如下：

{
  "tokens": [
    {
      "token": "蓝瘦香菇",
      "start_offset": 0,
      "end_offset": 4,
      "type": "CN_WORD",
      "position": 0
    },
    {
      "token": "香菇",
      "start_offset": 2,
      "end_offset": 4,
      "type": "CN_WORD",
      "position": 1
    }
  ]
}

可见，我们扩展的词语生效了。

热更新 IK 分词使用方法

每次都是在elasticsearch的扩展词典中，手动添加新词语，弊端很多，比如：

• 每次添加完，都要重启es才能生效，非常麻烦
• es是分布式的，可能有数百个节点，总不能每次都一个一个节点上面去修改

热更新就是不需要elasticsearch重启，直接我们在外部某个地方添加新的词语，elasticsearch中立即热加载到这些新词语。

具体方式直接看官方这里吧。