Elasticsearch：IK中文分词器

Elasticsearch内置的分词器对中文不友好，只会一个字一个字的分，无法形成词语，比如：

    POST /_analyze
    {
      "text": "我爱北京天安门",
      "analyzer": "standard"
    }

如果我们使用的是standard的分词器，那么结果就是：

    {
      "tokens" : [
        {
          "token" : "我",
          "start_offset" : 0,
          "end_offset" : 1,
          "type" : "<IDEOGRAPHIC>",
          "position" : 0
        },
        {
          "token" : "爱",
          "start_offset" : 1,
          "end_offset" : 2,
          "type" : "<IDEOGRAPHIC>",
          "position" : 1
        },
        ...
        {
          "token" : "门",
          "start_offset" : 6,
          "end_offset" : 7,
          "type" : "<IDEOGRAPHIC>",
          "position" : 6
        }
      ]
    }

显然这对中文来说并不友好，它显示的每一个汉字。好在Elastic的大拿medcl已经为我们做好IK中文分词器。下面我们来详细介绍如何安装并使用中文分词器。具体的安装步骤可以在地址https://github.com/medcl/elasticsearch-analysis-ik找到。

安装

首先，我们可以到如下的地址查看一下是否有最新的版本对应你的Elasticsearch的发行版：

https://github.com/medcl/elasticsearch-analysis-ik/releases

到目前截止日期，我们可以看到有最新的v7.3.1发行版。

那么，我们直接进入到我们的Elasticsearch的安装目录下，并打入如下的命令：

./bin/elasticsearch-plugin nstall https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.3.1/elasticsearch-analysis-ik-7.3.1.zip

替代上面的7.3.1安装你自己想要的版本：

安装好后，我们可以通过如下的命令来检查是否已经安装好：

localhost:elasticsearch-7.3.0 liuxg$ ./bin/elasticsearch-plugin list
analysis-ik

上面的命令显示我们的IK已经安装成功了。

这个时候需要我们重新启动一下我们的Elasticsearch，以便这个plugin能装被加载。

使用IK分词器

首先我们创建一个index:

PUT chinese

接下来，我们来为这个index 创建一个mapping

    PUT /chinese/_mapping
    {
      "properties": {
        "content": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_smart"
        }
      }
    }

运行上面的命令后，如果出现如下的信息：

    {
      "acknowledged" : true
    }

它表明我们的安装时成功的。

接下来，我们来index一些文档：

    GET /chinese/_analyze
    {
      "text": "我爱北京天安门",
      "analyzer": "ik_max_word"
    }

显示的结果为：

    {
      "tokens" : [
        {
          "token" : "我",
          "start_offset" : 0,
          "end_offset" : 1,
          "type" : "CN_CHAR",
          "position" : 0
        },
        {
          "token" : "爱",
          "start_offset" : 1,
          "end_offset" : 2,
          "type" : "CN_CHAR",
          "position" : 1
        },
        {
          "token" : "北京",
          "start_offset" : 2,
          "end_offset" : 4,
          "type" : "CN_WORD",
          "position" : 2
        },
        {
          "token" : "天安门",
          "start_offset" : 4,
          "end_offset" : 7,
          "type" : "CN_WORD",
          "position" : 3
        },
        {
          "token" : "天安",
          "start_offset" : 4,
          "end_offset" : 6,
          "type" : "CN_WORD",
          "position" : 4
        },
        {
          "token" : "门",
          "start_offset" : 6,
          "end_offset" : 7,
          "type" : "CN_CHAR",
          "position" : 5
        }
      ]
    }

从上面的结果我们可以看出来，在我们的token中显示“北京”，“天安”及“天安门”。这个和我们之前的是不一样的。

下面，我们输入两个文档：

    PUT /chinese/_doc/1
    {
      "content":"我爱北京天安门"
    }

    PUT  /chinese/_doc/2
    {
      "content": "北京，你好"
    }

那么我们可以，通过如下的方式来进行搜索：

    GET /chinese/_search
    {
      "query": {
        "match": {
          "content": "北京"
        }
      }
    }

我们显示的结果是：

    {
      "took" : 1,
      "timed_out" : false,
      "_shards" : {
        "total" : 1,
        "successful" : 1,
        "skipped" : 0,
        "failed" : 0
      },
      "hits" : {
        "total" : {
          "value" : 2,
          "relation" : "eq"
        },
        "max_score" : 0.15965709,
        "hits" : [
          {
            "_index" : "chinese",
            "_type" : "_doc",
            "_id" : "2",
            "_score" : 0.15965709,
            "_source" : {
              "content" : "北京，你好"
            }
          },
          {
            "_index" : "chinese",
            "_type" : "_doc",
            "_id" : "1",
            "_score" : 0.100605845,
            "_source" : {
              "content" : "我爱北京天安门"
            }
          }
        ]
      }
    }

因为两个文档里都含有“北京”，我们可以看出来两个文档都被显示出来了。

我们同时做另外一个搜索：

    GET /chinese/_search
    {
      "query": {
        "match": {
          "content": "天安门"
        }
      }
    }

那么显示的结果是：

    {
      "took" : 0,
      "timed_out" : false,
      "_shards" : {
        "total" : 1,
        "successful" : 1,
        "skipped" : 0,
        "failed" : 0
      },
      "hits" : {
        "total" : {
          "value" : 1,
          "relation" : "eq"
        },
        "max_score" : 0.73898095,
        "hits" : [
          {
            "_index" : "chinese",
            "_type" : "_doc",
            "_id" : "1",
            "_score" : 0.73898095,
            "_source" : {
              "content" : "我爱北京天安门"
            }
          }
        ]
      }
    }

因为“天安门”只出现在第二个文档里，所以，我们可以看出来只有一个结果。

我们也同时做另外一个搜索：

    GET /chinese/_search
    {
      "query": {
        "match": {
          "content": "北京天安门"
        }
      }
    }

在这里，我们来搜索“北京天安门”。请注意我们在mapping中使用了

"search_analyzer": "ik_smart"

也就是说，search_analyzer会把我们的“北京天安门”，分解成两个词“北京”及“天安门”。这两个词将被用于搜索。通常对于match来说是OR关系，也就是说只要匹配到“北京”或“天安门”，这两个之中的任何一个，那么就是匹配：

    {
      "took" : 3,
      "timed_out" : false,
      "_shards" : {
        "total" : 1,
        "successful" : 1,
        "skipped" : 0,
        "failed" : 0
      },
      "hits" : {
        "total" : {
          "value" : 2,
          "relation" : "eq"
        },
        "max_score" : 0.7268042,
        "hits" : [
          {
            "_index" : "chinese",
            "_type" : "_doc",
            "_id" : "1",
            "_score" : 0.7268042,
            "_source" : {
              "content" : "我爱北京天安门"
            }
          },
          {
            "_index" : "chinese",
            "_type" : "_doc",
            "_id" : "2",
            "_score" : 0.22920427,
            "_source" : {
              "content" : "北京，你好"
            }
          }
        ]
      }
    }

上面显示的结果显示“我爱北京天安门”是最贴切的搜索结果。

参考：

【1】https://github.com/medcl/elasticsearch-analysis-ik