Elasticsearch搜索引擎学习笔记（四）

分词器

内置分词器

　　standard：默认分词，单词会被拆分，大小会转换为小写。
　　simple：按照非字母分词。大写转为小写。
　　whitespace：按照空格分词。忽略大小写。
　　stop：去除无意义单词，比如the/a/an/is…
　　keyword：不做分词。把整个文本作为一个单独的关键词。

　　

　　接口

　　POST /_analyze
　　{
　　　　"analyzer": "standard",
　　　　"text": "text文本"
　　}

　　POST /my_doc/_analyze
　　{
　　　　"analyzer": "standard",
　　　　"field": "name",
　　　　"text": "text文本"
　　}

中文分词器

　　es内置分词器不支持对中文拆分，会将中文的每一个汉字都拆开，这不满足需求，所以需要安装中文分词插件。

　　https://github.com/medcl/elasticsearch-analysis-ik下载对应es版本的。

　　解压 unzip elasticsearch-analysis-ik-6.4.3.zip -d /usr/local/elasticsearch-6.4.3/plugins/ik

　　重启es

　　测试一下

　　

　　可以拆分成下面这些

{
    "tokens": [
        {
            "token": "上下班",
            "start_offset": 0,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "上下",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "下班",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "班车",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "车流量",
            "start_offset": 3,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 4
        },
        {
            "token": "车流",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 5
        },
        {
            "token": "流量",
            "start_offset": 4,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 6
        },
        {
            "token": "很大",
            "start_offset": 6,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 7
        }
    ]
}

　　

　　自定义中文词库

　　有些网络用语或专有名词不能被当成一个词，所以需要我们自定义。

　　1、vim /usr/local/elasticsearch-6.4.3/plugins/ik/config/IKAnalyzer.cfg.xml

　　　　

　　2、在IKAnalyzer.cfg.xml同级创建custom.dic

　　3、在custom.dic中添加自定义中文词语

　　　　

　　4、重启。现在es就不会把慕课网拆分成3个单独的字了