elasticsearch实战 中文+拼音搜索

需求

雪花啤酒  需要搜索雪花、啤酒 、雪花啤酒、xh、pj、xh啤酒、雪花pj

ik导入

参考https://www.cnblogs.com/LQBlog/p/10443862.html,不需要修改源码步骤就行

拼音分词器导入

跟ik一样 下载下来打包移动到es plugins 目录名字改为pinyin https://github.com/medcl/elasticsearch-analysis-pinyin

测试

get请求:http://127.0.0.1:9200/_analyze

body:

{
"analyzer":"pinyin",
"text":"雪花啤酒"
}

响应:

{
    "tokens": [
        {
            "token": "xue",
            "start_offset": 0,
            "end_offset": 0,
            "type": "word",
            "position": 0
        },
        {
            "token": "xhpj",
            "start_offset": 0,
            "end_offset": 0,
            "type": "word",
            "position": 0
        },
        {
            "token": "hua",
            "start_offset": 0,
            "end_offset": 0,
            "type": "word",
            "position": 1
        },
        {
            "token": "pi",
            "start_offset": 0,
            "end_offset": 0,
            "type": "word",
            "position": 2
        },
        {
            "token": "jiu",
            "start_offset": 0,
            "end_offset": 0,
            "type": "word",
            "position": 3
        }
    ]
}

说明导入成功

测试中文加拼音搜索

自定义mapping和自定义分词器

put请求:http://127.0.0.1:9200/opcm3

body:

{
    "settings": {
        "analysis": {
            "analyzer": {
                "ik_pinyin_analyzer": {//自定义一个分词器名字叫ik_pinyin_analyzer
                    "type": "custom",//表示自定义分词器
                    "tokenizer": "ik_smart",//使用ik分词 ik_smart为粗粒度分词 ik_max_word为最细粒度分词
                    "filter": ["my_pinyin"]//分词后结果 交给过滤器再次分词
                },
                "onlyOne_analyzer": {
                    "tokenizer": "onlyOne_pinyin"
                }
            },
            "tokenizer": {
                "onlyOne_pinyin": {
                    "type": "pinyin",
                    "keep_separate_first_letter": "true",
                    "keep_full_pinyin":"false"
                }
            },"filter": {
                "my_pinyin": {//定义过滤器
                    "type": "pinyin",
                    "keep_joined_full_pinyin": true,//分词的时候词组首字母分词后组合 如：雪花 分词:xuehua  xh
                    "keep_separate_first_letter": true//分词的时候支持首字母不单独分词如:会分词xue hua xuehua  xh  x,h
                    "none_chinese_pinyin_tokenize": true//xh 分词为x,h,xh

                }
            }
        }

    },
    "mappings": {
        "doc": {
            "properties": {
                "productName": {
                    "type": "text",
                    "analyzer": "ik_pinyin_analyzer",//指定分词索引为自定义分词 中文分词后再通过filter交给pinyin分词
                    "fields": {//暂时未用 只是保留让 自己能够知道有这种方式根据不同条件选择不同的搜索分词
                        "keyword_once_pinyin": {//新的分词字段 只分词不存在source productName.keyword_once_pinyin 查询时需要判断如果是单字母使用此搜索
                            "type": "text",
                            "analyzer": "onlyOne_analyzer"
                        }
                    }
                }
            }

        }

    }
}

filter个人理解

我的理解是   ik分词 然后将分词后的逐项结果通过filter交给拼音分词  雪花啤酒 ik会分成 雪花,啤酒    然后雪花交给pinyin会分词 xue,hua,xh,x,h  啤酒会分词 pi,jiu,p,j

插入测试数据

http://127.0.0.1:9200/opcm3/doc/1

{
    "productName":"雪花纯生勇闯天涯9度100ml"
}

put请求:http://127.0.0.1:9200/opcm3/doc/2

body：

{
    "productName":"金威纯生勇闯天涯9度100ml"
}

查看分词结果

get请求:http://127.0.0.1:9200/opcm3/topic/{id}/_termvectors?fields=productName

get请求:http://127.0.0.1:9200/opcm3/topic/{id}/_termvectors?fields=productName.keyword_once_pinyin

测试搜索

http://127.0.0.1:9200/opcm3/_search

{
    "query":{
        "match_phrase":{
            "productName":{
                "query":"雪花纯生"
            }
        }
    }
}

会查出雪花纯生和金威纯生 看个人是模糊匹配还是相邻匹配 选用match或者match_phrase

我的需求是相邻匹配改为

{
    "query":{
        "match_phrase":{
            "productName":{
                "query":"雪花纯生"
            }
        }
    }
}

则只会搜索出雪花纯生

搜索雪花纯生9度的产品

{
    "query":{
        "match_phrase":{
            "productName":{
                "query":"雪花纯生9度"
            }
        }
    }
}

会发现搜索不出来数据

原因请查阅:https://www.cnblogs.com/LQBlog/p/10580247.html

改为就能搜索出来:

{
    "query":{
        "match_phrase":{
            "productName":{
                "query":"雪花纯生9度",
                "slop":5
            }
        }
    }
}

pingpin分词还支持很多参数 比如：

以上模型排查及解决

添加测试数据

{
"productName":"纯生"
}

{
"productName":"纯爽"
}

测试

搜索

{
    "query":{
        "match_phrase":{
            "productName":{
                "query":"纯生",
                "slop":5
            }
        }
    }
}

返回结果

{
    "took": 3,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 2,
        "max_score": 2.8277423,
        "hits": [
            {
                "_index": "opcm3",
                "_type": "doc",
                "_id": "1",
                "_score": 2.8277423,
                "_source": {
                    "productName": "纯爽"
                }
            },
            {
                "_index": "opcm3",
                "_type": "doc",
                "_id": "2",
                "_score": 1.4466299,
                "_source": {
                    "productName": "纯生"
                }
            }
        ]
    }
}

可以发现纯爽也出来了

排查

1.查看纯爽分词结果

http://127.0.0.1:9200/opcm3/doc/2/_termvectors?fields=productName

[c,chun,s,sheng]

[c,chun,s,shuang]

2.查看搜索分词

http://127.0.0.1:9200/opcm3/_validate/query?explain
{
    "query":{
        "match_phrase":{
            "productName":{
                "query":"纯生",
                "slop":5
            }
        }
    }
}

body

{
    "valid": true,
    "_shards": {
        "total": 1,
        "successful": 1,
        "failed": 0
    },
    "explanations": [
        {
            "index": "opcm3",
            "valid": true,
            "explanation": "productName:\"(c chun) (s sheng)\"~5"
        }
    ]
}

可以理解为index=(c or chun) and (s or shuang)

所以c,s 匹配了纯爽

解决办法

分词按最小粒度分 搜索 按最大粒度分

如纯生文档分词为[chun,sheng,chun,sheng,cs,c,s]

搜索分词为[chun,sheng,chunsheng]

一下模型就能满足搜索: 雪花，雪花cs ,雪花chunsheng ,xhcs,xh纯生,雪花纯生 都能正确搜索出数据

{
    "settings": {
        "analysis": {
            "analyzer": {
                "ik_pinyin_analyzer": {
                    "type": "custom",
                    "tokenizer": "ik_smart",
                    "filter": ["pinyin_max_word_filter"]
                },
                "ik_pingying_smark": {
                     "type": "custom",
                     "tokenizer": "ik_smart",
                      "filter": ["pinyin_smark_word_filter"]

                }
            },
            "filter": {
                "pinyin_max_word_filter": {
                    "type": "pinyin",
                    "keep_full_pinyin": "true",#分词全拼如雪花 分词xue,hua
                    "keep_separate_first_letter":"true",#分词简写如雪花 分词xh
                    "keep_joined_full_pinyin":true#分词会quanpin 连接 比如雪花分词 xuehua
                },
                "pinyin_smark_word_filter": {
                    "type": "pinyin",
                    "keep_separate_first_letter": "false",#不分词简写如雪花 分词不分词xh
                    "keep_first_letter":"false"#不分词单个首字母 如雪花 不分词 x,h
                }
            }
        }

    },
    "mappings": {
        "doc": {
            "properties": {
                "productName": {
                    "type": "text",
                    "analyzer": "ik_pinyin_analyzer",#做文档所用的分词器
                    "search_analyzer":"ik_pingying_smark"#搜索使用的分词器
                }
            }

        }

    }
}

解决办法2