IK 分词器

目录

• IK 分词器-介绍
• IK 分词器-安装
  • 环境准备：Maven
  • 安装 IK 分词器
• IK 分词器-使用

IK 分词器-介绍

现有问题：ES 默认对中文分词并不友好，实际上是把中文进行了每个字的分词。

# 查看ES对中文的默认分词
GET /_analyze
{
  "analyzer": "standard",
  "text": "乒乓球明年总冠军"
}

# 分词结果，是将“乒乓球明年总冠军”拆分成了“乒”、“乓”、“球”、“明”、“年”、“总”、“冠”、“军”

对此，通常我们需要为 ES 加入友好的中文分词器，如 IKAnalyzer 。

• IKAnalyzer 是一个开源的、基于 Java 语言开发的、轻量级的中文分词工具包。

• 是一个基于 Maven 构建的项目。

• 具有 60 万字/秒的高速处理能力。

• 支持用户词典扩展定义。

• 下载地址：https://github.com/medcl/elasticsearch-analysis-ik/archive/v7.4.0.zip

IK 分词器-安装

环境准备：Maven

ElasticSearch 要使用 IK，就要先构建 IK 的 jar 包，这里要用到 Maven 包管理工具，而 Maven 需要 Java 环境，而 ElasticSearch 内置了 JDK， 所以可以将 JAVA_HOME 设置为ElasticSearch 内置的 JDK 。

1）设置 JAVA_HOME

vi /etc/profile
# 在profile文件末尾添加
#java environment
export JAVA_HOME=/opt/elasticsearch-7.4.0/jdk
export PATH=$PATH:${JAVA_HOME}/bin

# 保存退出后，重新加载profile
source /etc/profile

2）下载 Maven 安装包

wget https://mirrors.aliyun.com/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz

3）解压 Maven 安装包

tar xzf apache-maven-3.1.1-bin.tar.gz

4）设置软连接

ln -s apache-maven-3.1.1 maven

5）设置 path

• 打开文件：

vi /etc/profile.d/maven.sh

• 将下面的内容复制到文件，保存：

export MAVEN_HOME=/opt/maven
export PATH=${MAVEN_HOME}/bin:${PATH}

• 设置好 Maven 的路径之后，需要运行下面的命令使其生效：

source /etc/profile.d/maven.sh

6）验证 Maven 是否安装成功

mvn -v

7）将 Maven 镜像下载换成阿里云

vi /opt/apache-maven-3.1.1/conf/setting.xml

	<mirror>
        <id>alimaven</id>
        <name>aliyun maven</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <mirrorOf>central</mirrorOf>
    </mirror>

安装 IK 分词器

1）下载 IK

wget https://github.com/medcl/elasticsearch-analysis-ik/archive/v7.4.0.zip

2）解压 IK

# 如果本机环境没有安装 unzip
yum install zip
yum install unzip
# 解压 IK
unzip v7.4.0.zip

3）编译 jar 包

# 切换到 elasticsearch-analysis-ik-7.4.0目录
cd elasticsearch-analysis-ik-7.4.0/
#打包
mvn package

4） jar 包移动

• package 执行完毕后会在当前目录下生成 target/releases 目录，将其中的 elasticsearch-analysis-ik-7.4.0.zip 拷贝到 ElasticSearch 目录下的新建的目录 plugins/analysis-ik，并解压：

#切换目录
cd /opt/elasticsearch-7.4.0/plugins/
#新建目录
mkdir analysis-ik
cd analysis-ik
#执行拷贝
cp -R /opt/elasticsearch-analysis-ik-7.4.0/target/releases/elasticsearch-analysis-ik-7.4.0.zip /opt/elasticsearch-7.4.0/plugins/analysis-ik
#执行解压
unzip /opt/elasticsearch-7.4.0/plugins/analysis-ik/elasticsearch-analysis-ik-7.4.0.zip

5）拷贝辞典

• 将 elasticsearch-analysis-ik-7.4.0目录下的 config 目录中的所有文件拷贝到 elasticsearch 的 config 目录：

cp -R /opt/elasticsearch-analysis-ik-7.4.0/config/* /opt/elasticsearch-7.4.0/config

6）重启 ElasticSearch

IK 分词器-使用

IK分词器有两种分词模式：ik_max_word 和 ik_smart 模式

# ik_max_word：会将文本做最细粒度的拆分。
GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "乒乓球明年总冠军"
}
# 分词结果：“乒乓球”、“乒乓”、“球”、“明年”、“总冠军”、“冠军”

# ik_smart：会做最粗粒度的拆分
GET /_analyze
{
  "analyzer": "ik_smart",
  "text": "乒乓球明年总冠军"
}
# 分词结果：“乒乓球”、“明年”、“总冠军”

由结果看出，IK 的分词效果达到我们对中文分词的要求。