32.修改IK分词器源码来基于mysql热更新词库

主要知识点，

• 修改IK分词器源码来基于mysql热更新词库

 
 

一、IK增加新词的原因

在第32小节中学习到了直接在es的词库中增加词语，来扩充自已的词库，但是这样做有以下缺点：

（1）每次添加完，都要重启es才能生效，非常麻烦

（2）es是分布式的，可能有数百个节点，你不能每次都一个一个节点上面去修改

这一小节来学习让es不停机，直接在外部mysql中添加新的词语，es中立即热加载到这些新词语。

 
 

目前业界的热更新的方案：

（1）修改ik分词器源码，然后手动支持从mysql中每隔一定时间，自动加载新的词库

（2）基于ik分词器原生支持的热更新方案，部署一个web服务器，提供一个http接口，通过modified和tag两个http响应头，来提供词语的热更新

常用第一种方案，因为第二种方案很不稳定，ik官方社区都建议第二种方案

 
 

二、修改IK分词器源码步骤

1、下载源码

 
 

https://github.com/medcl/elasticsearch-analysis-ik/tree/v5.2.0

 
 

ik分词器，是个标准的java maven工程，直接导入eclipse就可以看到源码

 
 

2、修改源码

我目前主要学习Python，对Java不是很了解，所以以下的都没有完成。

Dictionary类，169行：Dictionary单例类的初始化方法，在这里需要创建一个我们自定义的线程，并且启动它

HotDictReloadThread类：就是死循环，不断调用Dictionary.getSingleton().reLoadMainDict()，去重新加载词典

Dictionary类，389行：this.loadMySQLExtDict();

Dictionary类，683行：this.loadMySQLStopwordDict();

 
 

3、mvn package打包代码

 
 

target\releases\elasticsearch-analysis-ik-5.2.0.zip

 
 

4、解压缩ik压缩包

 
 

将mysql驱动jar，放入ik的目录下

 
 

5、修改jdbc相关配置

关于mysql的配置，比方说连接地址，端口等。

 
 

6、重启es

 
 

观察日志，日志中就会显示我们打印的那些东西，比如加载了什么配置，加载了什么词语，什么停用词

 
 

7、在mysql中添加词库与停用词

 
 

8、分词实验，验证热更新生效