开源中文分词框架分词效果对比smartcn与IKanalyzer 项目背景: 某银行呼叫中心工单数据挖掘和分析项目,旨在利用文本计算实现热点聚焦和舆情分析. 一.引言: 中文分词一直是自然语言处理的一个痛处,早在08年的时候,就曾经有项目涉及到相关的应用(Lunce构建全文搜索引擎),那时的痛,没想到5年后的今天依然存在,切分效果.扩展支持.业务应用等方面依然不甚理想.收费的版本不提了,原因自不必言表,开源版本中,发现之前曾经活跃的版本,大多已经没落(好几年没更新了),存活下来的寥寥无几.我是一…

一.引言: 中文分词一直是自然语言处理的一个痛处,早在08年的时候,就曾经有项目涉及到相关的应用(Lunce构建全文搜索引擎),那时的痛,没想到5年后的今天依然存在,切分效果.扩展支持.业务应用等方面依然不甚理想.收费的版本不提了,原因自不必言表,开源版本中,发现之前曾经活跃的版本,大多已经没落(好几年没更新了),存活下来的寥寥无几.我是一个守旧的人,评估版本的选择有些保守,至少目前为止,只看1.0正式版本之后的版本,0.XX的不在考虑范围之内,用了一个周末的时间,对比了十多款的样子,个人感觉源…

lucene 是开源搜索引擎 solr 是基于 lucene开发的搜索引擎 IK 是中文分词. lucene 不是一个搜索引擎,只是一个基础的文件索引工具包,或者叫“搜索引擎开发包”.不能单独作为程序运行,但是可以使用它来开发搜索引擎.你可 以认为它就是一个普通开发包.必须用它开发自己的应用后才能 运行.lucene定义了并处理索引数据的数据结构,在disk上的分布等.提供创建和读取 索引文件的接口. 索引文件是lucene用于存放索引数据的真正位置. 而solr就是一个基于lucene开发包开…

昨天已经在Tomcat容器中成功的部署了solr全文检索引擎系统的服务:今天来分享一下solr服务在海量数据的网站中是如何实现数据的检索. 在solr服务中集成IKAnalyzer中文分词器的步骤: 1.下载IKAnalyzer分词器的压缩包并解压: 2.将IKAnalyzer压缩包中的jar包复制到Tomcat容器中已经部署的solr项目中的WEB-INF/lib目录下: 3.在Tomcat容器的solr项目中的WEB-INF/目录创建一个classes目录(默认该目录是不存在的,需手动创建)…

我们的项目中中文切词使用的是mmseg,有一个不满意的地方是jar包中的默认词典一定会被加载进去,当我对有些term有意见时,无法删除. mmseg中Dictionary.java里一段代码保证了/data/words.dic的加载,我无法提供自己的进行替换. //try load words.dic in jar InputStream wordsDicIn = this.getClass().getResourceAsStream("/data/words.dic"); if(wo…

首先IntelliJ IDEA中搭建Maven项目(web):spring+SpringMVC+Lucene+IKAnalyzer spring+SpringMVC搭建项目可以参考我的博客 整合Lucene 4.9.0 pom.xml添加lucene依赖 properties标签添加<lucene.version>4.9.0</lucene.version> dependencies添加: <!-- lucene start --> <dependency>…

1.后缀名.dic的词典文件,必须如使用文档里所说的 无BOM的UTF-8编码保存的文件.如果不确定什么是 无BOM的UTF-8编码,最简单的方式就是 用Notepad++编辑器打开,Encoding->选择 Encoding in UTF-8 without BOM,然后保存.2.项目preferences 里 编码选择 utf8.3.词典和IKAnalyzer.cfg.xml配置文件的路径问题.IKAnalyzer.cfg.xml必须在src根目录下.文件前面一定不要加/,否则是绝对路径找不…

solr中文分词器ik, 推荐资料:http://iamyida.iteye.com/blog/2220474?utm_source=tuicool&utm_medium=referral 使用ik的官方jar包总是有一些问题,个人使用上面博客中共享出来的jar包, 1.将jar包放在solrhome\server\solr-webapp\webapp\WEB-INF\lib下 2.将IKAnalyzer.cfg.xml和stopword.dic copy到solrhome\server\sol…

paip.禁用IKAnalyzer 的默认词库.仅仅使用自定义词库. 作者Attilax  艾龙,  EMAIL:1466519819@qq.com  来源:attilax的专栏 地址:http://blog.csdn.net/attilax ver:2012 IKAnalyzer 的默认词库的匹配度可能不好..可以使用扩展词库... 但是,更好的办法是,禁用IKAnalyzer 的默认词库.仅仅使用自定义词库. 需要实现Configuration接口,实现getMainDictionary以及…

我用的Solr是4.10版本, 在csdn下载这个版本的IKAnalyzer:IK Analyzer 2012FF_hf1.zip 解压后目录如下: (1)这里还用solr自带的example实验分词效果,在如下的WEB-INF目录新建classes文件夹, 将IKAnalyzer.cfg.xml和stopword.dic拷贝到classes文件夹里面 (2)将IKAnalyzer2012FF_u1.jar拷贝到lib文件夹里面 (3)修改example\solr\collection1\con…