Ansj的使用和相关资料下载参考:http://iamyida.iteye.com/blog/2220833 参考 http://www.cnblogs.com/luxh/p/5016894.html  配置和solr和tomcat的 1.从http://iamyida.iteye.com/blog/2220833下载好Ansj需要的相关的资料,下面是已下载好的. Ansj资料: http://pan.baidu.com/s/1kTLGp7L 2.复制ansj相关文件到solr项目中 1)将an…

最近特别喜欢用Pig,拥有能满足大部分需求的内置函数(built-in functions),支持自定义函数(user defined functions, UDF),能load 纯文本.avro等格式数据:illustrate看pig执行步骤的结果,describe看alias的schema:以轻量级脚本形式跑MapReduce任务,各种爽爆. 1. Word Count 较于中文,英文比较工整,可以根据空格.标点符号进行分词. A = load '/user/.*/req-temp/text…

在上一节[编译Ansj之Solr插件]中介绍如何编译ansj分词在solr(lucene)环境中使用的接口,本章将介绍如何在solr中使用ansj,其步骤主要包括:下载或者编译ansj和nlp-lang等jar包.在schema中配置相关类型.将ansj和nlp-lang等jar包配置到solr中.测试ansj分词效果. 一.下载或者编译ansj-seg和nlp-lang等jar包.  1.您可以到 http://maven.ansj.org/org/ansj/ansj_seg/  | http…

Ansj是一个比较优秀的中文分词组件,具体情况就不在本文介绍了.ansj作者在其官方代码中,提供了对lucene接口的支持.如果用在Solr下,还需要简单的扩展一下. 1.基于maven管理 ansj是基于maven进行开发管理的.我们首先修改一下其pom.xml,具体如下所示: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-i…

http://www.hankcs.com/nlp/ansj-word-pairs-array-tire-tree-achieved-with-arrays-dic-dictionary-format.html arrays.dic是一个双数组Trie树格式的词典,用文本的形式储存了索引,字串,base,check,status与词性. 一个直观的图示: index就是base数组中的下标. term是词的当前状态,不一定代表一个词,如“一举一”是“一举一动”的前缀. base是base数组的值…

=.= 折腾死 ①你想要http://maven.ansj.org/org/ansj/ansj_seg/找一个尽可能高的版本号,比方2.0.7,点进去之后找到相应的jar,比方ansj_seg-2.0.7.jar ②然后.http://maven.ansj.org/org/nlpcn/nlp-lang/在这个页面相同找一个尽可能高的版本号.比方0.3/ ,点进去之后.下载相应的jar,比方nlp-lang-0.3.jar →在project里导入这两个jar例如以下图 ③jdk选1.7吧,免得1…

Ansj是由孙健(ansjsun)开源的一个中文分词器,为ICTLAS的Java版本,也采用了Bigram + HMM分词模型(可参考我之前写的文章):在Bigram分词的基础上,识别未登录词,以提高分词准确度.虽然基本分词原理与ICTLAS的一样,但是Ansj做了一些工程上的优化,比如:用DAT高效地实现检索词典.array + linked-list方式实现分词DAG.支持自定义词典与自定义消歧义规则等. 1. 前言 Ansj支持多种分词方式,其中ToAnalysis为店长推荐款: 它在易用…

我在做一个solr的项目,分词选定了ansj分词. 选择ansj的原因: 1)身边若干朋友的念叨,说是效果不错 2)网上看了若干评论,说是不错 3)自己尝试了一些case,觉得确实不错. 好了,项目中选择了ansj2.0.7-min.jar作为实际使用的版本. 结果...愿望是美好的,现实是残酷的. 碰到了若干case,效果不好(使用IndexAnalysis): 1)上海马勒别墅 切分结果:(上/海马/勒/别墅) 预期结果:(上海/马勒/别墅) 调试了一下,在构建Graph的时候没有问题,问题…

一.前言 之前做solr索引的时候就使用了ANSJ进行中文分词,用着挺好,然而当时没有写博客记录的习惯.最近又尝试了好几种JAVA下的中文分词库,个人感觉还是ANSJ好用,在这里简单总结之. 二.什么是中文分词 百度百科对其定义如下: 中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词.分词就是将连续的字序列按照一定的规范重新组合成词序列的过程.我们知道,在英文的行文中,单词之间是以空格作为自然分界符的,而中文只是字.句和段能通过明显的分界…

1.前言 ansj人名识别会用到两个字典,分别是:person/asian_name_freq.data.person/person.dic. 1.1.asian_name_freq.data 这是一个二进制文件,序列化了一个Map对象.该对象的key为词,value是大小为3的数组.例如: 罗=[[644, 40], [2048, 140, 74], [19, 28, 39, 29]] value数组各元素分别是大小为2.3.4的数组,分别表示在2字姓名.3字姓名.4字姓名中第1-2,1-3,…