一.了解几个文件 ll /usr/local/mmseg/etc/mmseg.ini uni.lib 编译后的词库,给sphinx 用的unigram.txt 原词库给人看的, 在这里面人工添加自己的词库 二.添加词条,格式如下 vim /usr/local/mmseg/etc/unigram.txt 邯郸王队 1  //[词条]\t[词频率]x:1  //占位项(x:1即可)工信处 1x:1女干事 1x:1 注意:这里一定要是\t分隔,把词库文件下载下来,然后查看所有字符就知道了,直接vi…

前言 之前写了一篇文章,[输入法]Rime-中州韵 基本设置 附:官方定制指南,其中导入词库这一块引用其它博主的文章,最近发现那个工具链接已经过期了,参考了百度贴吧的说明,不要直接使用工具去导入会更好,这里使用原作者的做法为大家演示下 前提 安装好rime,无论是ibus-rime或fcitx-rime均可 安装好librime-data-wubi 内容 设置词库的方式是引入新文件的方式. 进入rime设置目录,cd ~/.config/fcitx/rime或cd ~/.config/ibus/…

1. 中文分词器 1.1 默认分词器 先来看看ElasticSearch中默认的standard 分词器,对英文比较友好,但是对于中文来说就是按照字符拆分,不是那么友好. GET /_analyze { "analyzer": "standard", "text": "中华人民共和国" } 我们想要的效果是什么:"中华人民共和国"作为一整个词语. 得到的结果是: { "tokens" :…

为什么用Rime 13年底的时候,日本爆出百度的日本版本输入法的问题,要求政府人员停用,没当回事,反正我没用,当然了,有关搜狗和用户隐私有关的问题就一直没有中断过,也没太在意.但,前几天McAfee爆出的某输入法用户敏感数据未加密传输的问题,就让人担心了. 好吧,既然这样,还是卸了第三方的输入法吧,虽然Yosemite自带的输入法已经进步很大了,但是总是用的不顺手,也想念自己多年在搜狗输入法上积累的词库.既然这样,那就只能考虑自己动手丰衣足食的问题了. 有关“Rime鼠须管”输入法,在各类MAC…

原文链接http://blog.csdn.net/whzhaochao/article/details/50130605 IKanalyzer分词器 IK分词器源码位置 http://git.oschina.net/wltea/IK-Analyzer-2012FF IKanalyzer源码基本配置 如图所示是IKanlyzer加载默认配置的路径 项目中配置扩展词库 如图所示,当我们导入Ikanlyzer jar包后,使用扩展词库只需要在项目的src根目录下建立IKAnalyzer.cfg.xml…

SCWS是个不错的中文分词解决方案,词库也是hightman个人制作,总不免有些不尽如人意的地方.有些词语可能不会及时被收入词库中. 幸好SCWS提供了词库XDB导出导入词库的工具(phptool_for_scws_xdb.zip),下载后解压至任意文件夹,我解压至“E:/www/tools/scws_xdb/”目录下.在命令行下进入PHP的安装目录,我的目录是”E:/xampp/php“. 步骤1:执行命令行,将词库先导出来,生成一个文本文件(dict.txt): 命令格式为:php dump…

Solr是一个基于Lucene的Java搜索引擎服务器.Solr 提供了层面搜索.命中醒目显示并且支持多种输出格式(包括 XML/XSLT 和 JSON 格式).它易于安装和配置,而且附带了一个基于HTTP 的管理界面.Solr已经在众多大型的网站中使用,较为成熟和稳定.Solr 包装并扩展了Lucene,所以Solr的基本上沿用了Lucene的相关术语.更重要的是,Solr 创建的索引与 Lucene搜索引擎库完全兼容.通过对Solr 进行适当的配置,某些情况下可能需要进行编码,Solr 可以…

下载IK分词IK Analyzer 2012FF_hf1.zip 下载地址:http://yunpan.cn/cdvATy8899Lrw (提取码:c10d) 1.将IKAnalyzer2012FF_u1.jar包上传到服务器,复制到solr-4.10.4/example/solr-webapp/webapp/WEB-INF/lib目录下 2.在solr-4.10.4/example/solr-webapp/webapp/WEB-INF目录下创建目录classes,然后把IKAnalyzer.c…

如何为Linux增加库一． 静态库在Linux下的静态库是以.a为后缀的文件.1． 建静态库h1.c 源文件#include<stdio.h>void hello1(){printf(“the first hello!\n”);}h2.c 源文件#include<stdio.h>void hello2(){printf(“the second hello!\n”);}2．主程序hello.c 源文件#include<stdio.h>int main(){hello1()…

由于项目中要用到词库,而下载的搜狗词库是.scel格式,所以就用python脚本将搜狗词库.scel格式文件转化为.txt格式文件. #!/bin/python # -*- coding: utf-8 -*- import struct import sys import binascii import pdb try: reload(sys) sys.setdefaultencoding('utf-8') except: pass # 搜狗的scel词库就是保存的文本的unicode编码,每两…