[Sphinx]全文索引Sphinx的使用配置

--------------------------------------------------------------------------------------

搜索分为两种：

　　1. 对结构化数据搜索：SQL语句对数据库中存储的内容进行查询。

　　2. 对非结构化数据搜索：文本，图片，全文搜索。

全文检索分为两类：

　　1. 顺序扫描：如SQL中的LIKE查询或regexp正则查询。

　　2. 索引扫描：将非结构化数据提取部分（如：词组）后进行重组，使其机构化，这些提取出的数据即索引。

使用索引的全文检索包括两个过程：

　　1. 索引创建（Index）：将内容中的词组 与 文本的ID提取出来，创建一张索引表。

　　2. 搜索索引（Search）：将搜索内容拆分成词组，去索引表中匹配ID，查出文本内容。

　　

如何创建索引：

　　1. 将需要创建索引的文档交给分词组件（Tokenizer）；

　　　　分词组件所做的事：将文档生成单独的单词，去除标点符号，去除停词(the, a, 的, 是)；每种语言的分词组件都有一个停词集合，

　　　　经过分词组件后得到的结果成为词元。

　　2. 将得到的词元（Token）传给语言处理组件（Linguistic Processer）；

　　　　语言处理组件对得到的词元进行同语言处理：如，英文变为小写（Lowercase），将单词缩减为词根形式，如“cars”到“car”等（stemming），将单词转变为词根形式，如“drove”到“drive”（lemmatization），

　　3. 将得到的词（Term）传给索引组件（Indexer）；

　　　　索引组件主要做以下几件事：利用得到的词（Term）和文档ID，创建一个字典，对字典按字母顺序排序，合并相同的词成为文档倒排（Posting List）链表。

如何对索引进行搜索：

　　1. 输入查询语句，提交给Sphinx。

　　2. Sphinx对查询语句进行词法分析，语法分析及语言处理。

　　3. 搜索索引，得到符合语法树的文档。

　　4. 根据得到的文档和查询语句的相关性，对结果排序。

Sphinx是SQL Parse Index（查询词组索引）缩写，基于SQL的全文检索引擎。Coreseek支持中文的全文检索引擎。

Sphinx的优点：

高速的建立索引（在当代CPU上，可达到10M/秒）

高性能的搜索（在2-4G的文本数据上，平均每次检索响应时间小于0.1秒）

可处理海量数据（目前已知可以处理超过100GB的文本数据，在单一CPU的系统上可处理100M的文档）；

提供了优秀的相关度算法，基于短语相似度和统计BM2的复合Ranking方法；

支持分布式搜索；

提供文档片段（摘要以及高亮）生成功能；

可作为MySQL的存储引擎提供搜索服务；

支持布尔、短语、词语相似度等多种检索方式；

文档支持多个全文检索字段（最大不超过32个）；

Sphinx的缺点：

必须要有主键

主键必须为整形

不负责数据存储

配置不灵活

Sphinx的使用：

1. 下载Sphinx：

wget http://sphinxsearch.com/files/sphinx-2.2.8-release.tar.gz

编译安装：

cd /public/sphinx-2.2.8

./configure --prefix=/usr/local/sphinx --with-mysql=/usr/local/mysql

（rpm安装的mysql: ./configure --prefix=/usr/local/sphinx --with-mysql=/usr）

make && make install

安装完毕得到四个目录：

bin：存放命令，indexer索引组件，searchd进程

etc：配置文档

var：存放索引表

创建数据库表：

show database;　　//查看所有数据库

create database test;

create table post(

　　id int unsigned auto_increment primary key,

　　title varchar(255) not null default '',

　　content text default NULL

)engine=myisam default charset=utf8;

desc post;　　//查看表结构

insert into post(title, content) values("linux", "linux11111");

2. 配置Sphinx：

cd /usr/local/sphinx/etc/

cp sphinx.conf.dist sphinx.conf　　//备份配置文件，防止改错

vim sphinx.conf

配置文件结构：

# 主数据源，（main名字可更改）
source main{
　　type　　　　 = mysql　　　　#数据库类型
　　sql_host　　= localhost　　#MySQL主机IP
　　sql_user　　= test　　　　　#MySQL用户名
　　sql_pass　　=　　　　　　　　#MySQL密码
　　sql_db　　　= test　　　　　#MySQL数据库
　　sql_port　　= 3306　　　　　#MySQL端口
　　sql_sock　　= /tmp/mysql.sock　　　　#Linux下需要开启，指定sock文件
　　sql_query_pre = SET NAMES utf8　　　#MySQL检索编码
　　sql_query_pre = SET SESSION query_cache_type=OFF #关闭缓存
　　sql_query = \　　　　　　　　　　　　　#获取数据的SQL语句
　　　　SELECT id, title, content FROM post

　　# 以下是用来过滤或条件查询的属性，这里列出的字段将可以进行条件查询，同时不参与全文检索
　　#sql_attr_uint = group_id
　　#sql_attr_timestamp = date_added
　　
}

# 增量数据源(inherited source), 继承主数据源
source src1throttled : main{
}

# 主索引(local index)，（main名字可更改）
index main{
　　source　　= main　　# 指定主数据源
　　path　　　= /usr/local/sphinx/var/data/main　　# 索引路径
}

# 增量索引(inherited index)
index test1stemmed : test1{
}

# 分布式索引(distributed index）
index dist1{
}

# 实时索引(realtime index)
index rt{
}

# 索引器设置，（调整最小内存到最佳）
indexer{
　　mem_limit = 256M　　#内存大小限制，默认128M，推荐256M
　　　　　　　　　　　　　 #其它用默认即可
}

# 服务进程设置，（监听端口号）
searched{
　　#全部默认即可，默认端口号就是9312
}

# 公共配置
common{

}

:set nu　　　　　　　 //显示行号，:set nonu取消行号

:311,314s/^/#/g　　//注释增量数据源

:628,632s/^/#/g　　//注释增量索引

:639,696s/^/#/g　　//注释分布式索引

3. 创建索引：

创建索引命令：indexer

-c　　　　　指定配置文件

--all　　　　对所有索引重新编制索引

--rotate　　用于轮换索引，在不停止服务的时候（searchd运行时）增加索引；searchd运行时不加会报错。

--merge　　合并索引，增量索引合并到主索引的时候用

生成全部索引： /usr/local/sphinx/bin/indexer -c /usr/local/sphinx/etc/sphinx.conf --all

或指定索引(例如main)： /usr/local/sphinx/bin/indexer -c /usr/local/sphinx/etc/sphinx.conf main

（1）如果这里出现报错：

【ERROR: index 'main': sql_connect: Can't connect to local MySQL server through socket '/tmp/mysql.sock'】

没找到/tmp/mysql.sock, 通过find / -name mysql.sock -print查找到位置，在配置sphinx.conf里更改正确。

如：mysql_sock = /var/lib/mysql/mysql.sock 保存退出。

（2）继续创建索引，警告：

【WARNING: Attribute count is 0: switching to none docinfo】

改sphinx.conf里的docinfo = none就没有警告了。（http://sphinxsearch.com/docs/current.html#conf-docinfo）

创建索引出现如下提示，表示生成成功：

上面总共是4条数据.

4. 启动Sphinx:

　　重建索引：./searchd -c /usr/local/sphinx/etc/sphinx.conf

　　轮换索引： ./searchd -c /usr/local/sphinx/etc/sphinx.conf goods_list --rotate

　　　　　　　 ./searchd -c /usr/local/sphinx/etc/sphinx.conf store_list --rotate

　　停止服务：./searchd -c /usr/local/sphinx/etc/sphinx.conf --stop

Link：http://www.cnblogs.com/farwish/p/3961962.html

@黑眼诗人　<farwish.com>