Sphinx-简介及原理

1.Sphinx简介

　　是一款基于SQL的高性能全文检索引擎(还不支持NoSQL), 主要优点有:

　　　　1).创建和重建索引迅速

　　　　2).大数据量时检索速度较快

　　　　3).为很多脚本语言设计了检索API(如PHP, Python, Perl, Ruby), 很方便地调用Sphinx的相关接口对数据库进行查询

　　　　4).为MySQL, PostgreSQL等设计了存储引擎插件, 可以很方便的使用

　　　　5).支持分布式搜索, 可以横向扩展系统性能

　　缺点:

　　　　必须要有主键, 且主键为整型

　　　　不负责数据存储

　　　　配置不灵活

　　Coreseek, 支持中文的全文检索引擎(即支持中文分词的Sphinx = Sphinx + mmseg)

2.搜索方式的改变

　　旧有搜索方式

　　　　PHP -> MySQL

　　Sphinx搜索方式

　　　　PHP -> Sphinx <-> MySQL

　　　　搜索词, 得到文档ID, 拿ID去MySQL中查询对应ID文档的信息

3.什么是全文检索

　　数据分类

　　　　结构化数据: 指具有固定格式或有限长度的数据, 如数据库, 元数据等

　　　　非结构化数据: 指没有固定格式或不定长的数据, 也叫全文数据

　　搜索分类

　　　　对结构化数据的搜索: 如对数据的数值、 时间等进行搜索, 对Windows的文件名、类型的搜索等

　　　　对非结构化数据的搜索: Linux下的grep命令等, 对非结构化的数据的搜索也叫对全文数据的搜索

　　全文数据的搜索分类

　　　　顺序扫描: 从头到尾的找, 如Like查找

　　　　索引扫描: 把非结构化数据中的内容提取出来一部分重新组织, 让它变的有结构化, 这部分提取出来的数据就叫做索引

　　全文索引:是指计算机索引程序通过扫描文档中的每个词, 对每个词建立索引, 记录在文档中的位置及次数, 当用户查询时,直接搜索索引, 并返回结果的检索方式

4.Sphinx的步骤

　　1.索引创建

　　　　Sphinx即对记录进行分词, 并记录下词所在记录ID, 创建索引表

　　2.搜索索引

　　　　当请求来时, 会对请求的词进行分词, 查找索引表, 返回对应的记录ID

　　1.MySQL中创建文档(记录)

　　2.把文档传给分词组件(Tokenizer), 分词组件把文档分成一个个单独的单词(), 去除标点符号, 去除停词(stop word)(the, a, this等), 每种分词组件都会有一个停词集合, 分词组件处理完毕后我们便得到词元(Token)

　　3.把词元传给语言处理组件(Linguistic Processor), 将大写变为小写, 复数缩减为单数形式, 过去时等变为普通词根, 得到词(Term), 所以搜索 drove, 也会搜索到 drive

　　4.将词传给索引组件(Indexer), 利用得到的词创建一个字典, 对字典按字母顺序进行排序, 去除重复值

　　　　1).创建字典, 并排序, ID表示记录的ID

　　　　　　Term    ID

　　　　　　allow 　 1

　　　　　　student 1

　　　　　　student 1

　　　　　　student 2

　　　　　　

　　　　2).去除重复值

　　　　　　Term　　　　Document Frequency

　　　　　　allow　　　   1 ->(指向一个链表, (Document ID 1, Frequency 1))

　　　　　　student　　  2 ->(指向一个链表, (Document ID 1, Frequency 2) -> (DocumentID 2, Frequency 1))

总结