Lucene学习

一、全文索引的原理

数据存在形式：

1、结构化数据： 指具有固定格式或有限长度的数据，如数据库，元数据等。

2、非结构化数据（全文数据）： 指不定长或无固定格式的数据，如邮件，word文档等。

3、半结构化数据：如XML，HTML等，当根据需要可按结构化数据来处理，也可抽取出纯文本按非结构化数据来处理。

数据形式不同搜索的形式也将不同：

1、对结构化数据的搜索 ：如对数据库的搜索，用SQL语句。再如对元数据的搜索，如利用windows搜索对文件名，类型，修改时间进行搜索等。

2、对非结构化数据的搜索 ：如利用windows的搜索也可以搜索文件内容，Linux下的grep命令，再如用Google和百度可以搜索大量内容数据。

对非结构化数据也即对全文数据的搜索主要有两种方法：

1、顺序扫描法：

　　就是一个文档一个文档的看，对于每一个文档，从头看到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。

2、全文检索：

　　对非结构化数据顺序扫描很慢，对结构化数据的搜索却相对较快（由于结构化数据有一定的结构可以采取一定的搜索算法加快速度），那么把我们的非结构化数据想办法弄得有一定结构不就行了吗？这种想法很天然，却构成了全文检索的基本思路，也即将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。

这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引 。

这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search) 。

顺序扫描是每次都要扫描，而创建索引的过程仅仅需要一次，以后便是一劳永逸的了，每次搜索，创建索引的过程不必经过，仅仅搜索创建好的索引就可以了

二、全文索引的步骤

1、索引创建：将现实世界中所有的结构化和非结构化数据提取信息，创建索引的过程。

2、搜索索引：就是得到用户的查询请求，搜索创建的索引，然后返回结果的过程

　　因此全文检索实际就是解决这三个重要问题：

　　　　1. 索引里面究竟存些什么？(Index)

　　　　2. 如何创建索引？(Indexing)

　　　　3. 如何对索引进行搜索？(Search)

三、Lucene流程图

1. 索引过程：

1) 有一系列被索引文件

2) 被索引文件经过语法分析和语言处理形成一系列词(Term) 。

3) 经过索引创建形成词典和反向索引表。

4) 通过索引存储将索引写入硬盘。

2. 搜索过程：

a) 用户输入查询语句。

b) 对查询语句经过语法分析和语言分析得到一系列词(Term) 。

c) 通过语法分析得到一个查询树。

d) 通过索引存储将索引读入到内存。

e) 利用查询树搜索索引，从而得到每个词(Term) 的文档链表，对文档链表进行交，差，并得到结果文档。

f) 将搜索到的结果文档对查询的相关性进行排序。

g) 返回查询结果给用户。

Lucene的各组件：

• 被索引的文档用Document对象 表示。
• IndexWriter 通过函数addDocument 将文档添加到索引中，实现创建索引的过程。
• Lucene 的索引是应用反向索引。
• 当用户有请求时，Query 代表用户的查询语句。
• IndexSearcher 通过函数search 搜索Lucene Index 。
• IndexSearcher 计算term weight 和score 并且将结果返回给用户。
• 返回给用户的文档集合用TopDocsCollector 表示。

推荐博文：http://blog.chinaunix.net/uid-22679909-id-1771454.html