3.Lucene3.x API分析，Director 索引操作目录，Document，分词器



1  Lucene卡发包结构分析

包名	功能
org.apache.lucene.analysis	Analysis提供自带的各种Analyzer
org.apache.lucene.collation	包含collationKeyFilter和collationKeyAnalyzer两个相同功能的类，将所有token转为CollationKey，与IndexableBinaryStringTools一起存为term
org.apache.lucene.document	Document包中是Document相关各种数据结构，如Document类，Field类等
org.apache.lucene.index	index包中是索引的读写操作类，常用的是对索引文件的segment进行写、合并和优化的IndexWriter类和对索引进行读取和删除操作的IndexReader类
org.apache.lucene.queryParser	queryParser包中是解析查询语句相关的类（常用的是QueryParser类）
org.apache.lucene.search	检索管理，根据查询条件，检索得到结果search包中是从索引中进行搜索的各种不同的Query类(如TermQuery、BooleanQuery等)和搜索结果集Hits类
org.apache.lucene.store	store包中是索引的存储相关类，如Directory类定义了索引文件的存储结构，FSDirectory是存储在文件系统（即磁盘）中的索引存储类，RAMDirectory为存储在内存中的索引存储类
org.apache.lucene.util	util包中是公共工具类，例如时间和字符串之间的转换工具

2  Director
索引操作目录

FSDirectory :磁盘路径，在磁盘中创建文件索引库

RAMDirectory:内存路径，指在内存中创建文件索引库

//当前工程index目录，相对路径

FSDirectory.open(new
File("index"));

//绝对路径

FSDirectory.open(new
File("d:\\index"));

//在类路径下创建

FSDirectory.open(new
File(LuceneTest.class.getResource("/").getFile()));

//内存路径

RAMDirectory
directory = new RAMDirectory();

3
 分词器(主要要完全搜索的不要分词，比如当查询书的书号时不分词)

Analyzer 分词器

new StandardAnalyzer(Version.LUCENE_36); //建立标准分词器，对于汉子采用单自分词

4 
Document索引中文对象，Field文档内部数据信息

每个数据对象，对应一个Document对象

对应一个属性，对应一个Field对象

newField(fieldname,value,Store,Index); 
将数据建立索引库Field，Store决定是否存储，Index决定是否索引分词

Store.YES
存储
、Store.NO 
不存储

Index.NO 
不建立索引

Index.ANALYZED
分词建立索引  
保存权重信息

Index.NOT_ANALYZED
不分词建立索引

Index.ANALYZED_NO_NORMS 
分词建立索引，不存放权重信息

Index.NOT_ANALYZED_NO_NORMS
不分词建立索引，不存放权重信息

Document document =
new Document();

document.add(new
Field("id", article.getId() +
"", Store.YES,

Index.NOT_ANALYZED));//对于id通常不分词的

document.add(newField("title",article.getTitle(),Store.YES,Index.ANALYZED));

document.add(new
Field("content", article.getContent(), Store.YES,Index.ANALYZED));

@Test

//
查询索引库,查看norms效果

public
void testQuery()
throws Exception {

//
建立Query对象--根据标题

String queryString = "Lucene";

//
第一个参数，版本号

//
第二个参数，字段

//
第三个参数，分词器

Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_36);

QueryParser queryParser = new QueryParser(Version.LUCENE_36,
"content",

analyzer);

Query query = queryParser.parse(queryString);

//
根据Query查找

//
索引目录位置

Directory directory = FSDirectory.open(new
File("index"));

IndexSearcher indexSearcher = new IndexSearcher(

IndexReader.open(directory));

//
条数据

TopDocs topDocs = indexSearcher.search(query, 100);

System.out.println("满足结果记录条数："
+ topDocs.totalHits);

//
获取结果

ScoreDoc[] scoreDocs = topDocs.scoreDocs;

for (int
i = 0; i < scoreDocs.length; i++) {

//
先获得Document下标

int docID = scoreDocs[i].doc;

Document document = indexSearcher.doc(docID);

System.out.println("得分："
+ scoreDocs[i].score);

System.out.println("id:"
+ document.get("id"));

System.out.println("title:"
+ document.get("title"));

System.out.println("content:"
+ document.get("content"));

}

indexSearcher.close();

}

运行结果：

是否分词，
根据业务查找条件决定

是否存储，
根据业务是否需要返回结果数据
决定

norm是按照词频计算的

问题：Index.ANALYZED　和　Index.ANALYZED_NO_NORMS　区别　

Index.ANALYZED　会保存权重信息

Index.ANALYZED_NO_NORMS　不会保存权重信息

权重会影响得分，得分计算排名，
搜索技术搜索结果
一定要进行排序，按照得分

*
不保存norm值，默认按照 1.0
计算

* norm
是按照词条数
计算，值<= 1

index.ANALYZED_NO_NORMS
效率会高一些

4
索引创建过程

分词器Analyzer

目录Directory

进入索引写入，必须使用IndexWriter,但是在初始化IndexWriter过程中，对目标索引库加锁。

当试图对一个索引库创建多个IndexWriter时，报异常

org.apache.lucene.util.SetOnce$AlreadySetException:The object cannot be set twice!

*使用同一 indexWriterConfig
两次

org.apache.lucene.store.LockObtainFailedException:Lock obtain timed out:NativeFSLock@D:\work\javaee20130408\lucene3_day1\index\write.lock

*试图创建第二个IndexWriter
，第一个IndexWriter
还没有关闭，锁文件还在

问题：如果两个线程同时对一个索引库操作怎么办？---解决办法：只能使用同一个IndexWriter对象