Lucene IndexReader,IndexWriter,IndexSearcher 缓存应用
1.IndexManager类,用于提供IndexReader,IndexWriter,IndexSearcher获取接口
import java.io.File;
import java.io.IOException;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.IndexWriterConfig.OpenMode;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;
publicclass IndexManager{
/**
*所有writer公共配置
*/
privatestaticfinal IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_44, newStandardAnalyzer(Version.LUCENE_44));
static {
iwc.setOpenMode(OpenMode.CREATE_OR_APPEND);
iwc.setRAMBufferSizeMB(20.0);
iwc.setMaxBufferedDocs(10000);
}
private Directory dir;
private IndexReader reader;
private IndexSearcher searcher;
private IndexWriter writer;
/**
*构造函数
*@paramindexPath
*/
public IndexManager(String indexPath) {
init(new File(indexPath));
}
/**
*构造函数
*@paramindexPath
*/
public IndexManager(File dirFile) {
init(dirFile);
}
privatevoid init(File dirFile) {
try {
dir = FSDirectory.open(dirFile);
//根据Directory对象,初始化indexReader对象
ReaderManager.getInstance().createIndexReader(dir);
//初始化writer对象
writer = new IndexWriter(dir, iwc);
} catch (IOException e) {
e.printStackTrace();
}
}
public IndexSearcher getSearcher() {
IndexReader ir = ReaderManager.getInstance().getIndexReader(dir);
if(reader == null || reader != ir)
{
reader = ir;
searcher = new IndexSearcher(reader);
}
returnsearcher;
}
public IndexWriter getWriter() {
returnwriter;
}
publicvoid commitWriter()
{
try {
writer.commit();
} catch (IOException e) {
rollback();
}
}
privatevoid rollback() {
try {
writer.rollback();
} catch (IOException e1) {
e1.printStackTrace();
}
}
}
2.ReaderManager类,用于提供IndexReader生命周期管理
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
import java.util.Timer;
import java.util.TimerTask;
import java.util.Map.Entry;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.store.Directory;
/**
*IndexReader生命周期,以及改变后reopen管理类
*@authoradmin
*
*/
publicclass ReaderManager {
/**
*reader回收Map
*/
privatestaticfinal Map<DirectoryReader, Long> recyleReaderMap = new HashMap<DirectoryReader, Long>();
/**
*oldreader回收最大生命周期
*/
privatestaticfinalintoldReaderMaxLifeTime = 60 * 1000;
privatestaticfinal Timer readerRefereshTimer = new Timer();
privatestaticfinal Map<Directory, DirectoryReader> readerMap = newHashMap<Directory, DirectoryReader>();
privatestaticfinal ReaderManager manager = new ReaderManager();
publicstaticfinalsynchronized ReaderManager getInstance()
{
returnmanager;
}
/**
*创建indexReader并放缓存
*@paramreader
*/
publicsynchronizedvoid createIndexReader(Directory dir)
{
try {
readerMap.put(dir, DirectoryReader.open(dir));
} catch (IOException e) {
e.printStackTrace();
}
}
/**
*获取IndexReader
*@paramdir
*@return
*/
public IndexReader getIndexReader(Directory dir)
{
returnreaderMap.get(dir);
}
static
{
readerRefereshTimer.schedule(new TimerTask(){
publicvoid run() {
//判断处理reader是否改变
for (Entry<Directory, DirectoryReader> entry : newHashMap<Directory, DirectoryReader>(readerMap).entrySet()) {
try {
DirectoryReader oldReader = entry.getValue();
DirectoryReader newReader = DirectoryReader.openIfChanged(oldReader);
if(newReader != null)
{
//替换旧reader对象
readerMap.put(entry.getKey(), newReader);
//放入回收MAP中
recyleReaderMap.put(oldReader, System.currentTimeMillis());
}
} catch (IOException e) {
e.printStackTrace();
}
}
//处理old reader回收
for (Entry<DirectoryReader, Long> entry : newHashMap<DirectoryReader, Long>(recyleReaderMap).entrySet()) {
if(System.currentTimeMillis() - entry.getValue()> oldReaderMaxLifeTime)
{
try {
entry.getKey().close();
} catch (IOException e) {
e.printStackTrace();
} finally {
recyleReaderMap.remove(entry.getKey());
}
}
}
}
}, 5 * 1000, 5 * 1000);
}
}
Lucene IndexReader,IndexWriter,IndexSearcher 缓存应用的更多相关文章
- Cache Lucene IndexReader with Apache Commons Pool
IndexReaderFactory.java 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 2 ...
- 关于lucene的IndexSearcher单实例,对于索引的实时搜索
Lucene版本:3.0 一般情况下,lucene的IndexSearcher都要写成单实例,因为每次创建IndexSearcher对象的时候,它都需要把索引文件加载进来,如果访问量比较大,而索引也比 ...
- Lucene.net(4.8.0) 学习问题记录三: 索引的创建 IndexWriter 和索引速度的优化
前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移.因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3 ...
- Lucene系列五:Lucene索引详解(IndexWriter详解、Document详解、索引更新)
一.IndexWriter详解 问题1:索引创建过程完成什么事? 分词.存储到反向索引中 1. 回顾Lucene架构图: 介绍我们编写的应用程序要完成数据的收集,再将数据以document的形式用lu ...
- Lucene 更新、删除、分页操作以及IndexWriter优化
更新操作如下: 注意:通过lukeall-1.0.0.jar 查看软件,我们可以看到,更新其实是先删除在插入, 前面我们知道索引库中有两部分的内容组成,一个是索引文件,另一个是目录文件, 目前我们更新 ...
- lucene中的IndexWriter.setMaxFieldLength()
lucene中的IndexWriter.setMaxFieldLength() 老版本的Lucene中,IndexWriter的maxFieldLength是指一个索引中的最大的Field个数. 这个 ...
- Lucene的分析资料【转】
Lucene 源码剖析 1 目录 2 Lucene是什么 2.1.1 强大特性 2.1.2 API组成- 2.1.3 Hello World! 2.1.4 Lucene roadmap 3 索引文件结 ...
- 【Java】Lucene检索引擎详解
基于Java的全文索引/检索引擎——Lucene Lucene不是一个完整的全文索引应用,而是是一个用Java写的全文索引引擎工具包,它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能. L ...
- lucene 搜索引擎使用案例
1.使用定时框架Quartz.Net创建索引库,引用类库文件有Common.Logging.dll.Lucene.Net.dll,PanGu.dll,PanGu.HighLight.dll,PanGu ...
随机推荐
- yii2源码学习笔记(十六)
Module类的最后代码 /** * Registers sub-modules in the current module. * 注册子模块到当前模块 * Each sub-module shoul ...
- Lsp修复
打开电脑,进入命令提示符窗口,快捷键win+r. 在窗口中输入“cmd”进入命令符窗口. 在窗口中输入:输入netsh winsock reset,然后按下回车键. 然后稍等片刻, ...
- c++的四种强制类型转换
http://hb.qq.com/a/20110722/001452.htm ...... C风格的强制类型转换(Type Cast)很简单,不管什么类型的转换统统是:TYPE b = (TYPE)a ...
- string与char* 互相转换以及周边问题
先插一个小知识点 string str = "abc" str += 'd'; cout<<str<<endl; //"abcd" ...
- 基于STM32F10x的串口(USART)输入输出编程
1 前言 STM32有强大的固件库,绝大部分函数都可以有库里面的函数组合编写.固件库可以到ST官网(www.st.com)上下载,也可以搜索“STM32 固件库 v3.5”下载到固件库.本文章就是基于 ...
- golang-mongodb范例
package main import ( "log" "gopkg.in/mgo.v2" "gopkg.in/mgo.v2/bson" ) ...
- bzoj 3751: [NOIP2014]解方程 同余系枚举
3.解方程(equation.cpp/c/pas)[问题描述]已知多项式方程:a ! + a ! x + a ! x ! + ⋯ + a ! x ! = 0求这个方程在[1, m]内的整数解(n 和 ...
- jsconsole
在移动设备或者其他无法启动 chrome developer tools 的时候可以用以下方法进行console 步骤: 1. 进入 http://jsconsole.com 的console画面,在 ...
- 在XP系统中自带的 msvcrt.dll 和 Vista 中的 msvcrt.dll 版本不同,导致抛出的异常不同
然而,在XP系统中,系统自带的 msvcrt.dll 和 Vista 中的 msvcrt.dll 版本不同, 并没有这个 _except_handler4_common ,结果就出现了启动程序时,遇到 ...
- Jvm工作原理学习笔记(转)
一. JVM的生命周期 1. JVM实例对应了一个独立运行的java程序它是进程级别 a) 启动.启动一个Java程序时,一个JVM实例就产生了,任何一个拥有pub ...