lucene大索引文件分布式存储方案
这几天实现了个Lucene分布式检索的模块,采用的分布式方案是将数据分块,分别生成N个索引文件,放到N个节点上运行。检索时,对每一个节点发出查询请求,将N个节点返回的结果归并,然后生成一个新的结果。如果没看明白,可以看看我的帖子 http://www.iteye.com/topic/212046 ,这个方案同帖子中的思想是一致的。
用这样的方案,遇到的问题是归并过后的结果,同没有归并结果是有一定区别的。在实现这个方案前我也分析过,Lucene使用TF/IDF算法来计算相关度,所以会产生这样的问题:
100万条数据,分别索引成2个50万数据的索引文件A,B和100万条数据的索引文件C。这样,A、B、C3个文件的IDF都不相同,所以搜索出来的结果将会不同。但是如果是海量数据,IDF值从统计学角度上来说应该是非常相似的,所以搜索出的结果大体上来说是一样的。
今天专门做了一个实验,取100万条数据做测试,每个节点50万数据,进行几个关键词的检索,同包含100万条同样数据的索引文件比较,取前100项统计有多少项不同。数据是类似www.net114.com这样的类型的数据,下面是结果(同位置是指在100条数据中,位置相同的数据。非交集指那些分布式检索返回的结果,不在集中式检索的结果之中的数据):
关键字:公司
同位置:0条
非交集:12条
“公司”这个关键字返回的结果非常多,基本返回整个数据集中的数据。这个测试针对的是目的非常模糊的查询。
关键字:永恒 公司
同位置:4条
非交集:0条
返回的结果中等,针对有一定目的的查询。
关键字:中国石油
同位置:1条
非交集:0条
针对比较精确的查询,返回的结果最前面基本都是中国石油开头的数据。
可以看到,同之前的分析结果类似,进行这样的分布式检索,基本上同集中式检索获取到的数据是相同的,但是排序不同。我已经截图下来了,但是这里貌似没法发……总体上来说,我这些精度损失在我的项目中还是可以接受的,对“公司”这种返回结果很多,搜索目的非常模糊的检索,头10项相差得比较大。但是这种搜索本身要求的精度就不是很高。而对于比较精确的搜索,头10项相差得很小,要是有兴趣的话我找个地方上传图片给大家看看。
至于性能,经过100万数据的测试,大体上能提升至少30%的检索时间,偶尔有超过单个节点查询的情况,一般是由于在网络传输层中有一些延时造成的,有的也是我系统的BUG……。进行分布式的好处在于能够处理一些无法分割的数据,保证在海量数据下也能保持足够的响应速度。
最近准备学习Java(我是用.Net的),不知道大家对这个分布式检索的方案有没有兴趣,如果有兴趣的话我就用Java实现它,希望到时候大家多多指点~~~
可以用remotesearcher, 如果节点不再用一个JVM, 如果是同一个里面, 用multisercher就行了, 里面回计算全局TF/IDF。
remotesearcher基本不能用于企业级应用。
精度问题,其实有办法解决,从我的应用来看,TF/IDF应该自己作为一个文件保存。查询时去读取保存有所有数据的TF/IDF的表,就能保证每个节点的评分都是一致的。而且,还可以做出一些扩展的东西,比如我要搜索某个行业中的数据,可以专门做一个TF/IDF表,对该行业中的某些关键字加权,这样搜出来的结果会更加符合。但是这样就要修改Lucene的源码了,这个目前我还没做,因为感觉现在这样搜出来的结果也不错。
不过为什么说remotesearcher基本不能用于企业级应用呢?我也没有在大规模的集群上测试过,目前几台计算机来看效果还可以。方便的话不妨说下,谢谢。
精度问题,其实有办法解决,从我的应用来看,TF/IDF应该自己作为一个文件保存。查询时去读取保存有所有数据的TF/IDF的表,就能保证每个节点的评分都是一致的。而且,还可以做出一些扩展的东西,比如我要搜索某个行业中的数据,可以专门做一个TF/IDF表,对该行业中的某些关键字加权,这样搜出来的结果会更加符合。但是这样就要修改Lucene的源码了,这个目前我还没做,因为感觉现在这样搜出来的结果也不错。
不过为什么说remotesearcher基本不能用于企业级应用呢?我也没有在大规模的集群上测试过,目前几台计算机来看效果还可以。方便的话不妨说下,谢谢。
lucene大索引文件分布式存储方案的更多相关文章
- Solr4.8.0源码分析(12)之Lucene的索引文件(5)
Solr4.8.0源码分析(12)之Lucene的索引文件(5) 1. 存储域数据文件(.fdt和.fdx) Solr4.8.0里面使用的fdt和fdx的格式是lucene4.1的.为了提升压缩比,S ...
- Solr4.8.0源码分析(11)之Lucene的索引文件(4)
Solr4.8.0源码分析(11)之Lucene的索引文件(4) 1. .dvd和.dvm文件 .dvm是存放了DocValue域的元数据,比如DocValue偏移量. .dvd则存放了DocValu ...
- Solr4.8.0源码分析(10)之Lucene的索引文件(3)
Solr4.8.0源码分析(10)之Lucene的索引文件(3) 1. .si文件 .si文件存储了段的元数据,主要涉及SegmentInfoFormat.java和Segmentinfo.java这 ...
- Solr4.8.0源码分析(8)之Lucene的索引文件(1)
Solr4.8.0源码分析(8)之Lucene的索引文件(1) 题记:最近有幸看到觉先大神的Lucene的博客,感觉自己之前学习的以及工作的太为肤浅,所以决定先跟随觉先大神的博客学习下Lucene的原 ...
- Solr4.8.0源码分析(9)之Lucene的索引文件(2)
Solr4.8.0源码分析(9)之Lucene的索引文件(2) 一. Segments_N文件 一个索引对应一个目录,索引文件都存放在目录里面.Solr的索引文件存放在Solr/Home下的core/ ...
- IIs 网站应用程序与虚拟目录的区别及高级应用说明(文件分布式存储方案)
原文 IIs 网站应用程序与虚拟目录的区别及高级应用说明(文件分布式存储方案) 对于IIS网站,大伙用的比较多,就不啰嗦了. 今天和说说大伙比较少使用的"IIS应用程序”和虚拟目录的区别 ...
- 图片文件分布式存储方案设计模式(c#--sqlserver)
1.为了降低web服务器的压力,申请了2台文件服务器,用来存放图片文件.但是两台文件服务器如何让程序自己选择呢? 于是我用了一个算法,思路如下: 从状态表筛选出可用的图片服务器集合记作C,并获取集合的 ...
- Lucene系列-索引文件
本文介绍下lucene生成的索引有哪些文件组成,每个文件包含了什么信息.基于Lucene 4.10.0. 数据结构 索引(index)包含了存储的文档(document)正排.倒排信息,用于文本搜索. ...
- Lucene实现索引和查询
0引言 随着万维网的发展和大数据时代的到来,每天都有大量的数字化信息在生产.存储.传递和转化,如何从大量的信息中以一定的方式找到满足自己需求的信息,使之有序化并加以利用成为一大难题.全文检索技术是现如 ...
随机推荐
- ClassNotFoundException: com.fasterxml.jackson.databind.ObjectMapper的解决办法
如下图: 如果出现了这样的错误,最大的可能是:你没有在 WEB-INF/lib 目录下放入相关的jar包(jackson-core/annotations/databind.jar) 如果你在WEB- ...
- PostgreSQL-角色、库、模式、表
由于不了解postgresql的psql工具,安装完数据库后就直接用pgadmin或navicat来连接操作,在确认初始化后的库中默认有些什么东西后竟然一直无处下手,在还没有了解pg大致体系的情况下搞 ...
- vi编辑器怎么设置tab缩进
首先,在命令中输入vim ~/.vimrc 按i进入编辑模式,输入set tabstop=4 按Esc进入命令模式,输入:wq保存退出即可.
- Windows 10 安装双系统 CentOS 7
系统环境:Windows 10 && CentOS 7 准备工具: ●CentOS7 官网下载地址:https://wiki.centos.org/Download (注意: i386 ...
- 兼容可控硅调光的一款LED驱动电路记录
1.该款电路为兼容可控硅调光的LED驱动电路,采用OB3332为开关控制IC,拓扑方案为Buck: 2.FB1:磁珠的单位是欧姆,而不是亨利,这一点要特别注意.因为磁珠的单位是按照它在某一频率 产生的 ...
- Web.xml中设置Servlet和Filter时的url-pattern匹配规则
一.servlet容器对url的匹配过程: 当一个请求发送到servlet容器的时候,容器先会将请求的url减去当前应用上下文的路径作为servlet的映射url,比如我访问的是http://loca ...
- 第22章 java线程(2)-线程同步
java线程(2)-线程同步 本节主要是在前面吃苹果的基础上发现问题,然后提出三种解决方式 1.线程不安全问题 什么叫线程不安全呢 即当多线程并发访问同一个资源对象的时候,可能出现不安全的问题 对于前 ...
- AC日记——I Hate It 洛谷 P1531
题目背景 很多学校流行一种比较的习惯.老师们很喜欢询问,从某某到某某当中,分数最高的是多少.这让很多学生很反感. 题目描述 不管你喜不喜欢,现在需要你做的是,就是按照老师的要求,写一个程序,模拟老师的 ...
- FILE不是C语言关键字
FILE不是C语言关键字,只是标准C中的标准输入输出中定义的一个新的数据类型 stdio.htypedef struct _iobuf{ char* _ptr; int _cnt; char* _ba ...
- jdbc java数据库连接 4)PreParedStatement接口 之 区别和例子
Statement 和 PreparedStatement 的区别: 1)语句不同 PreparedStatement需要预编译以及需要参数 2)由于PreparedStatement有缓存区,所以效 ...