HubbleDotNet引擎查询技术

系统简介

HubbleDotNet 是一个基于.net framework 的开源免费的全文搜索数据库组件。开源协议是 Apache 2.0。HubbleDotNet提供了基于SQL的全文检索接口，使用者只需会操作SQL，就可以很快学会使用HubbleDotNet进行全文检索。 HubbleDotNet可以实现全文索引和查询、多域检索和排序、分组统计、消重、分类、聚类、多表关联查询等等一系列全文检索和数据挖掘功能。 HubbleDotNet提供开放的数据库适配器接口，可以和各种数据库完美整合，为各种数据库系统附加全文检索和数据挖掘功能。 HubbleDotNet设计了较为完善的并发控制程序，数据的增删改查可以多线程同时并发进行，没有任何冲突。HubbleDotNet还进行了缓存和内存管理设计，可以帮助用户最大限度的提高查询的效率。HubbleDotNet力争在未来的几年内超过Lucene.net成为.net开发环境中最受欢迎的全文检索组件。

相关资源

Hubble.net 的相关资源

HubbleDotNet 项目首页

Codeplex上项目首页

中文讨论群组

HubbleDotNet的安装及demo视频演示

中文使用手册

0.9 版本功能列表

1. 索引

2. 查询

3. 删除

4. 更新

5. 基于 SQL 的SQLClient 接口

6. 索引级别缓存

7. 查询级别缓存

8. 数据级别缓存

9. 多字段排序

10. 全文和元数据组合查询

11. 关键字权重指定

12. 字段权重指定

13. 记录权重指定

14. 索引自动优化

15. 索引手工优化

16. 自定义分词器

17. 自定义数据库适配器

18. 系统存储过程

19. 查询分析器

20. 建表，删表

21. 基于数据库现有表或视图创建索引

22. 和数据库现有表或视图索引同步

23. 分组统计

24. Match, Contains, Like 三种查询方式

25. 拆离和附加 （备份和恢复）索引

物理视图

HubbleDotNet 将全文搜索和关系数据库整合到一起，通过SQL语句对数据库中的数据进行全文和关系查询。HubbleDotNet组件本身负责对全文数据进行倒排索引，并将索引存储到表所指定的目录下，数据的存储则由和Hubble.net 关联的关系数据库完成。HubbleDotNet提供了一个 IDBAdpter 接口，用户可以根据这个接口实现自定义的数据库适配。如何添加自定义的数据库适配器，将在存储过程一节中阐述。建立倒排索引时需要对输入的全文文本进行分词，HubbleDotNet为用户提供了一个 IAnalyzer 接口来完成自定义的分词器。如何添加自定义的分词器，将在存储过程一节中阐述。HubbleDotNet在安装后以一个系统服务的形式存在。 Hubble.net 提供一个 Hubble.SQLClient 组件来和HubbleDotNet的系统服务进行交互，SQLClient 的接口和Ado.net 中的SqlClient接口类型，具体将在SQLClient一节中阐述。

逻辑视图

HubbleDotNet 和 关系数据库一样，存在数据库和数据库表的概念。Hubble.net 的数据库和数据表只是提供一个和对应关系数据库的映射描述关系，并不存在数据库和数据表的实体。用户在通过SQL 语句操作Hubble.net 的数据库和数据表是，Hubble.net 将自动和对应的关系数据库实体进行关联，从用户侧看，Hubble.net就像一个数据库实体。

HubbleDotNet负责建立文本字段的倒排索引和Untokenized字段的单值索引。关系数据库负责建立B+树索引。如果查询语句不包括对全文字段的搜索，则直接转发给数据库利用数据库的索引进行查询。

三级缓存

如上图所示，HubbleDotNet提供三种级别的缓存方案。

Index cache ：索引级别缓存用于缓存倒排索引和单值索引。这种缓存为系统自动管理，不能关闭。索引级别缓存会自动监控数据的增删改，并进行相应修改。

Query cache ：查询级别缓存对查询的条件进行缓存，Hubble.net 系统服务会将不同查询条件对应的文档ID（DocId）缓存下来，下次查询时直接从缓存中获取符合条件的文档ID，不再访问低级别缓存或索引。和索引级别缓存不同的是，当表的数据发生变化时，查询级别缓存将会失效，需要重新缓存。

Data cache ：数据级别缓存运行在客户端，客户端查询得到的数据被缓存下来，下次查询时将从数据缓存中直接获取数据，而不再到Hubble.net 系统服务中去获取数据。和查询级别缓存一样，表的数据发生变化时，数据级别缓存将会失效，需要重新缓存。

并发控制

HubbleDotNet设计了非常完善的并发控制机制，用户的增删改查可以同时进行，不会存在任何冲突。

内存管理

HubbleDotNet 以系统服务存在，不会像Lucene那样和应用程序共用内存。HubbleDotNet设计了一套内存管理机制，用户可以设置最大内存使用数量，一旦 HubbleDotNet使用内存超过这个数量，HubbleDotNet就会自动启动内存整理程序，将一些不经常使用的缓存从内存中清理掉以腾出更多的内存空间给用户。用户可以通过 SP_CONFIGURE 存储过程来查看和管理内存。

HubbleDotNet 与 Lucene.net 的功能对比

功能	Lucene.net	HubbleDotNet
按词条搜索—TermQuery	支持	支持
“与或”搜索—BooleanQuery	支持	支持
在某一范围内搜索—RangeQuery	支持	支持
使用前缀搜索—PrefixQuery	支持	支持
多关键字的搜索—PhraseQuery	支持	支持
相近词语的搜索—FuzzyQuery	支持	通过分词来实现，EnglishAnalyzer 可以完成类似功能
使用通配符搜索—WildcardQuery	支持	通过分词来解决，盘古分词的最新版本已经提供类似解决方案
Contains-多个关键字之间按与方式匹配	不支持	支持
Like-类似数据库的Like '%xx%'	不支持	支持
更新数据-Update	需要删除后再添加	直接调用 Update 语句完成，如果只更新非全文字段，不重新索引，速度非常快
增量索引	支持	支持
不同字段指定不同分词器	不支持	支持
分组统计-Group by	不支持	支持
与关系数据库关联	不支持	可以单表管理，多表关联，基于现有表或视图创建索引
并发控制	读、写、优化等不能同时进行	读、写、优化等可以同时进行
内存管理	不支持	可设定最大内存使用阈值，到这个阈值后会自动将不常访问的缓存清理掉
重建索引（数据不动，只重建全文索引）	不支持	支持
多表关联查询	不支持	0.9 版本部分支持
消重-Distinct	不支持	1.0 版本提供支持
分类，聚类等数据挖掘功能	不支持	后续版本开发