硬件概述:cpu:24,内存:20g,磁盘:10*2.7T。

写入性能:(不对ip进行添加geo信息)。

写入性能对比

速度

Commit耗时(秒)

500*1000条

Bulk耗时(秒)

1000条dns

Bulk耗时(秒)

1000条tcpflow

Bulk耗时(秒)

1000条weblog

Cpu占用

磁盘使用

数据量tcpflow

线程配置

tantivy

155272

6-19

0.01-0.06

0.1-0.2

0.1-0.2

40-80 us, 5-15 sy

20-90

4_000_000条,870M

10*2+10*2*3

lucene

151633

3-4

0.2-0.3

1.3-1.4

1.3-1.4

60-80 us, 5sy

20-90

4_500_000条,1.3G

10*5

功能:

Query:查询功能。

Query

TermQuery
BooleanQuery
WildcardQuery
PhraseQuery
RangeQuery
FuzzyQuery
RegexpQuery
ConstantScoreQuery
PrefixQuery

tantivy

Y

Y

Y

Y

Y

Y

Y

Y

N

lucene

Y

Y

Y

Y

Y

Y

Y

Y

Y

Collector:用来在查询时获取doc的field信息,用来排序,过滤,聚合等。

Collector
TopCollector
TimeLimitingCollector
CountCollector
tantivy
Y
N
Y
lucene
Y
Y
N

Docvalues/fastfield:通过docvalues获取doc的field信息,用来排序,过滤,聚合等。

 

Docvalues/fastfield

tantivy
fastfield(目前仅支持数字)
lucene
Docvalues

IndexWriter: 写数据。

IndexWriter

Flush(不fsync,数据可能在buffer)

Commit(fsync到磁盘)

tantivy

N(目前未发现)

Y

lucene

Y

Y

总结:

功能

tantivy已实现了lucene的大多数功能。具体差异见上表。

写入性能

整体写入性能相近。

bulk索引数据时,tantivy速度快于lucene。

执行commit时,tantivy不如lucene,详见写入性能。

磁盘占用

磁盘占用相差不大,详见写入性能。

tantivy&lucene功能,写入性能对比的更多相关文章

  1. nginx-haproxy-lvs功能和性能对比 nginx - max-fail + 调度算法

    优点(性能和功能两方面分析) 缺点 lvs 工作在4层,可以对http,MySQL等服务负载均衡.负责流量的分发,对io,cpu,mem的消耗少 功能比较少,没有正则匹配的功能 nginx 工作在7层 ...

  2. 几种I/O模型功能和性能对比

    对比图 同步阻塞I/O服务端通信模型(一客户端一线程) 伪异步I/O服务端通信模型(M:N) NIO服务端和客户端通信时序图

  3. 各类nosql db的功能与性能对比

    mongodb cassandra neo4j couchbase couchdb redis leveldb

  4. nginx 反向代理 proxy_pass 及对比nginx与haproxy反向代理服务器功能、性能的优劣

    1.使用 proxy 去请求另一个域名下的资源,如果跨域资源也部署在同一台机器上,我们甚至可以 proxy 到 127.0.0.1,比如: location /api { proxy_pass htt ...

  5. Elasticsearch的几种架构(ELK,EL,EF)性能对比测试报告

    Elasticsearch的几种架构性能对比测试报告 1.前言 选定了Elasticsearch作为存储的数据库,但是还需要对Elasticsearch的基础架构做一定测试,所以,将研究测试报告输出如 ...

  6. Storm VS Flink ——性能对比

    1.背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架.其中 Apache Storm(以下简称"Storm")在美团点评实时 ...

  7. RedHat 和 Mirantis OpenStack 产品的版本和功能汇总和对比(持续更新)

    Mirantis 和 Red Hat 作为 OpenStack 商业化产品领域的两大领军企业,在行业内有重要的地位.因此,研究其产品版本发布周期和所支持的功能,对制定 OpenStack 产品的版本和 ...

  8. Java--Stream,NIO ByteBuffer,NIO MappedByteBuffer性能对比

    目前Java中最IO有多种文件读取的方法,本文章对比Stream,NIO ByteBuffer,NIO MappedByteBuffer的性能,让我们知道到底怎么能写出性能高的文件读取代码. pack ...

  9. 不同Framework下StringBuilder和String的性能对比,及不同Framework性能比(附Demo)

    本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 阅读目录 介绍 环境搭建 测试用例 MSDN说明 ...

随机推荐

  1. UA判断打开页面的环境,然后在callBack写相应环境下的回调函数

    这是js代码 /* * 2016.11.10 * SunJingxin * V 1.0.0 * */ (function(){ /* * 使用方法: * 一.引入ua.js * 二.直接调用 Mobi ...

  2. P1108 分解质因数

    题目描述 给你一个正整数 \(n\) ,请给 \(n\) 分解质因数,并按照样例输出的格式输出对应的结果. 输入格式 输入包含一个正整数 \(n (2 \le n \le 10^9)\) . 输出格式 ...

  3. Vue打包文件放在服务器,浏览器存在缓存问题的解决

    在入口文件index.html添加 <meta http-equiv="pragram" content="no-cache"> <meta ...

  4. The Function() Constructor

    Functions are usually defined using the function keyword, either in the form of a function definitio ...

  5. QuartusII 13.0的完美破解

    网络上破解QuartusII 13.0软件的方法都不行,最后经过本人总结测试(独创),最终实现了QuartusII 13.0的破解,破解方法如下: 网上常规操作之后,会得到一个“license.dat ...

  6. CCPC 2018 吉林 H "LOVERS" (线段树)

    ---恢复内容开始--- 传送门 参考资料: [1]:https://blog.csdn.net/mmk27_word/article/details/89788448 题目描述: The Fool ...

  7. vuex 快速上手,具体使用方法总结(含使用例子)

    网上有关vuex的文章很多,但有些比较复杂,这篇文章能让你快速使用vuex: vuex 用处:管理全局状态(类似全局变量,每个组件都能访问到) vuex 用法: //下面是一个js文件,用最简单最全的 ...

  8. tensorflow在文本处理中的使用——Doc2Vec情感分析

    代码来源于:tensorflow机器学习实战指南(曾益强 译,2017年9月)——第七章:自然语言处理 代码地址:https://github.com/nfmcclure/tensorflow-coo ...

  9. tf.contrib.learn.preprocessing.VocabularyProcessor()

    tf.contrib.learn.preprocessing.VocabularyProcessor (max_document_length, min_frequency=0, vocabulary ...

  10. 元组&字典&函数基础

    set: 类似dict, 是一组key的集合,不存储value 本质:无序和无重复元素的集合 创建: 创建set需要一个list或者tuple或者dict作为输入集合 重复元素在set中会自动被过滤 ...