在：http://www.lmdb.tech/bench/inmem/

2. Small Data Set

Using the laptop we generate a database with 20 million records. The records have 16 byte keys and 100 byte values so the resulting database should be about 2.2GB in size. After the data is loaded a "readwhilewriting" test is run using 4 reader threads and one writer. All of the threads operate on randomly selected records in the database. The writer performs updates to existing records; no records are added or deleted so the DB size should not change much during the test.

The tests in this section and in Section 3 are all run on a tmpfs, just like the RocksDB report. I.e., all of the data is stored only in RAM. Additional tests using an SSD follow in Section 4.

The pertinent results are tabulated here and expanded on in the following sections.

Engine Load Time Overhead Load Size Writes/Sec Reads/Sec Run Time Final Size CPU% Process Size
  Wall User Sys   KB   Wall User Sys KB   KB
LevelDB 00:34.70 00:44.72 00:06.70 1.4818443804 2246004 10232 26678 00:49:58.73 01:31:48.62 00:52:50.95 3452388 289% 2138508
Basho 00:40.41 01:24.39 00:17.82 2.5293244246 2368768 10232 68418 00:19:32.94 01:14:10.04 00:01:19.19 2612436 386% 6775376
BerkeleyDB 02:12.61 01:58.92 00:13.57 0.9990950909 5844376 00:15:28.44 00:42:07.97 00:17:27.49 5839912 385% 3040716
Hyper 00:38.78 00:49.88 00:06.43 1.4520371325 2246448 10208 138393 00:09:38.39 00:35:06.12 00:02:06.18 2292632 385% 2700088
LMDB 00:10.55 00:08.15 00:02.37 0.9971563981 2516192 00:00:55.46 00:03:37.63 00:00:01.67 2547968 395% 2550408
RocksDB 00:21.54 00:34.70 00:05.99 1.8890436397 2256032 10233 91544 00:14:37.74 00:54:06.84 00:02:38.04 3181764 387% 6713852
TokuDB 01:45.12 01:41.58 00:47.37 1.4169520548 2726168 9881 109682 00:12:12.91 00:37:41.45 00:07:10.03 3920784 367% 5429056
WiredLSM 01:10.93 02:35.55 00:18.62 2.4555195263 2492440 00:07:26.24 00:28:55.85 00:00:07.76 2948988 390% 3205396
WiredBtree 00:17.79 00:15.68 00:02.09 0.9988757729 2381876 00:01:53.46 00:06:36.98 00:00:14.78 4752568 362% 3415468

3. Larger Data Set

These tests use 100 million records and are run on the 16 core server. Aside from the data set size things are much the same. Here are the tabular results:

Engine Load Time Overhead Load Size Writes/Sec Reads/Sec Run Time Final Size CPU% Process Size
  Wall User Sys   KB     Wall User Sys KB   KB
LevelDB 03:06.75 04:41.26 00:42.87 1.7356358768 11273396 01:00:02.00 01:22:11.46 01:52:10.46 13734168 323% 3284192
Basho 04:22.96 11:09.24 02:18.93 3.0733571646 11449492 10211 80135 01:00:23.00 14:32:23.67 00:11:49.40 13841220 1464% 19257796
BerkeleyDB 14:59.45 13:34.30 01:25.15 1 28381956 01:00:02.00 03:02:00.69 12:42:39.63 28387880 1573% 14756768
Hyper 03:43.61 05:41.14 00:39.02 1.7001028577 11280092 10231 11673 01:00:04.00 01:59:42.09 01:53:24.27 15149416 387% 6332460
LMDB 01:04.15 00:52.31 00:11.82 0.9996882307 12605332 00:11:14.14 02:47:58.57 00:00:10.06 12627692 1598% 12605788
RocksDB 02:28.66 03:59.92 00:30.97 1.8222117584 11289688 10232 129397 01:00:22.00 12:08:05.94 02:51:58.54 12777708 1490% 18599544
TokuDB 07:44.10 09:17.31 02:54.82 1.5775263952 12665136 4601 70208 01:00:15.00 03:02:37.44 11:21:45.00 15328956 1434% 23315964
WiredLSM 07:10.50 19:25.80 02:31.10 3.0590011614 12254620 01:00:05.00 15:51:04.17 00:02:09.76 16016296 1586% 17723992
WiredBtree 02:07.49 01:49.52 00:17.97 1 11932620 00:20:58.10 05:06:13.60 00:05:14.87 23865368 1560% 20743232

看这个pdf里有对kv存储的架构和底层原理的详细介绍：

https://daim.idi.ntnu.no/masteroppgaver/008/8885/masteroppgave.pdf

levelDB, TokuDB, BDB等kv存储引擎性能对比——wiredtree, wiredLSM，LMDB读写很强啊的更多相关文章

  1. Java模板引擎性能对比

    模板引擎性能对比 从Github上翻到对JSP.Thymeleaf 3.Velocity 1.7.Freemarker 2.3.23几款主流模板的性能对比,总体上看,Freemarker.Veloci ...

  2. 基于淘宝开源Tair分布式KV存储引擎的整合部署

    一.前言 Tair支撑了淘宝几乎所有系统的缓存信息(Tair = Taobao Pair,Pair即Key-Value键值对),内置了三个存储引擎:mdb(默认,类似于Memcache).rdb(类似 ...

  3. MySql存储引擎特性对比

    下表显示了各种存储引擎的特性: 其中最常见的两种存储引擎是MyISAM和InnoDB 刚接触MySQL的时候可能会有些惊讶,竟然有不支持事务的存储引擎,学过关系型数据库理论的人都知道,事务是关系型数据 ...

  4. mysql存储引擎的对比

  5. MongoDB存储引擎选择

    MongoDB存储引擎选择 MongoDB存储引擎构架 插件式存储引擎, MongoDB 3.0引入了插件式存储引擎API,为第三方的存储引擎厂商加入MongoDB提供了方便,这一变化无疑参考了MyS ...

  6. MongoDB 存储引擎选择

    MongoDB存储引擎选择 MongoDB存储引擎构架 插件式存储引擎, MongoDB 3.0引入了插件式存储引擎API,为第三方的存储引擎厂商加入MongoDB提供了方便,这一变化无疑参考了MyS ...

  7. MySQL性能调优与架构设计——第3章 MySQL存储引擎简介

    第3章 MySQL存储引擎简介 3．1 MySQL 存储引擎概述 MyISAM存储引擎是MySQL默认的存储引擎,也是目前MySQL使用最为广泛的存储引擎之一.他的前身就是我们在MySQL发展历程中所 ...

  8. MySql（十一）：MySQL性能调优——常用存储引擎优化

    一.前言 MySQL 提供的非常丰富的存储引擎种类供大家选择,有多种选择固然是好事,但是需要我们理解掌握的知识也会增加很多.本章将介绍最为常用的两种存储引擎进行针对性的优化建议. 二.MyISAM存储 ...

  9. MySQL性能优化（一）-- 存储引擎和三范式

    一.MySQL存储引擎 存储引擎说白了就是如何存储数据.如何为存储的数据建立索引和如何更新.查询数据等技术的实现方法.因为在关系数据库中数据的存储是以表的形式存储的,所以存储引擎也可以称为表类型(即存 ...

随机推荐

  1. MDF损坏或LDF文件损坏

    MDF损坏或LDF损坏 MDF丢失或LDF丢失 注意,这些情况必须要相同版本的sql server才能操作成功 当MDF损坏时 1.备份结尾日志 http://www.cnblogs.com/gere ...

  2. python 报错——Python TypeError: 'module' object is not callable 原因分析

    原因分析:Python导入模块的方法有两种: import module 和 from module import 区别是前者所有导入的东西使用时需加上模块名的限定,而后者则不需要 例: >&g ...

  3. boost之算法

    STL里的算法已经很好了,在boost里有几个小的算法 1.BOOST_FOREACH使用方法,定义一个容器里内部类型数据,容器作为参数传递. #include <iostream> #i ...

  4. hadoop学习第三天-MapReduce介绍&&WordCount示例&&倒排索引示例

    一.MapReduce介绍 (最好以下面的两个示例来理解原理) 1. MapReduce的基本思想 Map-reduce的思想就是“分而治之” Map Mapper负责“分”,即把复杂的任务分解为若干 ...

  5. sql获取该周的开始结束日期

    mssql函数 IF EXISTS ( SELECT 1 FROM sysobjects WHERE name = 'fn_GetWeekDate') DROP FUNCTION fn_GetWeek ...

  6. Eclipse 输出的文本乱码

    Version: Mars.2 Release (4.5.2)Build id: 20160218-0600 在使用时,发现文本编辑器中的文字出现了乱码.然后在项目的Properties->&g ...

  7. jQuery:自学笔记(2)——jQuery选择器

    jQuery:自学笔记(2)——jQuery选择器 基本选择器 说明 jQuery的基本选择器与CSS的选择器相似: 实例 标签选择器 //使用标签选择器更改字体大小 $(div).css('font ...

  8. pyhton3 time模块

    来自:菜鸟教程 Python 程序能用很多方式处理日期和时间,转换日期格式是一个常见的功能. Python 提供了一个 time 和 calendar 模块可以用于格式化日期和时间. 时间间隔是以秒为 ...

  9. js对象属性方法大总结（收集）

    数组(Array):系列元素的有序集合: 详细演示请看:[js入门系列演示·数组 ] http://www.cnblogs.com/thcjp/archive/2006/08/04/467761.ht ...

  10. linux mint —— 图片一张

    概述 Linux Mint是一種基於Ubuntu開發出的Linux操作系统.由Linux Mint Team团队于2006年开始发行.Linux Mint 的目标是为家庭用户和企业客户提供一个免费.高 ...