Leveldb是一个google实现的非常高效的kv数据库,目前的版本1.2能够支持billion级别的数据量了. 在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计.特别是LSM算法. 那么数据库最怕的的随机IO他是如何解决的呢? 先说随机写,它的写都是先记录到日志文件去的,在日志文件满之前只是简单的更新memtable,那么就把随机写转化成了顺序写.在日志满了后,把日志里面的数据排序写成sst表同时和之前的sst进行合并,这个动作也是顺序读和写.大家都知道传统磁盘raid的顺序读写

最近买了一个256GB的SSD固态硬盘,想测试一下写入速度,于是如下操作. 部分代码: gettimeofday(&start, NULL); int fd = open("test1.dat", O_RDWR|O_CREAT); ){ printf("open error!\n"); ; } lseek(fd, , SEEK_SET); write(fd, pData, DATA_LEN); close(fd); gettimeofday(&end

最近有个业务写远远大于读,读也集中在最近写入,这不很适合采用leveldb存储么,leveldb业界貌似ssdb用得挺广,花了两天时间就ssdb简单做下测试,以下总结. ssdb 是leveldb的redis兼容协议封装,并且实现了主从同步,源码不多易读:主要对redis命令封装,get/set 不说,leveldb 是有序的,相比redis通过scan遍历的命令,利用有序性 list.hset也通过key+fileld/seq - val 方式存储,ttl 会单独存储一个hset 保存过期时间

最近有个业务场景存储压力很大,写远远大于读,读也集中在最近写入,想想这不很适合采用leveldb存储么.leveldb的话好像用ssdb比较多,花了两天时间就ssdb简单做下测试,以下总结. ssdb 是对leveldb存储引擎的redis兼容协议封装,并且实现了主从同步,源码不多易读.对于支持的操作,除了get/set KV存储,由于 leveldb 是有序的,还可实现很多操作:通过scan遍历的命令,利用有序性 list.hset也通过key+fileld/seq - val 方式存储,tt

对于compaction是leveldb中体量最大的一部分,也应该是最为复杂的部分,为了便于理解我们首先从一些基本的概念开始.下面是一些从doc/impl.html中翻译和整理的内容: Level 0 当日志文件超过一定大小的阈值是 (默认为 1MB): 建立一个新的memtable和日志文件,以后的操作都是用新的memtable和日志文件 后台进行如下操作: 将旧的 memtable写到SSTable中(过程为先转为immtable_table,然后遍历写入) 废弃旧的 memtable 删除

最近小组准备启动一个 node 开源项目,从前端亲和力.大数据下的IO性能.可扩展性几点入手挑选了 NoSql 数据库,但具体使用哪一款产品还需要做一次选型. 我们最终把选项范围缩窄在 HBase.Redis.MongoDB.Couchbase.LevelDB 五款较主流的数据库产品中,本文将主要对它们进行分析对比. 鉴于缺乏项目中的实战经验沉淀,本文内容和观点主要还是从各平台资料搜罗汇总,也不会有太多深入或底层原理探讨. 本文所引用的资料来源将示于本文尾部.所汇总的内容仅供参考,若有异议望指正

近年来,高端笔记本及系列上网本越来越多的采用固态硬盘来提升整机性能,尽管众所周知固态硬盘除 了在正常的使用中带来更快速度的体验外,还具有零噪音.不怕震动.低功耗等优点,但大家对固态硬盘的寿命问题的担忧和疑虑却从来没有打消过,毕竟我们宝贵 数据安全性比任何东西都重要,我们用百度和google来搜索固态硬盘寿命想了解更多的实情时,却发现能看到的都是一些理论方面的介绍,难得一见真正的对 固态硬盘寿命进行测试并得出令人信服的数据的文章. 小编收到一款来自瑞耐斯(RENICE)厂家送测的32GB ZIF

SSD固态硬盘的读写速度比传统硬盘快了很多,读取速度能到300M/s 写入速度大约在80M/S 但SSD硬盘的价格也笔记机械硬盘高了很多,128G的固态硬盘淘宝价大概在800左右,想想现在随便一个软件都要好几个G,如果全部使用固态硬盘是有点奢侈了.现在很多超级本都是用固态硬盘 + 机械硬盘混搭,然后通过英特尔快速存储技术(Intel SRT)小容量SSD搭配HDD开启SRT也能给电脑加速不少.但我的电脑主板好像不支持英特尔快速存储技术,于是找到了ExpressCache这个软件,ExpressC

原文: http://www.cnblogs.com/haippy/archive/2011/12/04/2276064.html 对leveldb非常好的一篇学习总结文章 郑重声明:本篇博客是自己学习 Leveldb 实现原理时参考了郎格科技系列博客整理的,原文地址:http://www.samecity.com/blog/Index.asp?SortID=12,只是为了加深印象,本文的配图是自己重新绘制的,大部分内容与原文相似,大家可以浏览原始页面 :-),感兴趣的话可以一起讨论 Level

转自:http://0351slc.com/portal.php?mod=view&aid=12 近期网络上呈现了有关catena.benchmarking boltdb等时刻序列存储办法的介绍,Go社区也有相似的谈论论题,呈现了seriesly.influxDB.prometheus等优异项目.原文作者Jason moiron现在从事Datadog有关工作,文中他关于时刻序列数据库宣布了一些观点,(网友们在Hacker News上也有精彩的谈论)咱们一起来认识下. 时刻序列模型和图形式先于计算

原文地址:http://www.cnblogs.com/haippy/archive/2011/12/04/2276064.html LevelDb日知录之一:LevelDb 101 说起LevelDb也许您不清楚,但是如果作为IT工程师,不知道下面两位大神级别的工程师,那您的领导估计会Hold不住了:Jeff Dean和Sanjay Ghemawat.这两位是Google公司重量级的工程师,为数甚少的Google Fellow之二. Jeff Dean其人:http://research.go

LevelDb本质上是一套存储系统以及在这套存储系统上提供的一些操作接口.为了便于理解整个系统及其处理流程,我们可以从两个不同的角度来看待LevleDb:静态角度和动态角度.从静态角度,可以假想整个系统正在运行过程中(不断插入删除读取数据),此时我们给LevelDb照相,从照片可以看到之前系统的数据在内存和磁盘中是如何分布的,处于什么状态等:从动态的角度,主要是了解系统是如何写入一条记录,读出一条记录,删除一条记录的,同时也包括除了这些接口操作外的内部操作比如compaction,系统运行时崩溃

在说LevelDb之前,先认识两位大牛,Jeff Dean和Sanjay Ghemawat,这两位是Google公司重量级的工程师,为数甚少的Google Fellow之二. Jeff Dean其人:http://research.google.com/people/jeff/index.html,Google大规模分布式平台Bigtable和MapReduce主要设计和实现者. Sanjay Ghemawat其人:http://research.google.com/people/sanjay

这两天研究了很多关于ssd的东西,想想还是写下来把,毕竟花了这么多时间进去. 先说一下我自己的电脑把.前几天,因为嫌我的电脑是在是太卡了,准备来次升级,然后先买了个8g的内存装上,发现的确是没有死机的情况了(内存使用率还不到40哪来的死机),但是卡还是卡,感觉颇为不爽,于是决定继续升级,就有了我现在的这块ssd.现在mac开机8-10s无误,xcode什么的都是秒开的节奏啊.爽爆了.关于这块硬盘的评测我一会会详述的哈. 首先介绍一下ssd吧ssd就是固态硬盘,是一种新型的硬盘,跟传统的机械硬盘h

测试背景及环境说明 阿里云ECS 主机配置: 4C8G root@zabbix-master:~# grep -i "model name" /proc/cpuinfo model name : Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz model name : Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz model name : Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.6

最近了解了一下LevelDB,发觉这个嵌入式的K-V数据性能不错,所以顺便想在使用层面了解一下.由于LevelDB也有针对.net的实现,所以就针对了LevelDB.NET进行了一个简单的读写压力测试.为了更客观的体现测试结构所以添加了大量的数据,和GET操作的时候随机已经有的KEY进行. Set操作 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 public static void WriteTest(object state)   

固态硬盘(Solid State Disk或Solid State Drive),也称作电子硬盘或者固态电子盘,是由控制单元和固态存储单元(DRAM或FLASH芯片)组成的硬盘. 固态硬盘的接口规范和定义.功能及使用方法上与普通硬盘的相同,在产品外形和尺寸上也与普通硬盘一致.由于固态硬盘没有普通硬盘的旋转介质,因而抗震性极佳.其芯片的工作温度范围很宽(-40~85摄氏度).目前广泛应用于军事.车载.工控.视频监控.网络监控.网络终端.电力.医疗.航空等.导航设备等领域. 本文将详细解析SSD固态

近期工作须要找一个能使用磁盘存储数据,对写要求比較苛刻,须要每秒达100000TPS,读的时候须要能10000TPS左右,不能占用太多内存.单节点满足这个要求的常见有Redis.Memcached等,可是这个东西太费内存了,代价比較高,不太合适.找来找去,找到Leveldb这个神器了,在写的时候对内存要求不高,读的时候依据性能要求的不同须要相应的内存,假设使用SSD就是完美搭配了. 眼下主要測试写入性能,发现Leveldb还是使用单线程插入最为高效,可是写入性能很惊人. 測试数据: key=ti

LevelDB系列之整体架构   LevelDb本质上是一套存储系统以及在这套存储系统上提供的一些操作接口.为了便于理解整个系统及其处理流程,我们可以从两个不同的角度来看待LevleDb:静态角度和动态角度.从静态角度,可以假想整个系统正在运行过程中(不断插入删除读取数据),此时我们给LevelDb照相,从照片可以看到之前系统的数据在内存和磁盘中是如何分布的,处于什么状态等:从动态的角度,主要是了解系统是如何写入一条记录,读出一条记录,删除一条记录的,同时也包括除了这些接口操作外的内部操作比如c

原文地址:http://www.expreview.com/19604-all.html SSD横评是最具消费指导意义的评测文章,也是各类热门SSD固态硬盘的决斗疆场.SSD评测在行业内已经有不少网站做过,超能网也从今年开始专注SSD固态硬盘重点产品的评测.随着40nm和25nm新制程的NAND颗粒的 量产,SSD固态硬盘在今年迎来了价格大幅度下降,特别是国内120GB和128GB的SSD固态硬盘价格已经达到非常合理的区间,因此需要阅读SSD评测特别是SSD横评来指导消费的用户,也在呈现爆发式增