概述 compaction主要包括两类:将内存中imutable 转储到磁盘上sst的过程称之为flush或者minor compaction:磁盘上的sst文件从低层向高层转储的过程称之为compaction或者是major compaction.对于myrocks来说,compaction过程都由后台线程触发,对于minor compaction和major compaction分别对应一组线程,通过参数rocksdb_max_background_flushes和rocksdb_max_b…

对于compaction是leveldb中体量最大的一部分,也应该是最为复杂的部分,为了便于理解我们首先从一些基本的概念开始.下面是一些从doc/impl.html中翻译和整理的内容: Level 0 当日志文件超过一定大小的阈值是 (默认为 1MB): 建立一个新的memtable和日志文件,以后的操作都是用新的memtable和日志文件 后台进行如下操作: 将旧的 memtable写到SSTable中(过程为先转为immtable_table,然后遍历写入) 废弃旧的 memtable 删除…

Compaction中的Iterator 一般来说,Compaction的Input涉及两层数据的合并,对于涉及到的每一层数据: 如果是level-0,对level-0的每一个sstable文件建立一个Iterator, 因为Level-0的sstable之间存在Overlap. 如果不是level-0,对该 level 的所有sstable文件建立一个TwoLevelIterator. 对于这个TwoLevelIterator: first_level_iter_   : 表示该层所涉及到Co…

Compaction有两种类型: (1)minor compaction:属于轻量级.将多个小的storefile文件重写为数量较少的大storefile文件,减少存储文件的数量,实际上是个多路归并的过程.它不会删除被标记为“删除”的数据和以往过期的数据,并且执行过一次minor合并操作后,还会有多个storefile文件.因为Hfile的每个文件都是经过归类的,所以合并速度很快,只受到磁盘I/O性能的影响. (2)major compaction:属于重量级.将一个region中,一个列簇的若…

leveldb的数据存储采用LSM的思想,将随机写入变为顺序写入,记录写入操作日志,一旦日志被以追加写的形式写入硬盘,就返回写入成功,由后台线程将写入日志作用于原有的磁盘文件生成新的磁盘数据.Leveldb在内存中维护一个数据结构memtable,采用skiplist来实现,保存当前写入的数据,当数据达到一定规模后变为不可写的内存表immutable table.新的写入操作会写入新的memtable,而immutable table会被后台线程写入到数据文件.Leveldb的数据文件是按层存放…

1.概述 客户端读写数据是先从HBase Master获取RegionServer的元数据信息,比如Region地址信息.在执行数据写操作时,HBase会先写MetaStore,为什么会写到MetaStore.本篇博客将为读者剖析HBase MetaStore和Compaction的详细内容. 2.内容 HBase的内部通信和数据交互是通过RPC来实现,关于HBase的RPC实现机制下篇博客为大家分享.客户端应用程序通过RPC调用HBase服务端的写入.删除.读取等请求,由HBase的Maste…

借鉴于LevelDB.Cassandra的Compaction方法,https://issues.apache.org/jira/browse/HBASE-7667 提出了Stripe Compaction的方法. Motivation: 1)过多Region会增大RS维护的开销,降低RS的读写性能.随着数据量的增大,在一定程度上增加Region个数,会提高系统的吞吐率.然而,RS上服务的Region个数增多,增加了RS下内存维护的开销,尤其每个Store下都配置有一个MemStore,从而会造…

当 client 向 hregion 端 put() 数据时, HRegion 会判断当前的 memstore 的大小是否大于参数hbase.hregion.memstore.flush.size 值,如果大于,则执行 flushcache() 操作,将 hregion 上的 memstore 刷新到 store files 文件里. 而在 flushcache 时,会先判断当前的 region 是否满足以下条件 Store files number > 参数hbase.hstore.block…

转载:http://blog.csdn.net/kalaamong/article/details/7290192 接上文啊: 测试机性能 CPU 16* Intel(R) Xeon(R) CPU           E5620  @ 2.40GHz MEMORY 48GB DISK 12*SATA 2TB NET  4*1Gb Ethernet 测试数据: 类型 国内某视频网站近半年用户访问日志 结构 一行九列,包括用户访问页,关键词及其它用户信息.对应HBase一个family下9个colu…

HBase Compaction策略 RegionServer这种类LSM存储引擎需要不断的进行Compaction来减少磁盘上数据文件的个数和删除无用的数据从而保证读性能. RegionServer后台有一组负责flush region的线程(MemStoreFlusher),每次从flushQueue中拿出一个flush region请求,会检查这个region是否有某个store包含的storefile个数超过配置 hbase.hstore.blockingStoreFiles,默认7,如…