HBase数据存储

HRegionServer



HBase的数据文件都存储在HDFS上，格式主要有两种:

- HFile:HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制文件，实际上StoreFile就是对HFile做了轻量级的包装，即StoreFile底层就是HFile

- HLog File:HBase中WAL(Write Ahead Log)的存储格式，物理上是Hadoop的Sequence File带项目符号的内容





- HRegionServer管理一些列HRegion对象

- 每个HRegion对应Table中一个Region,Hegion由多个HStore组成

- 每个HStore对应Table中一个Column Family存储

- Column Family就是一个集中的存储单元，故将具有相同IO的Column放在一个Column Family会更高效

HStore(MemStore和StoreFile)



- Client写入:存入MemStore,一直到MemStore满了->Flush成一个StoreFile,直至增长到一定阈值->发出Compact合并操作->多个StoreFile合并成一个StoreFile,同时进行版本合并和数据删除->当StoreFiles compact后，逐步形成越来越大的StoreFile->单个StoreFile大小超过一定阈值之后，触发Split操作，会把当前Region Split成2个Region,Region会下线，新Split出的2个孩子Region会被HMaster分配到响应的HRegionServer上，使得原先1个Region的压力得以分流到2个Region上。

- HBase只是增加数据，所有的更新和删除操作，都是在Compact阶段做的，所以，用户写操作只需要进入内存即可立即返回，从而保证IO高性能



- StoreFile以HFile格式保存在HDFS上

- Data Block段保存表中的数据，这部分可以被压缩

- Meta Block段(可选)保存用户自定义的KV对，可以被压缩

- File Info段–HFile的元信息，不压缩，用户可以在这一部分添加自己的元信息

- Data Block Index段 -Data Block的索引。每条索引的Key是被索引的block的第一条记录的Key

- Meta Block Index段(可选)-Meta Block的索引

- Trailer -这一段是定长的，保存的是每一段的偏移量

压缩

- HFile的Data Block.Meta Block通常采用压缩方式存储；

好处:压缩之后可以大大减少网络IO和磁盘IO

坏处:需要花费cup进行压缩和解压缩

-HFlie支持的压缩格式:Gzip,Lzo,Snappy…

KeyValue存储结构





- HFile里面的每个KeyValue对就是一个简单的byte数组

- KeyLength和ValueLength:两个固定的长度，分别代表Key和Value的长度

- Key部分:Row Length是固定长度的数值，表示RowKey的长度，Row就是RowKey

- Column Family Length是固定长度的数值，表示Family的长度，接着就是Column Family,再接着是Qualifier，然后是两个固定长度的数值，表示TimeStamp和Key Type(Put/Delete)

- Value部分没有那么复杂的结构，就是纯粹的二进制数据

HLog文件结构