HBASE小结--待续使用

构建在HDFS之上的分布式，面向列的存储系统，使用zookeeper做协同服务，在需要实时读写和随机访问超大规模数据集的时候使用

缺点：非关系型，不支持SQL，数据类型单一（字符串，无类型），之支持单行事物

优点：大（上亿行，百万列），面向列/列簇的存储和控制权限，稀疏存储（对于NULL列不占空间），无模式，多版本

 

Hbase将数据（storeFile-Hfile二进制流形式）存储在HDFS的数据块儿上，Hbase HRegin server集群中所有region的数据在服务器启动时都被打开的，并且在内存中初始化了一些memstore，加快了响应。

Hadoop的block中的数据文件默认关闭，在需要时才打开，处理完就关闭，增加了响应时间

 

为什么实时，LSM-Tree + HTable(region分区) + Cache

客户端提交请求，可以获得（-ROOT- .META.）信息缓存在客户端本地，减少查找成本，根据这个信息定位到要查询数据所在的HRegion server服务器，在服务器上定位到与请求对应的region（看下region是否缓存在memstore（按key排序的树形结构缓冲区），有则直接返回，没有则读持久化的storefile（也是按key排序的属性文件，并且为范围查找和block查询优化过））上查找要匹配的数据。

磁盘读取按块读取，如果在Blockcache中查到则返回，否则去storefile文件中读取一个Block，没有就将该数据Block放到HRegion server的blockcache中，接着读下一个。直到读完。这里的blockcache有lru清理

 

这个文章对于理解很有帮助，转一些内容，谢谢作者分享

From:http://blog.csdn.net/u010270403/article/details/51648462

HBase的逻辑数据模型：

HBase的物理数据模型（实际存储的数据模型）：

物理上按照rowkey字典序（10，100，11）排列，所以key设计要充分利用这个有序特性，将经常一起存取的行存储在一起，需要整型自然序要用0进行昨填充，行的一次读写是原子的

访问Hbase行只有三种方式：

1. 通过单个rowkey

2. 通过rowkey的range全表扫描

访问控制，磁盘和内存的使用统计都是在列簇层面进行的，可以控制一些应用只能浏览，一些应用可以创建等

Cell 是由 {row key，column(=< family> + < label>)，version} 唯一确定的单元

Table在行方向上分割为多个HRegion，每个region分散在不同的region server中

每个HRegion由多个store（columns family）组成，每个store由memstore和多个storefile组成。

这里就可以理解，首先从行的层面，rowkey关系到region的分割， 从列簇层面，每个列簇又影响HRgion下面Store的分配

table(n个rowkey) -》 按照rowkey拆分成多个HRegion -》 按照分布策略分散到不同的HRegion server　-》 每个HRegion内按照列簇分多个store -》每个store按照LSM Tree结构分为memstore/storefile

 

 

HMaster：管理region到region server的分配/region server负载均衡/发现失效的regionserver并重新分配region/hdfs上垃圾文件回收/处理schema更新请求

HRegionServer：维护HMaster分配给他的region/处理对这些region的io请求/负责HRegion太大的切分

Client：访问HBASE，HMaster仅维护table和region的元数据信息，而table的元数据信息在zookeeper上也有，寻址访问zookeeper和region server，数据读写访问region server所以client访问hbase上的数据不需要master参与

HRegion：table在行方向上分割为多个Region，Region是HBase中存储和负载均衡的最小单元

1. < 表名,startRowkey,创建时间>
2. 由目录表(-ROOT-和.META.)记录该region的endRowkey

Store:每个region由一个或多个store组成，每个列簇建一个store（相当于把一起访问的数据放在一个store里）

基于LSM结构的存储方式：

Memstore:内存中，保存修改的数据KV，当达到一定大小就被flush到文件，生成一个快照

Storefile：底层持久化文件，以HFile保存数据

 

HLog（hadoop sequence file）: 用来记录操作内容的日志，只有日志写入成功，才会通知客户端操作成功。每个HRegionServer中都有一个HLog对象，HLog是一个实现Write Ahead Log的类并且所有region共享一个Hlog实例，数据按照到达顺序写入，在每一次用户操作写入MemStore的同时，也会写一份数据到HLog文件中，HLog文件定期(当文件已持久化到StoreFile中的数据)会滚出新的，并且删除旧的文件。当HRegionServer意外终止 后，HMaster会通过Zookeeper感知到，HMaster首先会处理遗留的Hlog文件，将其中不同Region的Log数据进行拆分，分别放到相应Region的目录下，然后再将失效的Region重新分配，领取到这些Region的Regionserver在Load Region的过程中，会发现历史HLog需要处理，因此Replay HLog中的数据到MemStore中，然后flush到StoreFiles,完成数据恢复

Zookeeper负责协调，通知各个组件：选主/存储Region寻址入口/监控Region server上下线并通知HMaster/存储HBase的schema和table元数据

 

写入操作流程转：http://blog.csdn.net/u010270403/article/details/51648462