Hbase原理（转学习自用）

一、系统架构

从HBase的架构图上可以看出，HBase中的组件包括Client、Zookeeper、HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、HLog等，接下来介绍他们的作用。

Client

1、Hbase有两张特殊表：

.META：记录了用户所有表拆分出来的Region映射信息，.META可以有多个Region

-ROOT-:记录了.META表的Region信息，-ROOT-只有一个Region，无论如何也不会分裂

2、Client访问永福数据前需要先访问Zookeeper，找到-ROOT-表的Region所在的位置，然后访问-ROOT-表，接着访问.META表，最后找到用户数据的位置去访问，中间需要多次网络操作，不过client端会做Cache缓存。

Zookeeper

1、zookeeper为Hbase提供Failover机制，选举Master，避免单点Master单点故障问题。

2、存储所有Region的寻址入口：-ROOT-表在哪台服务器上。-ROOT-这张表的位置信息

3、实时监控RegionServer的状态，将RegionServer的上线和下线信息实时通知给 Master。

4、存储 HBase 的 Schema，包括有哪些 Table，每个 Table 有哪些 Column Family

Master

1、为RegionServer分配Region

2、负责RegionServer的负载均衡

3、发现失效的RegionSerer并重新分配其上的Rgion

4、HDFS上的垃圾（Hbase）回收

5、处理Schema更新请求（表的创建，删除等）

注意：

　　从架构图可以看到，client访问Hbase上数据的过程并不需要master参与（寻址zookeeper和RegionServer数据读写访问RgionServer），Master 仅仅维护者 Table 和 Region 的元数据信息，负载很低。

　　.META. 存的是所有的 Region 的位置信息，那么 RegioneServer 当中 Region 在进行分裂之后 的新产生的 Region，是由 Master 来决定发到哪个 RegioneServer，这就意味着，只有 Master 知道 new Region 的位置信息，所以，由 Master 来管理.META.这个表当中的数据的 CRUD

　　所以结合以上两点表明，在没有 Region 分裂的情况，Master 宕机一段时间是可以忍受的。

RegionServer

1、RegionServer维护Master分配给它的Region,处理这些Region的I/O请求

2、RegionServer负责Slipt在运行过程中变得过大的Region,同时也负责Compact操作

HRegion

table在行的方向上分隔为多个Region，Region是Hbase中分布式存储和负载均衡的最小单元，即不同的Region可以分别在不同的RegionServer上，但同一个Region是不会拆分到多个Server上。

Region按大小分隔，每个表一般是只有一个Region，随着数据不断插入表，Region不断增大，当一个Region的某个列族达到一个阈值时就会分成两个新的Region.

Store

每一个Region由一个或多个Store组成，至少是一个store，Hbase会把一起访问的数据放在一个store里面，即为每个ColumnFamily建一个store，如果有几个ColumnFamily，也就有几个Store。一个Store由一个memStore和0或者 多个StoreFile组成。 HBase以store的大小来判断是否需要切分region

Memstore

memstore是放在内存里的。当memestore的大小达到一个阈值时（默认128M）时，memstore会被flush到文件，即生成一个快照。目前hbase会有一个线程来负责memstore的flush操作。

StoreFIle

memstore内存中的数据写到文件后就是StoreFile，StoreFile底层是以HFile的格式保存。StoreFile 以 HFile 格式保存在 HDFS 上

HFile

hbase中keyvalue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了一个轻量级包装，即StoreFile底层就是HFile

Hlog

Hlog(WAL LOG):WAL意为write ahead log，用来做灾难恢复使用，HLog记录数据的所有变更，一旦region server 宕机，就可以从log中进行恢复。

HLog文件就是一个普通的Hadoop Sequence File， Sequence File的value是key时HLogKey对象，其中记录了写入数据的归属信息，除了table和region名字外，还同时包括sequence number和timestamp，timestamp是写入时间，sequence number的起始值为0，或者是最近一次存入文件系统中的sequence number。 Sequence File的value是HBase的KeyValue对象，即对应HFile中的KeyValue。

二、物理存储

1、整体的物理结构

1、Table中的所有行都是按照Rowkey的字典序排序

2、Table在行的方向上分隔为多个Region

3、Hregion按大小分隔的（默认10G），每个表一开始只有一个Hregion,随着数据不断插入表，HReion不断增大，当增大到一个阈值的时候，HRegion就会等分为两个新的HReion.当表中的行不断增多，就会有越来越多的HRegion。

4、HRgion是Hbase中分布式存储和负载均衡的最小单元。最小单元就表示不同的HRgion可以分布在不同的HRegionServer上。但一个HRgion是不会拆分到多个Server上的。

5、HRreion虽然是负载均衡的最小单元，但并不是物理存储的最小单元。事实上，HRegion 由一个或者多个 Store 组成，每个 Store 保存一个 Column Family。每个 Strore 又由一个 memStore 和 0 至多个 StoreFile 组成

MemStore 和 StoreFile

一个HRegion由多个Store组成，每个Store包含一个列族的所有数据。

Store包括位于内存的一个memstore和位于硬盘的多个Storefile组成。

写操作先写入memstore，当memstore中的数据量达到某个阈值，HregionServer启动flushCache进程写入Storefile，每次写入形成单独一个Hfile

当总storefile大小超过一定阈值后，会把当前的region分割成两个，并由HMaster分配给相应的region服务器，实现负载均衡。

客户端检索数据时，现在memstore找，找不到再去storefile找。

三、RegionServer工作机制

1、Region分配

任何时刻，一个Region只能分配给一个 RegionServer。master记录了当前有哪些可用的RegionServer。以及当前哪些 Region 分配给了哪些 RegionServer，哪些 Region 还没有分配。 当需要分配的新的 Region，并且有一个 RegionServer 上有可用空间时，Master 就给这个 RegionServer 发送一个装载请求，把 Region 分配给这个 RegionServer。RegionServer 得到请 求后，就开始对此 Region 提供服务。

2、RegionServer上线

Master使用zookeeper来跟踪RegionServer状态。当某个RegionServer启动时，会首先在Zookeeper上的server目录下建立代表自己的znode，由于Master订阅了server目录上的变更消息，当server目录下的文件出现新增或删除操作时，Master可以得到来自Zookeeper的实时通知。因此一旦RegionServer上线，Master能马上得到消息。

3、RegionServer 下线

当 RegionServer 下线时，它和 zookeeper 的会话断开，ZooKeeper 而自动释放代表这台 server 的文件上的独占锁。Master 就可以确定：

　　1、RegionServer 和 ZooKeeper 之间的网络断开了。

　　2、RegionServer 挂了。

　　无论哪种情况，RegionServer都无法继续为它的Region提供服务了，此时Master会删除server 目录下代表这台 RegionServer 的 znode 数据，并将这台 RegionServer 的 Region 分配给其它还 活着的同志。

四、Matser工作机制

1、Master上线

Master上线启动步骤：

1、从Zookeeper上获取一个代表Active Master的锁，用来阻止其他的Matser成为Active Master。

2、扫描Zookeeper上的server父节点，获得当前可用的RegionServer列表。

3、和每个RegionServer通信，获得当前已分配的 Region 和 RegionServer 的对应关系

4、扫描.META. Region 的集合，计算得到当前还未分配的 Region，将他们放入待分配 Region 列表

2、Master下线

由于Master只维护表和Region的元数据，而不参与表数据I/O的过程，Master下线仅导致元数据的修改被冻结（无法删除表，无法修改表的schema，无法进行Region的负载均衡，无法处理Region上下线，无法进行Region合并，唯一例外的是Region的split可以正常进行，因为只有RegionServer参与），表的数据读写还可以正常进行，因此Master下线短时间内对整个 hbase 集群没有影响