HBase 学习笔记

1. HBase 的特点

1.线性扩展，自动分表

• region的自动分裂以及master的balance
• 增加datanode机器即可增加容量
• 增加regionserver机器即可增加读写吞吐量

2.海量数据存储

一个表可以有上亿行，上百万列

3.强一致性

同一行数据的读写只在一台regionserver上进行，同一行的列写入是原子的

4.高性能随机写WAL (Write Ahead Log)

5.无缝集成Hadoop，支持MapReduce

2. HBase 各个角色的任务及特点

1）Master

- 为Region server分配region

- 负责region server的负载均衡

- 发现失效的region server并重新分配其上的region

- 监听zk,基于zookeeper感应rs的上下线

- 监听zk,基于zookeeper来保证HA

- 处理schema更新请求

特点：

- 不参与对表的读写访问

- 负载很低

- 无SPOF(单点故障)

2）RegionServer

- Region server维护Master分配给它的region

- 处理对其上region的IO请求,写入/读取数据

- 维护region的cache

- 处理region的flush、compact、split

3）Region和Table

- 以Region为单位管理, region(startKey,endKey)；

- 每个Column Family单独存储：storeFile；

- 当某个Column Family累积的大小 > 某阈值时，自动分裂成两个Region；

- 如何找到某行属于哪个region呢？两张特殊的表：-ROOT- 和.META.

4）Zookeeper

- 保证任何时候，集群中只有一个master

- 保存root region的位置 即存贮所有Region  的寻址入口

- 实时监控Region Server的状态，将Region server的上线和下线信息实时通知给Master

- 存储Hbase的schema,包括有哪些table，每个table有哪些column family

5）HStore

- 存储的核心，由两部分组成：MemStore 和 StoreFiles

- 数据先写入MemStore，满了以后flush成一个StoreFile

- StoreFile数据量超过阀值，触发Compact合并操作

- Rgeion 大小超过阀值，出发Split

- 写操作只进入内存即返回，更新和删除操作都在compact过程中进行，Hbase只有增加，因此保证了I/O的高性能

HBase 加载数据有两种方式

1．  Java 代码 MapReduce 开发工期比较长

2．  hive-hbase-handler hive创建一个表和Hbase共享，通过hive-hbase-handler 往hive中插入数据，从而达到