hbase 相关

----------------------------------------hbase的 安装----------------------------------------

本地安装：

1 解压文件夹。

2 修改  conf/hbase-site.xml ，配置 数据文件夹

　　 <property>

<name>hbase.rootdir</name>
    <value>file:///DIRECTORY/hbase</value>
  </property>
3 然后就可以启动了：./bin/start-hbase.sh

4 进入客户端：./bin/hbase shell

分布式安装：
1 修改 数据文件目录( habse-site.xml)

　　hbase.rootdir
　

2 开启分布式( habse-site.xml)

　hbase.cluster.distributed

3 配置regionserver (regionservers)

4 停用 自带的 zk ( hbase-en.sh)
　　HBASE_MANAGES_ZK=false

5 配置 zk 集群地址，和 配置 只看数据文件地址( habse-site.xml)
　　hbase.zookeeper.quorum
　　hbase.zookeeper.property.dataDir

6 复制 hdfs-site.xml 到hbase的 配置文件目录。

7 启动 hbase 
　　./bin/start-hbase.sh

　　备注：默认 只会在启动 hbase 的机器上启动一个 hmaster 。但是我们可以在别的 任意节点再次启动其他 hmaster。

8 启动别的 hmaster 
　./hbase-daemon.sh start master

----------------------------------------hbase的常见语法----------------------------------------

1 创建表 ：

　　create 'test', 'cf'

2 插入一行： （一次只能插入一列，如果有多列 反复用这个rowkey 插入）

　　put 'test', 'row1', 'cf:a', 'value1'

3 查询：

　　scan 'test'

4 查询一行 

　　

get 'test', 'row1'

5 禁用一张表
　　disable 'test'

6 删除一张表：（只有禁用了的才能删除）
　　drop 'test' 

7 停止 hbase：
　　

 ./bin/stop-hbase.sh
8 查看表结构：
　　desc  'test'

----------------------------------------hbase的理论知识点---------------------------------------- 

1 hbase 是一个nosql 数据库。

2 hbase 是一个 列存数类型nosql据库

3 hbase 数据存放的 没一行必须有 rowkey 。并且查询几乎都需要使用到 rowkey，所以 rowkey 生成规则非常重要。

4 hbase  需要预定义列族（  column fmaliy  ），在定义表的时候5 hbase 官方建议 列族不超过3 个，因为为超过三个带来的性能消耗问题目前还没有太好的解决方

6 hbase 的 真正列叫做 colunm。   可以在 put 数据的时候任意指定。

7 hbase  决定一个数据cell的因数 ， rowkey（ 行号） ，cf（列族） ，column（列）和 timestamp（ 时间）。

8 cell 中的数据是 以 key value 的形式存储的。key 的组成：key = {rowkey +  column + version}， cell 里面的 value 是 数据的字数组。和 基于内存的 key-value nosql 数据库不同的是 这个 value 主要是放在 硬盘。

9 cell 是 hbase存储数据的基本单元。

10 每次向 hbase 使用的 hdfs 存储数据，不利于修改，hbase的修改 是一时间毫秒数最为 version 另外存了一份，如果 最大当前 rowkey 对应的 column 对应的数据版本超过表允许的版本，那么会自动删除当前数据块最旧一个的版本。

11 HLog （ WAL log )  类似数据库 的 tranlog ， 具体里面有什么 有空查询一下。

12 hbase  体系架构图
　　

13  hbase 的 主节点叫做 HMaster，从节点叫做 HRegionserver。

14 一个 HRegionServer 有 多个 Hregion， 但是 只有一个Hlog  。

　15 HRegion 把表中的数据进行横向切分（按照rowkey ，rowkey 连续的一部分放在一起的，有序的）。

　

16 HRegion 下面有多个 Store ，每一个 Store 代表一个 列族。如果这个表只有一个 cf 那么  就只有一个 store。（并且每一个 cf 的数据都存在同一个目录下）

　

17 store 分 2 种 ，一种叫做 memStore ，一种叫做 storeFile。

　

18 memStore 是数据刚 写入的时候在内存中。这时候就是在 memstore 里面。

　

19 当 memstore 触发溢写的时候 ，产生 storeFile ，每次溢写都产生一个新的 storeFile。

　

20 当系统的 storeFile 多到一定数量，就会触发合并压缩，产生更大的 单个 storeFile。

　

21 合并压缩分2 中，一种 辅助压缩（  minor compaction），一种是主要压缩（ major compaction ）

　

22 只有 major compaction 才能版本合并和删除老版本数据。

　

23 当某个 region 的所有的 storeFile 大于 一定值的时候会吧自己分成2 个region，这个过程叫做裂变，并且 hmaster 会把其中一个region 分到合适的regionserver 上。

　 24 master 做的事情

　　　　1 为 region server 分配region。

　　　　2 负责 region server 的负载均衡（吧 region 分给 region 少的region server）

　　　　3 如果有 region server下线。那么在别的region server 上找到  这个 region server 上的 region ，并且重新复制这些region，并且分配各合适的 region server。

　　　　4 管理用户的 table的 增删改操作。

　　region server 做的事情

　　　　1 维护自己管理的region，处理这些region的io 请求

　　　　2 负责切片 运行过程中变得 过大的 region，这个过程叫做 region的  裂变。

　

25 HRegion 是hbase 中分布式存储和负载均衡的最小单元。 一个表的多个 region 可以在不同region server 上。

　 26 storeFile 是 以 Hfile 的格式存在hdfs 上的。

　27 如果没有溢写 过，那么这时候 store 没有storeFile， 在 hdfs 上 就没有 数据。

28  hbase 数据模型