HBase基础知识摘要

HBASE

列式存储，设计思想参考BigTable

文档：http://hbase.apache.org/book.html

• hive适合数据分析，离线任务
• hbase大数据实时查询
• 避免显式锁，提供行原子性操作
• 每行数据只有一台服务器服务，因此有强一致性

存储层使用HDFS

• 按照CF存储，按照Row-key进行关联

Master\Region Server

高可用 容灾

• Master协调Region Server,负载均衡，分配Region给Region Server
• Region Server包括多个Region。Client直接连接Region Server
• Zookeeper 高可用，负责Region和Region Server注册(依赖列表特性)

    客户端有上亿条数据时使用
    - rowKey设计很重要，选一个rowKey，使你的数据均匀的分布在集群中
    - 客户端频繁写一张表时，随机RowKey性能更好
    - 客户端需要频繁读一张表时，有序RowKey性能更好
    - 时间连续的数据，有序RowKey更好
    - Column Family一般不会超过2-3个CF，一般一个就够了
      ，它聚合同一特性的数据

安装

windows环境需要cgyWin，太麻烦了，cgywin挺大的，下载老慢。

• download stabe hbase version

• 修改conf/hbase-env.cmd/sh的JAVA_HOME配置

• 编辑conf/hbase-site.xml配置(本机文件系统，非hdfs系统)

  hbase.rootdir
  file:///home/testuser/hbase

  hbase.zookeeper.property.dataDir
  /home/testuser/zookeeper

• 启动bin/start-hbase.cmd/sh

    create a table:
      create 'test','cf'
    list information:
      list 'test'
    put data:
      put 'test','row1','cf:a','value1'
    scan table
      scan 'test'
    get a row:
      get 'test','row1'

版本相关

Hbase 2.0仅支持JDK 8, Hbase 1.x不再支持jAVA 6

Habase可能会同一时刻打开大量文件，ulimit -n 检查值，使用ulimit -u 确保系统至少配置为10，240

通过预写日志WAL文件来恢复未flush到磁盘的数据，建议配置足够的WAL文件数，使足够多的数据可以被存储

自动切分HRegion

Namespace

Namespace可以用来管理一组table，功能上类似于RDBS的数据库

Column Family

有相同前缀的列，用冒号分隔，如course:history\course:math都是course列族的

Data Model Operations

Get

		public static final byte[] CF = "cf".getBytes();
		public static final byte[] ATTR = "attr".getBytes();
		...
		Get get = new Get(Bytes.toBytes("row1"));
		Result r = table.get(get);
		byte[] b = r.getValue(CF, ATTR);

查询带Version的GET

	public static final byte[] CF = "cf".getBytes();
	public static final byte[] ATTR = "attr".getBytes();
	...
	Get get = new Get(Bytes.toBytes("row1"));
	get.setMaxVersions(3);  // will return last 3 versions of row
	Result r = table.get(get);
	byte[] b = r.getValue(CF, ATTR);  // returns current version of value
	List<KeyValue> kv = r.getColumn(CF, ATTR);  // returns all versions of this column

获取某一行Row

Put

add new rows或者更新已存在的row，有点像upsert

 	隐式version
	public static final byte[] CF = "cf".getBytes();
	public static final byte[] ATTR = "attr".getBytes();
	...
	Put put = new Put(Bytes.toBytes(row));
	put.add(CF, ATTR, Bytes.toBytes( data));
	table.put(put);	

	显式version
	public static final byte[] CF = "cf".getBytes();
	public static final byte[] ATTR = "attr".getBytes();
	...
	Put put = new Put( Bytes.toBytes(row));
	long explicitTimeInMs = 555;  // just an example
	put.add(CF, ATTR, explicitTimeInMs, Bytes.toBytes(data));
	table.put(put);

Scans

查询多行row

		//rowKey的规则可以是复合的，相对于rdbms，可以是几个字段合在一起
		byte[] startRow = Bytes.add(规则1.getBytes(), 规则2.getBytes(), Bytes.toBytes(startTime.getTime()));
 		Scan scan = new Scan();
		scan.setStartRow(startRow);
		scan.setStopRow(endRow);
		scan.addFamily(family);
		ResultScanner rs = table.getScanner(scan);

Delete

删除行，并不立即删除数据，而是记标记，等Master来整理时被处理

http://hadoop-hbase.blogspot.hk/2012/01/scanning-in-hbase.html

Versions

A {row, column, version} tuple exactly specifies a cell in HBase

row和column相同的数据可能有很多，但是他们的version一定不同

version维度的数据是逆序存储的，所以能更快的找到最新的一条数据

• Hbase允许多次写操作的对象为同一version，只有最后的那次写可以被获取
• 写数据时可以不按version的顺序进行写
• api可以操作获取的versions个数，如Get.setMaxVersions()

Hbase number of column families

目前并不能很好的处理列族为2或3的情况，因此尽量保持只有1个列族，除非数据操作总是针对列的，也就是说查询一个列族或另一个列族，但不同时查询两个列族

原因：

• 刷新、整理是在一个Region上的，一个列族在刷新时，相邻的列族也会被刷新，即使它们的数据量很少，所以多个列族会存在着很多无效I/O的问题
• 当CFa有1百万条数据，CFb有10亿条数据时，CFa的数据会被分布在很多，很多的Region上，会导致CFa的查询非常低效

RowKey设计

• 在Hbase中，rows是按字典顺序排序的，这样可以优化查询效率，因为相关的rows是挨着的。
• 拙劣的设计会使Hbase读写存在热点问题，即绝大多数请求指向同一个node或少量的nodes，甚至导致这台region server上的其他region的操作受影响，因为服务器可能过载了（解决办法和ConcurrentHashMap的设计理念相似，分而治之，类似hashcode再rehash）

解决热点问题

• salting 通过一定规则产生随机前缀，达到数据更易均匀分布
• hashing
• 逆序
• 综合多个属性