Hive如何加载和导入HBase的数据

当我们用HBase 存储实时数据的时候，如果要做一些数据分析方面的操作，就比较困难了，要写MapReduce Job。 Hive 主要是用来做数据分析的数据仓库，支持标准SQL 查询，做数据分析很是方便，于是便很自然地想到用Hive来载入HBase的数据做分析，但是很奇怪地是，上网查了一下，只看到以下两种情况：

1. 如何用Hive 往HBase里面插入大量的数据。

2. Hive 与HBase集成，直接从Hive里面连HBase的数据库进行查询。参考链接： https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

选项1是我们需求的逆操作，直接忽略，选项2, 虽然没有做专门的Benchmark, 但总感觉直接对HBase进行查询操作不怎么靠谱，如果我们要频繁做很多类型的数据分析，那HBase的压力一定会倍增。

难道没有把HBase里面的数据直接导入到Hive当中的工具或者方法吗？

找了一会，似乎没找到，那么只好自己想一个解决方案了。

思路：

利用选项2, 先打通Hive对HBase指定表的全表访问，再建立一个新的空表，把查询出来的数据全部导入到新表当中，以后的所有数据分析操作在新表中完成。

说干就干，让我们试一个简单的例子。

首先在HBase里面建一个表，名为 student，包含 id 和 name 两个column.

hbase shell

create 'student', 'id', 'name'

向表中插入两行数据

put 'student', 'row1', 'id:val', ''

put 'student', 'row1', 'name:val', 'Tony'

put 'student', 'row2', 'id:val', ''

put 'student', 'row2', 'name:val', 'Mike'

注意：在插入数据的时候一定要指定column (如id:val, name:val) 直接使用column family (如 id, name) 去存数据会导致后面Hive 建表的时候有问题。

扫描此表，确定数据已经插入

scan 'student'

ROW                               COLUMN+CELL

 row1                             column=id:val, timestamp=, value=

 row1                             column=name:val, timestamp=, value=Tony

 row2                             column=id:val, timestamp=, value=

 row2                             column=name:val, timestamp=, value=Mike

建立Hive 对HBase的访问

参考： https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

这里我们使用的是Pivotal 公司的Pivotal Hadoop,

hive --auxpath /usr/lib/gphd/hive/lib/hive-hbase-handler-0.11.-gphd-2.1.1.0.jar,/usr/lib/gphd/hbase/hbase.jar,/usr/lib/gphd/zookeeper/zookeeper.jar,/usr/lib/gphd/hbase/lib/guava-11.0..jar -hiveconf hbase.zookeeper.quorum=centos62-,centos62-,centos62-

解释一下参数：

后面三个jar 包主要是Hive 访问时需要用到的， hhbase.zookeeper.quorum=centos62-3,centos62-4,centos62-5 是指hbase使用的是这三个zookeeper, 这样就不用指定hbase master了。

这个命令运行完以后会打开Hive 的输入终端。

从Hive建立可以访问HBase的外部表

CREATE EXTERNAL TABLE student(key string, id int, name string)

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES ("hbase.columns.mapping" = "id:val,name:val")

TBLPROPERTIES("hbase.table.name" = "student");

扫描student表，确认访问成功：

hive> select * from student;

OK

row1    1    Tony

row2    2    Mike

但是此时这个表实际上是一个虚拟表，实际的数据还在HBase中。下面需要在Hive中另建一个结构一样的空表，再把数据导出来。

Hive中建立一个新的空表

CREATE TABLE new_student (

  key string,

  id INT,

  name STRING)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t'

STORED AS TEXTFILE;

将数据从HBase中导入到新的Hive表中

hive> INSERT OVERWRITE TABLE new_student SELECT * FROM student;

确认新表中数据正确：

hive> select * from new_student;

OK

row1    1    Tony

row2    2    Mike

至此大功告成！

以后所有复杂的数据查询和数据分析都可以在new_student表中完成。

本文由雷子－晓飞爸所有，发布于http://www.cnblogs.com/npumenglei/ 如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。