hive初体验

Hive搭建学习笔记

一、学习Hive之前,先了解一下什么是Hive;

Hive是Hadoop一个程序接口，Hive让数据分析人员快速上手，Hive使用了类SQL的语法，Hive让JAVA的世界变得简单而轻巧，Hive让Hadoop普及到了程序员以外的人。

二、安装Hive

1.安装前需要保证有mysql，Hadoop的环境

1． 先下载安装包

可以在http://archive.apache.org/dist/hive/ 官网找到对应版本的安装包

2.通过tar命令解压安装包

tar -zvxf apache-hive-2.3.6-bin.tar.gz

3.cd到conf目录

修改defalut配置文件

拷贝一份命名为hive-site.xml

删除里面的配置内容，由于内容比较多，可以通过以下命令

vim删除当前行到倒数第一行的命令

:.,$-1d

然后修改配置

<configuration>

<!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->

<!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->

<!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->

<!-- Hive Execution Parameters -->

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://node02:3306/hive_metadata?createDatabaseIfNotExist=true</value>

<description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

<description>username to use against metastore database</description>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>数据库密码</value>

<description>password to use against metastore database</description>

</property>

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value>

<description>location of default database for the warehouse</description>

</property>

<property>

<name>hive.metastore.schema.verification</name>

<value>false</value>

</property>

</configuration>

保存后修改

hive-log4j2.properties.template 为 hive-log4j2.properties

通过bin初始化一下数据库：

bin/schematool -dbType mysql –initSchema

会生成对应的元数据表

在hdfs上建立对应的目录：

$HADOOP_HOME/bin/hadoop fs -mkidr /tmp
$HADOOP_HOME/bin/hadoop fs -mkidr /user/hive/warehouse
$HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp
$HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse

在etc/profile配置好HIVE_HOME后可以执行

#启动metastore服务

hive --service metastore &

通过hive即可访问hive

hive和hbase同步
https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

hive-hbase-handler-3.1.0.jar 拷贝到hbase lib下，把hbase的lib所有jar拷贝到hive的lib

1、在hive的配置文件增加属性：
<property>
<name>hbase.zookeeper.quorum</name>
<value>node1,node2,node3</value>
</property>

2、在hive中创建临时表

CREATE EXTERNAL TABLE tmp_order
(key string, id string, user_id string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,order:order_id,order:user_id")
TBLPROPERTIES ("hbase.table.name" = "t_order");

CREATE TABLE hbasetbl(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "xyz", "hbase.mapred.output.outputtable" = "xyz");

--创建表
create table t_order(id int,name string,phone string)
row format delimited
 fields terminated by '\t'
 ;

--导入本地数据
load data local inpath '/opt/myhive.data' into table t_order;