hive三种方式区别和搭建

Hive 中 metastore（元数据存储）的三种方式：

a)内嵌 Derby 方式

b)Local 方式

c)Remote 方式

第一种方式：本地 mysql

注：这种存储方式需要在本地运行一个 mysql 服务器，并作如下配置,使用 mysql 的方式，需要将 mysql 的 jar 包拷贝到$HIVE_HOME/lib 目录下

1. 安装mysql, 修改权限

yum install mysqld-server

chkconfig mysqld on 设置开机启动

service mysqld start 启动mysql

进入mysql

mysql

use mysql;

show tables;

desc;

select host, user, password from user;

修改mysql权限

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;

delete from user;

flush privileges; 刷新权限

quit

mysql

mysql -u root -p

此时需要输入密码，进入mysql, 如果能够进入，则mysql修改成功

2. 同一台主机上安装 hive

上传hive压缩包，并解压到home目录下

tar zxvf apache-hive-1.2.1-bin.tar.gz -C /home

配置hive环境变量

vi /etc/profile

source /etc/profile

修改hive的配置文件

vi hive-site.xml

hive

发现报如下错误，只需要拷贝mysql的jar包到hive的lib下即可

hive中的高版本替换hadoop中的低版本

hive中的高版本

hadoop中的jline为低版本-->替换为高版本

进入hive中的lib目录，进行copy到hadoop中的lib下

cp jline-2.12.jar /root/hadoop-2.5.1/share/hadoop/yarn/lib

然后 hive 就成功进入了！！！

测试hive

注：使用 derby 存储方式时，运行 hive会在当前目录生成一个 derby 文件和一个metastore_db 目录。这种存储方式的弊端是在同一个目录下同时只能有一个 hive 客户端能使用数据库，否则会提示如下错误 [html] view plaincopyprint? hive> show tables; FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metast ore_db', see the next exception for details. NestedThrowables: java.sql.SQLException: Failed to start database 'metastore_db', see the next exception for details. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask hive> show tables; FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details. NestedThrowables: java.sql.SQLException: Failed to start database 'metastore_db', see the next exception for details. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

第二种方式：远端mysql--remote分开亲测安装

假定node1为客户端，node2为服务端

node1和node2上传hive压缩包，并解压到home路径下，配置hive环境变量

服务端node2：服务端需要mysql jar包

拷贝mysql-connecor-java.jar到hive的lib下

cd conf

mv hive-default.template.xml hive-site.xml

vi hive-site.xml

<configuration>

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/opt/hive/warehouse</value>

</property>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://192.168.1.33:3306/hive?createDatabaseIfNotExist=true</value>

<description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

<description>username to use against metastore database</description>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

<description>password to use against metastore database</description>

</property>

</configuration>

客户端node1：

首先替换hadoop中jline的版本为hive中的高版本，步骤参考第一种方式

cd conf

mv hive-default.template.xml hive-site.xml

vi hive-site.xml

<configuration>

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/opt/hive/warehouse</value>

</property>

<property>

<name>hive.metastore.local</name>

<value>false</value>

</property>

<property>

<name>hive.metastore.uris</name>

<value>thrift://node1:9083</value>

</property>

</configuration>

客户端服务端修改hive-env.sh配置其中的$hadoop_home

测试hive:

node2:

hive --service metastore

node1:

hive

create table tbl (id int, name string);

insert into tbl values(1, 'zhangsan');

select * from tbl;

第三种方式:本地derby

这种方式是最简单的存储方式，只需要在 hive-site.xml 做如下配置便可

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:derby:;databaseName=metastore_db;create=true</value>

</property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>org.apache.derby.jdbc.EmbeddedDriver</value>

</property>

<name>hive.metastore.local</name>

</property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value>

</property>

</configuration>