hadoop部署安装（六）hive

5.配置hive

5.1 hive下载地址

http://mirror.bit.edu.cn/apache/hive/

解压缩

[root@master ~]# tar xf apache-hive-3.1.2-bin.tar.gz

[root@master ~]# mv apache-hive-3.1.2-bin /usr/local/hive

5.2准备数据库hive

192.168.101.54提供hive服务的数据库hive，用户密码均为hive

建表语句

create database hive default character set utf8;

grant all privileges on hive.* to 'hive'@'%' identified by 'hive';

flush privileges;

5.3配置 Hive

a重命名以下配置文件:

cd /usr/local/hive/conf/

cp hive-env.sh.template hive-env.sh

cp hive-default.xml.template hive-site.xml

cp hive-log4j2.properties.template hive-log4j2.properties

cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

b修改 hive-env.sh:

export JAVA_HOME=/usr/local/jdk  

export HADOOP_HOME=/usr/local/hadoop   

export HIVE_HOME=/usr/local/hive

export HIVE_CONF_DIR=$HIVE_HOME/conf    

c修改 hive-site.xml:

修改对应属性的 value 值

vi hive-site.xml

  <property>

    <name>hive.exec.scratchdir</name>

    <value>/tmp/hive-${user.name}</value>

    <description>HDFS root scratch dir for Hive jobs which gets

    created with write all (733) permission. For each connecting user,

    an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created,

    with ${hive.scratch.dir.permission}.

    </description>

  </property>

  <property>

    <name>hive.exec.local.scratchdir</name>

    <value>/tmp/${user.name}</value>

    <description>Local scratch space for Hive jobs</description>

  </property>

  <property>

    <name>hive.downloaded.resources.dir</name>

    <value>/tmp/hive/resources</value>

    <description>Temporary local directory for added resources in the remote

    file system.</description>

  </property>

  <property>

    <name> hive.querylog.location</name>

    <value>/tmp/${user.name}</value>

    <description>Location of Hive run time structured log file</description>

  </property>

  <property>

    <name>hive.server2.logging.operation.log.location</name>

    <value>/tmp/${user.name}/operation_logs</value>

    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>

  </property>

d配置 Hive Metastore

Hive Metastore 是用来获取 Hive 表和分区的元数据，本例中使用 mariadb 来存储此类元数据。

将 mysql-connector-java-5.1.32-bin.jar 放入 $HIVE_HOME/lib 下

并在 hive-site.xml 中配置 MySQL 数据库连接信息。

<property>

    <name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://192.168.101.54:3306/hive</value>

</property>

(下图内容以上述文本为准)

<property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

</property>

(下图内容以上述文本为准)

<property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>hive</value>

</property>

(下图内容以上述文本为准)

<property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>hive</value>

</property>

(下图内容以上述文本为准)

e为 Hive 创建 HDFS 目录

start-dfs.sh   #如果在安装配置hadoop是已经启动，则此命令可省略

hdfs dfs -mkdir /tmp

hdfs dfs -mkdir -p /usr/hive/warehouse

hdfs dfs -chmod g+w /tmp

hdfs dfs -chmod g+w /usr/hive/warehouse

f hive-site.xml

  3213       Ensures commands with OVERWRITE (such as INSERT OVERWRITE) acquire Exclusive locks fortransactional tables.  This ensures that inserts (w/o over

        write) running concurrently

删除&#*：

5.4初始化schematool

添加环境变量

vim /etc/profile

#hive  

export HIVE_HOME=/usr/local/hive

export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

从 Hive 2.1 版本开始, 在启动 Hive 之前需运行 schematool 命令来执行初始化操作:

schematool -dbType mysql -initSchema

5.5启动 Hive,输入命令 Hive

5.6测试 Hive

在 Hive中创建一个表：

hive> create table test_hive(id int, name string)

> row format delimited fields terminated by '\t'

#字段之间用tab键进行分割

> stored as textfile;

# 设置加载数据的数据类型,默认是TEXTFILE，如果文件数据是纯文本，就是使用 [STORED AS TEXTFILE]，然后从本地直接拷贝到HDFS上，hive直接可以识别数据

hive> show tables;

可以看到表已经创建成功，输入 quit ; 退出 Hive，接下来以文本形式创建数据:

进入 Hive，导入数据:

hive> load data local inpath '/opt/test_db.txt' into table test_hive;

hive> select * from test_hive；

5.7后台运行hiveserver2

远程访问，开放10000端口。10002为beeline的GUI界面。

运行服务

[root@master ~]# nohup hive –service hiveserver2 &

[root@master ~]# netstat -aunltp |grep 10000

[root@master ~]# ps -aux| grep hiveserver2

复制jar包

[root@master lib]# cp /usr/local/jdk/lib/tools.jar /usr/local/hive/lib/