Hive安装部署与配置

Hive安装部署与配置

1.1 Hive安装地址

1）Hive官网地址：

http://hive.apache.org/

2）文档查看地址：

https://cwiki.apache.org/confluence/display/Hive/GettingStarted

3）下载地址：

http://archive.apache.org/dist/hive/

4）github地址：

https://github.com/apache/hive

1.2 Hive安装部署

1）Hive安装及配置

（1）使用rz命令上传

（2）解压到执行目录

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

（3）修改名称为hive

mv apache-hive-1.2.1-bin/ hive

（4）修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh

mv hive-env.sh.template hive-env.sh

（5）配置hive-env.sh文件

（a）配置HADOOP_HOME路径

export HADOOP_HOME=/opt/module/hadoop-2.8.4

（b）配置HIVE_CONF_DIR路径

export HIVE_CONF_DIR=/opt/module/hive/conf

注：Hive的log默认存放在/tmp/chenchuan/hive.log目录下（当前用户名下）。

（1）修改hive的log存放日志到/opt/module/hive/logs

（2）修改conf/hive-log4j.properties.template文件名称为hive-log4j.properties

pwd /opt/module/hive/conf

mv hive-log4j.properties.template hive-log4j.properties

（3）在hive-log4j.properties文件中修改log存放位置

hive.log.dir=/opt/module/hive/logs

2）Hadoop集群配置

（1）必须启动hdfs和yarn

sbin/start-dfs.sh

sbin/start-yarn.sh

（2）在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写

bin/hadoop fs -mkdir /tmp

bin/hadoop fs -mkdir -p /user/hive/warehouse

bin/hadoop fs -chmod g+w /tmp

bin/hadoop fs -chmod g+w /user/hive/warehouse

1.3 MySql安装

官网下载地址

https://dev.mysql.com/downloads/file/?id=471503

 检测本地是否有mysql已存在的包

rpm -qa | grep mysql

 检测本地是否有mariadb已存在的包

rpm -qa | grep mariadb

如果存在，则使用yum命令卸载

mariadb-libs-5.5.56-2.el7.x86_64

yum -y remove mariadb-libs-5.5.56-2.el7.x86_64

rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64

创建一个文件夹，上传jar包到/opt/software/mysql

mkdir /opt/software/mysql

解压mysql jar包

tar -xvf mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar -C /opt/module/mysql

 安装mysql的 server、client、common、libs、lib-compat

rpm -ivh --nodeps mysql-community-server-5.7.19-1.el7.x86_64.rpm

rpm -ivh --nodeps mysql-community-client-5.7.19-1.el7.x86_64.rpm

rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm

 查看mysql的服务是否启动

systemctl status mysqld

Active: inactive (dead)

 启动mysql的服务

systemctl start mysqld

再次检查mysql的服务是否启动

systemctl status mysqld

Active: active (running) since Thu 2019-03-21 07:23:08 EDT; 2s ago

查看默认生成的密码

cat /var/log/mysqld.log | grep password

2019-03-21T11:23:01.643479Z 1 [Note] A temporary password is generated for root@localhost: iwkJGgd:j6jO

登录mysql服务

mysql -uroot -p’然后粘贴上密码’

修改mysql密码规则

0 or LOW	长度
1 or MEDIUM	长度、大小写、数字、特殊字符
2 or STRONG	长度、大小写、数字、特殊字符、词典

注：以下修改是临时修改

a.密码强度检查等级，0/LOW、1/MEDIUM、2/STRONG

mysql> set global validate_password_policy=0;

Query OK, 0 rows affected (0.05 sec)

b.密码至少要包含的小写字母个数和大写字母个数

mysql> set global validate_password_mixed_case_count=0;

Query OK, 0 rows affected (0.00 sec)

c.密码至少要包含的数字个数 

mysql> set global validate_password_number_count=3;

Query OK, 0 rows affected (0.00 sec)

d.密码至少要包含的特殊字符数

mysql> set global validate_password_special_char_count=0;

Query OK, 0 rows affected (0.00 sec)

e.密码最小长度，参数默认为8

它有最小值的限制，最小值为：validate_password_number_count + 密码至少要包含的数字个数validate_password_special_char_count +特殊字符

(2 * validate_password_mixed_case_count)至少要包含的小写字母个数和大写字母个数

mysql> set global validate_password_length=3;

Query OK, 0 rows affected (0.00 sec)

修改密码：

alter user root@localhost identified by '000000';

flush privileges;

(这两步可以跳过)

mysql> use mysql;

mysql> SHOW VARIABLES LIKE 'validate_password%';

+--------------------------------------+-------+

| Variable_name                        | Value |

+--------------------------------------+-------+

| validate_password_dictionary_file    |       |

| validate_password_length             | 3     |

| validate_password_mixed_case_count   | 0     |

| validate_password_number_count       | 3     |

| validate_password_policy             | LOW   |

| validate_password_special_char_count | 0     |

+--------------------------------------+-------+

修改远程登录权限

大家默认的%的位置是localhost,即意味着只能本机访问

查询当前user表内root的登录权限：

select host,user from mysql.user;

修改权限为所有%：

update mysql.user set host = '%' where user = 'root';

刷新缓存：

flush privileges;

1.4 Hive元数据配置到MySql

1.4.1 驱动拷贝

1）上传mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/

cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

1.4.2 配置Metastore到MySql

1）在/opt/module/hive/conf目录下创建一个hive-site.xml

touch /opt/module/hive/conf/hive-site.xml

2）根据官方文档配置参数，拷贝数据到hive-site.xml文件中。

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>

<description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

<description>username to use against metastore database</description>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>000000</value>

<description>password to use against metastore database</description>

</property>

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value>

<description>location of default database for the warehouse</description>

</property>

<property>

<name>hive.cli.print.header</name>

<value>true</value>

</property>

<property>

<name>hive.cli.print.current.db</name>

<value>true</value>

</property>

</configuration>

3） 配置完毕后，如果启动hive异常，可以重新启动虚拟机。（重启后，别忘了启动hadoop集群）

4） 在hive的bin目录下执行./schematool -dbType mysql -initSchema