Spark On Hive

配置 MySQL

通过官网下载并解压：
    tar -zxvf mysql-8.0.31-el7-x86_64.tar.gz -C /usr/local
重命名：
    mv mysql-8.0.28-el7-x86_64 mysql8

配置 /etc/my.cnf :

点击查看代码

[client]
port=3306
socket=/tmp/mysql8/mysql.sock

[mysqld]
port=3306
user=mysql
character_set_server=utf8mb4
collation-server=utf8mb4_general_ci
basedir=/usr/local/mysql8
datadir=/usr/local/mysql8/data
socket=/tmp/mysql8/mysql.sock
skip-name-resolve
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd

[mysqld_safe]
log-error=/var/log/mysqld/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

#
# include all files from the config directory
#
!includedir /etc/my.cnf.d

配置中不存在的目录进行创建

mkdir -p /tmp/mysql8

mkdir -p /usr/local/mysql8/data

mkdir -p /var/log/mysqld

mkdir -p /var/run/mysqld

新增用户组

useradd -m mysql

groupadd mysql

对所有创建mysql相关的文件夹用户组都进行更改

cd /usr/local/ && chown -R mysql：mysql mysql8

cd /tmp/ && chown -R mysql：mysql mysql8

cd /var/log && chown -R mysql：mysql mysqld

cd /var/run && chown -R mysql：mysql mysqld

Could not create unix socket lock file /tmp/mysql8/mysql.sock.lock

我在隔了几天再次使用MySQL时，遇到了如上的报错，这个报错是由于权限问题所导致，通过如下指令解决(通过日志去定位，可能登陆失败是别的原因)：

cd /tmp/
mkdir mysql8/     （如果提示目录不存在的话）

chown -R mysql:mysql /tmp/mysql8/

MySQL 初始化

cd /usr/local/mysql8

./bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql8/ --datadir=/usr/local/mysql8/data/

完成后，回生成一个随机密码，做好记录，后续修改密码时需要使用。

启动 MySQL

cd /usr/local/mysql8/support-files/

su mysql（从root用户切换到mysql用户，因为有些文件需要mysql用户帮助生成）

./mysql.server start (启动服务)

./mysql.server status(查看状态)

./mysql.server stop(关闭服务)

su root（切换回root用户）

注意事项

配置文件 my.cnf 中，如果存在 skip-grant-tables ，需将其注释掉

MySQL 服务重启

./mysql.server start

cd /usr/local/mysql8/bin

./mysql -uroot -p 回车后，输入第一次生成的随机密码

set password=’123456’(重新设置密码)

quit 退出命令行模式，可使用新密码重新登录

如果忘记初始密码，可以打开注释内容skip-grant-tables（跳过权限验证），后重新设置初始密码。设置后将该内容重新注释，重启服务。

远程连接

工具：Navicat

连接时出现的问题：
  1130 Host ***.***.***.*** is not allowed to connect to this MySQL server
  解决方案：
    可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的那台电脑，登入mysql后，更改 “mysql” 数据库里的 “user” 表里的 “host” 项，从“localhost”改称”%”mysql -u root -p

    mysql>use mysql;

    mysql>update user set host = ‘%' where user =’root’;

    mysql>flush privileges;

    mysql>select host,user from user where user=’root’;

    现在就可以连接了！

  1251 Client does not support authentication protocol requested by server; consider upgrading MySQL client.
  解决方案：
    出现这个原因是mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password，把mysql用户登录密码加密规则还原成mysql_native_password.
    ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '12345'; (修改加密规则)
    ALTER USER 'root'@'localhost' IDENTIFIED BY 'password' PASSWORD EXPIRE NEVER; (更新用户密码，可先不操作，如果连接不上，再回来执行)
    FLUSH PRIVILEGES; (切记要执行刷新)

  如果还是连接不上，也有可能是防火墙的原因：
    systemctl stop firewalld （暂时关闭）
    systemctl disable firewalld （永久关闭）

部署 Hive

下载链接

下载地址：http://archive.apache.org/dist/hive/

安装

将 apache-hive-3.1.2-bin.tar.gz上传到linux的 /root/export/ 目录下 （没有目录需要新建）

tar -zxvf /root/export/apache-hive-3.1.2-bin.tar.gz -C /export/server/

mv /export/server/apache-hive-3.1.2-bin/ /export/server/hive

添加环境变量：
    sudo vim /etc/profile，键入如下内容：
    #HIVE_HOME
    export HIVE_HOME=/opt/module/hive
    export PATH=$PATH:$HIVE_HOME/bin
保存：source /etc/profile

解决日志Jar包冲突(将日志jar包重命名)：
    mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

Hive元数据配置到MySql

准备驱动：
  将MySQL的JDBC驱动（到maven仓库下载）拷贝到Hive的lib目录下
    cp /xxx/xxx/mysql-connector-java-8.0.13.jar $HIVE_HOME/lib （键入自己的驱动目录）

配置Metastore到MySql：

  在$HIVE_HOME/conf目录下新建hive-site.xml文件：
    vim $HIVE_HOME/conf/hive-site.xml

点击查看代码

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc 连接的 URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://ip:3306/metastore?useSSL=false</value>
    </property>
    <!-- jdbc 连接的 Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <!-- jdbc 连接的 username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>MySQL用户名</value>
    </property>
    <!-- jdbc 连接的 password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>MySQL密码</value>
    </property>
    <!-- Hive 元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <!--元数据存储授权-->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    <!-- Hive 默认在 HDFS 的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    <!-- 指定存储元数据要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://localhost:9083</value>
    </property>
    <!-- 指定 hiveserver2 连接的 host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>localhost</value>
    </property>
    <!-- 指定 hiveserver2 连接的端口号 -->
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>
</configuration>

启动 Hive

初始化元数据库：
  登录 MySQL ： mysql -uroot -p
  新建Hive元数据库：
    mysql> create database metastore;
    mysql> quit;
  初始化Hive元数据库：
    schematool -initSchema -dbType mysql -verbose

启动metastore和hiveserver2

启动metastore:
   $HIVE_HOME hive --service metastore (注意: 启动后窗口不能再操作，需打开一个新的shell窗口做别的操作)

  nohup hive --service metastore & （后台运行）

启动 hiveserver2:
  $HIVE_HOME hive --service hiveserver2 (注意: 启动后窗口不能再操作，需打开一个新的shell窗口做别的操作)

  nohup hive --service hiveserver2 & （后台运行）

HiveJDBC访问

启动beeline客户端:
  beeline -u jdbc:hive2://hadoop101:10000 -n root

  如果报错：java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000/db2: Failed to open new session: java.lang.RuntimeException:           org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: root is not allowed to impersonate root

  解决方案：
    cd $HADOOP_HOME/etc/hadoop
    vim core-site.xml,添加如下内容即可(因为我的hadoop使用 hadoop 用户名创建，这里要改为自己的 hadoop 用户名)，修改完成后，重启 hadoop 服务。

点击查看代码

<property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
</property>

重新执行上述指令：
  beeline -u jdbc:hive2://localhost:10000 -n root

有如下返回，即为连接成功：
  Connecting to jdbc:hive2://localhost:10000
  Connected to: Apache Hive (version 3.1.2)
  Driver: Hive JDBC (version 3.1.2)
  Transaction isolation: TRANSACTION_REPEATABLE_READ
  Beeline version 3.1.2 by Apache Hive
  0: jdbc:hive2://localhost:10000>