Hive安装部署与配置

1.1 Hive安装地址

1)Hive官网地址:

http://hive.apache.org/

2)文档查看地址:

https://cwiki.apache.org/confluence/display/Hive/GettingStarted

3)下载地址:

http://archive.apache.org/dist/hive/

4)github地址:

https://github.com/apache/hive

1.2 Hive安装部署

1)Hive安装及配置

(1)使用rz命令上传

(2)解压到执行目录

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

(3)修改名称为hive

mv apache-hive-1.2.1-bin/ hive

(4)修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh

mv hive-env.sh.template hive-env.sh

(5)配置hive-env.sh文件

(a)配置HADOOP_HOME路径

export HADOOP_HOME=/opt/module/hadoop-2.8.4

(b)配置HIVE_CONF_DIR路径

export HIVE_CONF_DIR=/opt/module/hive/conf

注:Hive的log默认存放在/tmp/chenchuan/hive.log目录下(当前用户名下)。

(1)修改hive的log存放日志到/opt/module/hive/logs

(2)修改conf/hive-log4j.properties.template文件名称为hive-log4j.properties

pwd /opt/module/hive/conf

mv hive-log4j.properties.template hive-log4j.properties

(3)在hive-log4j.properties文件中修改log存放位置

hive.log.dir=/opt/module/hive/logs

2)Hadoop集群配置

(1)必须启动hdfs和yarn

sbin/start-dfs.sh

sbin/start-yarn.sh

(2)在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写

bin/hadoop fs -mkdir /tmp

bin/hadoop fs -mkdir -p /user/hive/warehouse

bin/hadoop fs -chmod g+w /tmp

bin/hadoop fs -chmod g+w /user/hive/warehouse

1.3 MySql安装

官网下载地址

https://dev.mysql.com/downloads/file/?id=471503

 检测本地是否有mysql已存在的包

rpm -qa | grep mysql

 检测本地是否有mariadb已存在的包

rpm -qa | grep mariadb

如果存在,则使用yum命令卸载

mariadb-libs-5.5.56-2.el7.x86_64

yum -y remove mariadb-libs-5.5.56-2.el7.x86_64

rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64

创建一个文件夹,上传jar包到/opt/software/mysql

mkdir /opt/software/mysql

解压mysql jar包

tar -xvf mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar -C /opt/module/mysql

 安装mysql的 server、client、common、libs、lib-compat

rpm -ivh --nodeps mysql-community-server-5.7.19-1.el7.x86_64.rpm

rpm -ivh --nodeps mysql-community-client-5.7.19-1.el7.x86_64.rpm

rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm

 查看mysql的服务是否启动

systemctl status mysqld

Active: inactive (dead)

 启动mysql的服务

systemctl start mysqld

再次检查mysql的服务是否启动

systemctl status mysqld

Active: active (running) since Thu 2019-03-21 07:23:08 EDT; 2s ago

查看默认生成的密码

cat /var/log/mysqld.log | grep password

2019-03-21T11:23:01.643479Z 1 [Note] A temporary password is generated for root@localhost: iwkJGgd:j6jO

登录mysql服务

mysql -uroot -p’然后粘贴上密码’

修改mysql密码规则

0 or LOW

长度

1 or MEDIUM

长度、大小写、数字、特殊字符

2 or STRONG

长度、大小写、数字、特殊字符、词典

注:以下修改是临时修改

a.密码强度检查等级,0/LOW、1/MEDIUM、2/STRONG

mysql> set global validate_password_policy=0;

Query OK, 0 rows affected (0.05 sec)

b.密码至少要包含的小写字母个数和大写字母个数

mysql> set global validate_password_mixed_case_count=0;

Query OK, 0 rows affected (0.00 sec)

c.密码至少要包含的数字个数 

mysql> set global validate_password_number_count=3;

Query OK, 0 rows affected (0.00 sec)

d.密码至少要包含的特殊字符数

mysql> set global validate_password_special_char_count=0;

Query OK, 0 rows affected (0.00 sec)

e.密码最小长度,参数默认为8

它有最小值的限制,最小值为:validate_password_number_count + 密码至少要包含的数字个数validate_password_special_char_count +特殊字符

(2 * validate_password_mixed_case_count)至少要包含的小写字母个数和大写字母个数

mysql> set global validate_password_length=3;

Query OK, 0 rows affected (0.00 sec)

修改密码:

alter user root@localhost identified by '000000';

flush privileges;

(这两步可以跳过)

mysql> use mysql;

mysql> SHOW VARIABLES LIKE 'validate_password%';

+--------------------------------------+-------+

| Variable_name                        | Value |

+--------------------------------------+-------+

| validate_password_dictionary_file    |       |

| validate_password_length             | 3     |

| validate_password_mixed_case_count   | 0     |

| validate_password_number_count       | 3     |

| validate_password_policy             | LOW   |

| validate_password_special_char_count | 0     |

+--------------------------------------+-------+

修改远程登录权限

大家默认的%的位置是localhost,即意味着只能本机访问

查询当前user表内root的登录权限:

select host,user from mysql.user;

修改权限为所有%:

update mysql.user set host = '%' where user = 'root';

刷新缓存:

flush privileges;

1.4 Hive元数据配置到MySql

1.4.1 驱动拷贝

1)上传mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/

cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

1.4.2 配置MetastoreMySql

1)在/opt/module/hive/conf目录下创建一个hive-site.xml

touch /opt/module/hive/conf/hive-site.xml

2)根据官方文档配置参数,拷贝数据到hive-site.xml文件中。

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>

<description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

<description>username to use against metastore database</description>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>000000</value>

<description>password to use against metastore database</description>

</property>

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value>

<description>location of default database for the warehouse</description>

</property>

<property>

<name>hive.cli.print.header</name>

<value>true</value>

</property>

<property>

<name>hive.cli.print.current.db</name>

<value>true</value>

</property>

</configuration>

3) 配置完毕后,如果启动hive异常,可以重新启动虚拟机。(重启后,别忘了启动hadoop集群)

4) 在hive的bin目录下执行./schematool -dbType mysql -initSchema

Hive安装部署与配置的更多相关文章

  1. Hive安装部署

    目录 一.        安装Hive. 1 1.       选择CDH版本的... 1 2.       解压文件... 1 二.        配置Hive. 1 1.       配置环境变量 ...

  2. 开源防火墙(pfSense)的安装部署与配置

    pfSense是一个基于FreeBSD架构的软件防火墙,通常会被安装在多网卡的主板上作为路由器或者防火墙去使用.往往这些硬件都比较廉价,高性能的配置也就1千元左右.pfSense具有商业防火墙的大部分 ...

  3. Hive —— 安装部署

    一.安装Hive 1.1 下载并解压 下载所需版本的Hive,这里我下载版本为cdh5.15.2.下载地址:http://archive.cloudera.com/cdh5/cdh/5/ # 下载后进 ...

  4. Zookeeper单机安装部署与配置(二)

    在上篇博客中简单介绍了Zookeeper的特点和应用场景,详情可参考:<Zookeeper简介(一)>,那么这篇博客我们介绍一下关于Zookeeper的单机模式安装步骤与配置. 环境准备 ...

  5. 【原】Centos6.5下cdh4.6 hive安装部署

    1.前提条件:      只需要选择一台服务器即可,这里选择安装在namenode上:安装用户为cloud-user 2.安装包:      sudo yum install -y hive hive ...

  6. Hive安装部署及简单测试 网页《一》

    1.首先关闭机器上之前配置的分布式Hadoop 命令: (在hadoop的安装目录中)  sbin/stop-dfs.sh              关闭: yarn   命令:  sbin/stop ...

  7. linux centos7 nginx 安装部署和配置

    1/什么是NginxNginx("enginex")是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP代理服务器,在高连接并发的情况下Nginx是Apac ...

  8. phpcs,phpmd,phan安装部署,phpstorm配置phpunit

    git参考地址:https://github.com/YunhanTech/overview/blob/master/php/learn-road.md phpcs 安装 composer globa ...

  9. 大数据学习——hive安装部署

    1上传压缩包 2 解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C apps 3 重命名 mv apache-hive-1.2.1-bin hive 4 设置环 ...

随机推荐

  1. Python实现电子词典

    代码一览: dictionary/├── code│   ├── client.py│   ├── func.py│   ├── server.py│   └── settings.py├── dat ...

  2. django -- web框架的本质

    web框架本质 我们可以这样理解:所有的Web应用本质上就是一个socket服务端,而用户的浏览器就是一个socket客户端. 这样我们就可以自己实现Web框架了. 下面代码是一个简单的socket服 ...

  3. uname 命令简介

    [root@localhost root]# uname --help Usage: uname [OPTION]... Print certain system information. With ...

  4. Spring Boot 2.2.1 发布,一个有点坑的版本!

    上一篇:Spring Boot 2.2.0 正式发布,支持 JDK 13! Spring Boot 2.2.0 没发布多久,Spring Boot 2.2.1 又发布了,这是一个很有意思,又有点 &q ...

  5. mysql(二)事务 & 事务的实现 & 锁

    参考文档: mvcc:https://www.cnblogs.com/chenpingzhao/p/5065316.html 事务的实现:https://www.linuxidc.com/Linux/ ...

  6. [HeadFrist-HTMLCSS学习笔记]第三章构建模块:Web页面建设

    [HeadFrist-HTMLCSS学习笔记]第三章构建模块:Web页面建设 敲黑板!! <q>元素添加短引用,<blockquote>添加长引用 在段落里添加引用就使用< ...

  7. 【原】无脑操作:Markdown可以这样玩

    一.背景: Markdown是一种纯文本格式的标记语言.通过简单的标记语法,可以使普通文本内容具有一定的格式.因为语法简单明了.功能又比纯文本强大,所以很适合作为开发人员的书写工具.Markdown的 ...

  8. exports与module.exports的区别,以及export与export.defult的区别

    在 JS 模块化编程的模块引入上, 主要有两种方式: CommonJS 模块标准 ES6 moduel 特性 1. CommonJS 模块引入:require() 模块导出:exports 或者 mo ...

  9. kali 更改图标村大小

    1.“设置” --> "通用辅助功能" --> "大号字体" 2.在终端中输入 “gnome-tweaks” 打开 优化 --> 扩展  -- ...

  10. 串口调试工具与com口编程

    当我们要与称打印机进行交互的时候这就需要  驱动 只有得到对应产品的驱动我们才有机会对其进行 com 口编程 首先我们就需要一个小工具来进行测试 获取对应的com 口,观察数据传输方式 链接地址: 链 ...