配置hive环境步骤(zookeeper高可用集群已搭建)
安装mysql;
1. 检查当前环境是否安装mysql服务(命令:rpm -qa | grep -i mysql)
2. 卸载自带的mysql
3. 卸载软件:rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
4. 安装mysql客户端与服务器.
4.1下载依赖
sudo yum install libaio
sudo yum install perl
导入服务器,客户端
rpm -ivh ./MySQL-client-5.1.73-1.glibc23.x86_64.rpm
rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm
3.2 MySQL服务启动
检查MySQL状态 service mysql status
启动MySQL服务 service mysql start
停止MySQL服务 service mysql stop
重启MySQL服务 service mysql restart
3.3 Hive元数据库创建与授权(非root用户)
进人root用户 mysql -uroot [-proot]默认没有设置密码
在root用户下: 创建hive库并设置编码为latin1(默认编码)
create database hivedb default character set latin1;
alter database hivedb character set latin1;
在root用户下添加添加用户:hadoop
insert into mysql.user(Host,User,Password)values('192.168.192.1',
'hadoop',password('hadoop'));
在root用户下给普通用户hadoop授权于hivedb数据库于Hadoop001主机:
grant all privileges on hivedb.* to 'hadoop'@'192.168.192.1'
identified by 'hadoop';
刷新后生效 flush privileges;
切换进入hadoop用户 su hadoop
进人MySQL数据库 mysql –h hdp-qm-01 -uhadoop -phadoop
查看数据 show databases
使用数据库 use hivedb;
安装hive:
上传压缩包解压,重命名
tar -zxvf apache-hive-1.2.1-bin.tar.gz 、mv apache-hive-1.2.1-bin hive-1.2.1
配置环境变量,刷新
export HIVE_HOME=/home/hadoop/hive-1.2.1
:$HIVE_HOME/bin
source /etc/profile
新建:vi hive-site.xml,在conf目录下配置hive-site.xml
<configuration>
<!--配置hive元数据库存储-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hdp-qm-01:3306/hivedb?characterEncoding=UTF-8</value>
</property>
<!--给hive添加mysql数据库的驱动包,将驱动包添加到lib目录下即可-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>/
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
</configuration>
给hive添加mysql数据库的驱动包,将驱动包添加到lib目录下
启动常见错误问题
Jline包错误 版本与Hadoop不匹配,使用Hive的lib目录下jline.xxx替换
hadoop/share/hadoop/yarn/lib的jline.xxx
先启动zookeeper,再启动集群,再启动hive
配置hive环境步骤(zookeeper高可用集群已搭建)的更多相关文章
- zookeeper高可用集群搭建
前提:已经在master01配置好hadoop:在各个slave节点配置好hadoop和zookeeper: (该文是将zookeeper配置在各slave节点上的,其实也可以配置在各master上, ...
- hadoop+yarn+hbase+storm+kafka+spark+zookeeper)高可用集群详细配置
配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用集群,同时安装相关组建:JDK,MySQL,Hive,Flume 文章目录 环境介绍 节点介绍 ...
- Mysql双主双从高可用集群的搭建且与MyCat进行整合
1.概述 老话说的好:瞻前顾后.患得患失只会让我们失败,下定决心,干就完了. 言归正传,之前我们聊了Mysql的一主一从读写分离集群的搭建,虽然一主一从或一主多从集群解决了并发读的问题,但由于主节点只 ...
- centos HA高可用集群 heartbeat搭建 heartbeat测试 主上停止heartbeat服务 测试脑裂 两边都禁用ping仲裁 第三十二节课
centos HA高可用集群 heartbeat搭建 heartbeat测试 主上停止heartbeat服务 测试脑裂 两边都禁用ping仲裁 第三十二节课 heartbeat是Linu ...
- CentOS 6.5环境下heartbeat高可用集群的实现及工作原理详解
Linux HA Cluster高可用服务器集群,所谓的高可用不是主机的高可用,而是服务的高可用. 什么叫高可用:一个服务器down掉的可能性多种多样,任何一个可能坏了都有可能带来风险,而服务器离线通 ...
- zookeeper 高可用集群搭建
前言 记录Zookeeper集群搭建的过程! 什么是 Zookeeper ? ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hado ...
- Hadoop HA 高可用集群的搭建
hadoop部署服务器 系统 主机名 IP centos6.9 hadoop01 192.168.72.21 centos6.9 hadoop02 192.168.72.22 centos6.9 ha ...
- Kubernetes实战:高可用集群的搭建和部署
摘要:官方只提到了一句"使用负载均衡器将 apiserver 暴露给工作节点",而这恰恰是部署过程中需要解决的重点问题. 本文分享自华为云社区<Kubernetes 高可用集 ...
- 生产环境的redis高可用集群搭建
这里只是总结一下安装步骤 如果要了解redis集群高可用的原理,推荐仔细看一遍配置文件示例http://download.redis.io/redis-stable/redis.conf,源码包里也有 ...
- hadoop 2.7.2 + zookeeper 高可用集群部署
一.环境说明 虚拟机:vmware 11 操作系统:Ubuntu 16.04 Hadoop版本:2.7.2 Zookeeper版本:3.4.9 二.节点部署说明 三.Hosts增加配置 sudo ge ...
随机推荐
- Git——关于Git的一些补充(1)
Git--关于Git的一些补充(1) 提示:图床在国外且动图比较多的情况下,需要时间加载. 目录: 目录 Git--关于Git的一些补充(1) 提示:图床在国外且动图比较多的情况下,需要时间加载. 目 ...
- 【爬虫实战】用python爬今日头条热榜TOP50榜单!
目录 一.爬取目标 二.爬取结果 三.代码讲解 四.技术总结 五.演示视频 六.附完整源码 一.爬取目标 您好!我是@马哥python说,一名10年程序猿. 今天分享一期爬虫案例,爬取的目标是:今日头 ...
- vue+js实现点击图片,图片放大
1.首先在template中插入image,并赋予点击事件(这个时候是小图) <template> <div> <img src="@/assets/image ...
- Linux下vim的常用命令总结
vim按d表示剪切 按dd剪切一行 vim命令:命令模式 /关键字 n继续向下查找 vim的多行注释: 1.按ctrl + v进入 visual block模式 2.按上下选中要注释的行 3.按大写字 ...
- java学习之旅(day.12)
异常机制(Exception) 异常指程序运行中出现的不期而至的各种状况 异常分类: 检查性异常:用户输入错误引起的异常 运行时异常:写的时候未报错,但一运行就会报错, 错误(error):错误不是异 ...
- 大数据Hadoop集群的扩容及缩容(动态添加删除节点)
添加白名单和黑名单 白名单,表示在白名单的主机IP地址可以用来存储数据 企业中:配置白名单,可以尽量防止黑客恶意访问攻击. 配置白名单步骤如下:原文:sw-code 1)在NameNode节点的/op ...
- liunx下redis的哨兵环境搭建
哨兵简介 一定要有一个概念:哨兵实例也是特殊的Redis实例,也就是哨兵实例是独立的进程,多个哨兵实例可以搭建主从(Master-Slave),它们承担的职责和普通的Redis实例不一样.下面是官方文 ...
- 基于Ubuntu20.04在k8s 1.25部署gin+MySQL服务
0. 前言 某天突发奇想,既然都学了 docker 了,那干脆,顺便把 kubernetes 也学了,于是开始了我长达一个月的环境搭建.踩坑历程. 最开始,我的想法是,在我的物理机使用 WSL + d ...
- KPM算法求字符串的最小周期证明
先给出公式 ans = n - LPS[n-1] 其中ans为最小周期,n为给出的由假设的周期字符串中提取出的子串长度,LPS为前缀函数,n-1为字符串最后的位置下标 证明如下 证明ans = n - ...
- 一文详解编辑距离(Levenshtein Distance)
更多博文请关注:https://blog.bigcoder.cn 一. 什么是Levenshtein Distance Levenshtein Distance,一般称为编辑距离(Edit Dista ...