配置hive环境步骤(zookeeper高可用集群已搭建)
安装mysql;
1. 检查当前环境是否安装mysql服务(命令:rpm -qa | grep -i mysql)
2. 卸载自带的mysql
3. 卸载软件:rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
4. 安装mysql客户端与服务器.
4.1下载依赖
sudo yum install libaio
sudo yum install perl
导入服务器,客户端
rpm -ivh ./MySQL-client-5.1.73-1.glibc23.x86_64.rpm
rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm
3.2 MySQL服务启动
检查MySQL状态 service mysql status
启动MySQL服务 service mysql start
停止MySQL服务 service mysql stop
重启MySQL服务 service mysql restart
3.3 Hive元数据库创建与授权(非root用户)
进人root用户 mysql -uroot [-proot]默认没有设置密码
在root用户下: 创建hive库并设置编码为latin1(默认编码)
create database hivedb default character set latin1;
alter database hivedb character set latin1;
在root用户下添加添加用户:hadoop
insert into mysql.user(Host,User,Password)values('192.168.192.1',
'hadoop',password('hadoop'));
在root用户下给普通用户hadoop授权于hivedb数据库于Hadoop001主机:
grant all privileges on hivedb.* to 'hadoop'@'192.168.192.1'
identified by 'hadoop';
刷新后生效 flush privileges;
切换进入hadoop用户 su hadoop
进人MySQL数据库 mysql –h hdp-qm-01 -uhadoop -phadoop
查看数据 show databases
使用数据库 use hivedb;
安装hive:
上传压缩包解压,重命名
tar -zxvf apache-hive-1.2.1-bin.tar.gz 、mv apache-hive-1.2.1-bin hive-1.2.1
配置环境变量,刷新
export HIVE_HOME=/home/hadoop/hive-1.2.1
:$HIVE_HOME/bin
source /etc/profile
新建:vi hive-site.xml,在conf目录下配置hive-site.xml
<configuration>
<!--配置hive元数据库存储-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hdp-qm-01:3306/hivedb?characterEncoding=UTF-8</value>
</property>
<!--给hive添加mysql数据库的驱动包,将驱动包添加到lib目录下即可-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>/
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
</configuration>
给hive添加mysql数据库的驱动包,将驱动包添加到lib目录下
启动常见错误问题
Jline包错误 版本与Hadoop不匹配,使用Hive的lib目录下jline.xxx替换
hadoop/share/hadoop/yarn/lib的jline.xxx
先启动zookeeper,再启动集群,再启动hive
配置hive环境步骤(zookeeper高可用集群已搭建)的更多相关文章
- zookeeper高可用集群搭建
前提:已经在master01配置好hadoop:在各个slave节点配置好hadoop和zookeeper: (该文是将zookeeper配置在各slave节点上的,其实也可以配置在各master上, ...
- hadoop+yarn+hbase+storm+kafka+spark+zookeeper)高可用集群详细配置
配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用集群,同时安装相关组建:JDK,MySQL,Hive,Flume 文章目录 环境介绍 节点介绍 ...
- Mysql双主双从高可用集群的搭建且与MyCat进行整合
1.概述 老话说的好:瞻前顾后.患得患失只会让我们失败,下定决心,干就完了. 言归正传,之前我们聊了Mysql的一主一从读写分离集群的搭建,虽然一主一从或一主多从集群解决了并发读的问题,但由于主节点只 ...
- centos HA高可用集群 heartbeat搭建 heartbeat测试 主上停止heartbeat服务 测试脑裂 两边都禁用ping仲裁 第三十二节课
centos HA高可用集群 heartbeat搭建 heartbeat测试 主上停止heartbeat服务 测试脑裂 两边都禁用ping仲裁 第三十二节课 heartbeat是Linu ...
- CentOS 6.5环境下heartbeat高可用集群的实现及工作原理详解
Linux HA Cluster高可用服务器集群,所谓的高可用不是主机的高可用,而是服务的高可用. 什么叫高可用:一个服务器down掉的可能性多种多样,任何一个可能坏了都有可能带来风险,而服务器离线通 ...
- zookeeper 高可用集群搭建
前言 记录Zookeeper集群搭建的过程! 什么是 Zookeeper ? ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hado ...
- Hadoop HA 高可用集群的搭建
hadoop部署服务器 系统 主机名 IP centos6.9 hadoop01 192.168.72.21 centos6.9 hadoop02 192.168.72.22 centos6.9 ha ...
- Kubernetes实战:高可用集群的搭建和部署
摘要:官方只提到了一句"使用负载均衡器将 apiserver 暴露给工作节点",而这恰恰是部署过程中需要解决的重点问题. 本文分享自华为云社区<Kubernetes 高可用集 ...
- 生产环境的redis高可用集群搭建
这里只是总结一下安装步骤 如果要了解redis集群高可用的原理,推荐仔细看一遍配置文件示例http://download.redis.io/redis-stable/redis.conf,源码包里也有 ...
- hadoop 2.7.2 + zookeeper 高可用集群部署
一.环境说明 虚拟机:vmware 11 操作系统:Ubuntu 16.04 Hadoop版本:2.7.2 Zookeeper版本:3.4.9 二.节点部署说明 三.Hosts增加配置 sudo ge ...
随机推荐
- 一键关闭 Win11 系统广告「GitHub 热点速览」
不知道读者中有多少人早已对 Windows 11 系统自带的广告感到厌烦,却又不知道如何关闭它们? 虽然网上有详细的关闭教程,但是都需要逐一手动操作,不是很方便.所以,今天「GitHub 热点速览」给 ...
- Surge多配置文件聚合配置方法
目录 摘要 1. Surge配置原理 2. Surge托管配置 3. Surge多配置文件聚合配置 (1)找到配置文件 (2)编辑配置文件 参考 摘要 Surge 是一个在 macOS 和iOS 平台 ...
- WEB服务与NGINX(26)- 实现Nginx高并发系统内核参数优化
1. 实现Nginx高并发系统内核参数优化 由于默认的Linux内核参数考虑的是最通用场景,这明显不符合用于支持高并发访问的Web服务器的定义,所以需要修改Linux内核参数,使得Nginx可以拥有更 ...
- SpringBoot 二维码生成
一.基于Google开发工具包ZXing生成二维码 1.引入需要的依赖 <!-- zxing生成二维码 --> <dependency> <groupId>com. ...
- Kubernetes Pod调度:从基础到高级实战技巧
本文深入探讨了Kubernetes中的Pod调度机制,包括基础概念.高级调度技术和实际案例分析.文章详细介绍了Pod调度策略.Taints和Tolerations.节点亲和性,以及如何在高流量情况下优 ...
- 带你彻底搞懂递归时间复杂度的Master公式
1. 什么是Master公式 1.1 Master公式的定义 Master公式,又称为Master定理或主定理,是分析递归算法时间复杂度的一种重要工具,尤其适用于具有分治结构的递归算法. \[T(n) ...
- 使用 TestContainers 进行数据库集成测试
在软件开发过程中,集成测试是至关重要的一环.它确保不同组件之间的协作正常,并验证系统在整体上的功能和性能.然而,传统的集成测试往往需要依赖于外部资源,如数据库.消息队列等,这给测试环境的搭建和维护带来 ...
- Particles.js:为Web项目增添动态粒子效果
Particles.js:为Web项目增添动态粒子效果 示例 介绍 Particles.js是一个轻量级的JavaScript库,用于在Web页面上创建和管理动态粒子效果.它允许开发者通过简单的配置文 ...
- bashrc和profile区别
转载请注明出处: 作用与目的: .bashrc:这个文件主要用于配置和自定义用户的终端环境和行为.每次启动新的终端时,.bashrc文件都会被执行,加载用户设置的环境变量.别名.函数等.这使得用户能够 ...
- itest(爱测试) 开源接口测试,敏捷测试管理平台10.1.4发布
一:itest work 简介 itest work 开源敏捷测试管理,包含极简的任务管理,测试管理,缺陷管理,测试环境管理,接口测试,接口Mock,还有压测 ,又有丰富的统计分析,8合1工作站.可按 ...