配置hive环境步骤(zookeeper高可用集群已搭建)
安装mysql;
1. 检查当前环境是否安装mysql服务(命令:rpm -qa | grep -i mysql)
2. 卸载自带的mysql
3. 卸载软件:rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
4. 安装mysql客户端与服务器.
4.1下载依赖
sudo yum install libaio
sudo yum install perl
导入服务器,客户端
rpm -ivh ./MySQL-client-5.1.73-1.glibc23.x86_64.rpm
rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm
3.2 MySQL服务启动
检查MySQL状态 service mysql status
启动MySQL服务 service mysql start
停止MySQL服务 service mysql stop
重启MySQL服务 service mysql restart
3.3 Hive元数据库创建与授权(非root用户)
进人root用户 mysql -uroot [-proot]默认没有设置密码
在root用户下: 创建hive库并设置编码为latin1(默认编码)
create database hivedb default character set latin1;
alter database hivedb character set latin1;
在root用户下添加添加用户:hadoop
insert into mysql.user(Host,User,Password)values('192.168.192.1',
'hadoop',password('hadoop'));
在root用户下给普通用户hadoop授权于hivedb数据库于Hadoop001主机:
grant all privileges on hivedb.* to 'hadoop'@'192.168.192.1'
identified by 'hadoop';
刷新后生效 flush privileges;
切换进入hadoop用户 su hadoop
进人MySQL数据库 mysql –h hdp-qm-01 -uhadoop -phadoop
查看数据 show databases
使用数据库 use hivedb;
安装hive:
上传压缩包解压,重命名
tar -zxvf apache-hive-1.2.1-bin.tar.gz 、mv apache-hive-1.2.1-bin hive-1.2.1
配置环境变量,刷新
export HIVE_HOME=/home/hadoop/hive-1.2.1
:$HIVE_HOME/bin
source /etc/profile
新建:vi hive-site.xml,在conf目录下配置hive-site.xml
<configuration>
<!--配置hive元数据库存储-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hdp-qm-01:3306/hivedb?characterEncoding=UTF-8</value>
</property>
<!--给hive添加mysql数据库的驱动包,将驱动包添加到lib目录下即可-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>/
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
</configuration>
给hive添加mysql数据库的驱动包,将驱动包添加到lib目录下
启动常见错误问题
Jline包错误 版本与Hadoop不匹配,使用Hive的lib目录下jline.xxx替换
hadoop/share/hadoop/yarn/lib的jline.xxx
先启动zookeeper,再启动集群,再启动hive
配置hive环境步骤(zookeeper高可用集群已搭建)的更多相关文章
- zookeeper高可用集群搭建
前提:已经在master01配置好hadoop:在各个slave节点配置好hadoop和zookeeper: (该文是将zookeeper配置在各slave节点上的,其实也可以配置在各master上, ...
- hadoop+yarn+hbase+storm+kafka+spark+zookeeper)高可用集群详细配置
配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用集群,同时安装相关组建:JDK,MySQL,Hive,Flume 文章目录 环境介绍 节点介绍 ...
- Mysql双主双从高可用集群的搭建且与MyCat进行整合
1.概述 老话说的好:瞻前顾后.患得患失只会让我们失败,下定决心,干就完了. 言归正传,之前我们聊了Mysql的一主一从读写分离集群的搭建,虽然一主一从或一主多从集群解决了并发读的问题,但由于主节点只 ...
- centos HA高可用集群 heartbeat搭建 heartbeat测试 主上停止heartbeat服务 测试脑裂 两边都禁用ping仲裁 第三十二节课
centos HA高可用集群 heartbeat搭建 heartbeat测试 主上停止heartbeat服务 测试脑裂 两边都禁用ping仲裁 第三十二节课 heartbeat是Linu ...
- CentOS 6.5环境下heartbeat高可用集群的实现及工作原理详解
Linux HA Cluster高可用服务器集群,所谓的高可用不是主机的高可用,而是服务的高可用. 什么叫高可用:一个服务器down掉的可能性多种多样,任何一个可能坏了都有可能带来风险,而服务器离线通 ...
- zookeeper 高可用集群搭建
前言 记录Zookeeper集群搭建的过程! 什么是 Zookeeper ? ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hado ...
- Hadoop HA 高可用集群的搭建
hadoop部署服务器 系统 主机名 IP centos6.9 hadoop01 192.168.72.21 centos6.9 hadoop02 192.168.72.22 centos6.9 ha ...
- Kubernetes实战:高可用集群的搭建和部署
摘要:官方只提到了一句"使用负载均衡器将 apiserver 暴露给工作节点",而这恰恰是部署过程中需要解决的重点问题. 本文分享自华为云社区<Kubernetes 高可用集 ...
- 生产环境的redis高可用集群搭建
这里只是总结一下安装步骤 如果要了解redis集群高可用的原理,推荐仔细看一遍配置文件示例http://download.redis.io/redis-stable/redis.conf,源码包里也有 ...
- hadoop 2.7.2 + zookeeper 高可用集群部署
一.环境说明 虚拟机:vmware 11 操作系统:Ubuntu 16.04 Hadoop版本:2.7.2 Zookeeper版本:3.4.9 二.节点部署说明 三.Hosts增加配置 sudo ge ...
随机推荐
- 简说python之批量操作主机
目录 Python批量操作主机 安装paramiko模块 远程ssh控制主机 目前,很多的工作都是批量的操作Linux主机.通过python脚本,封装Linux的shell命令.保证批量操作,简易优化 ...
- docker-compse 安装nginx 配置目录挂载
一.新建一个启动服务的目录 mkdir /usr/local/docker/compose cd /usr/local/docker/compose 二.新建文件docker-compose.yml ...
- HTTP 连接详解
概述 世界上几乎所有的 HTTP 通信都是由 TCP/IP 承载的,客户端可以打开一条TCP/IP连接,连接到任何地方的服务器.一旦连接建立,客户端和服务器之间交换的报文就永远不会丢失.受损或失序 T ...
- 使用c#强大的表达式树实现对象的深克隆之解决循环引用的问题
在上一期博客里,我们提到使用使用c#强大的表达式树实现对象的深克隆,文章地址:https://www.cnblogs.com/gmmy/p/18186750.但是文章里没有解决如何实现循环引用的问题. ...
- 用【Makefile】或【Cmake】编译【C/Fortran】程序文件
一.vimrc文件设置 set tabstop=4 "tab空格4 set expandtab "将tab扩展成空格 set softtabstop=4 "表示在编辑模式 ...
- docker安装MySQL8.0.35主从复制(实战保姆级)
很久没有记录了,今天有时间就记录一下最近安装遇到的问题 liunx安装docker这个是前提,就不多过述 1 准备两台服务器 10.104.13.139 10.104.13.140 2 确保liunx ...
- 首次调用u8api遇到的问题总结
1.检索 COM 类工厂中 CLSID 为 {72A6FADA-FE26-46BD-A921-BFD1179C1E1E} 的组件时失败,原因是出现以下错误: 80040154. 解决办法是,把编译 ...
- 微服务实践k8s&dapr开发部署实验(2)状态管理
新建webapi项目 建项目时取消https支持,勾选docker支持, Program.cs中注释下面语句,这样部署后才能访问Swagger // Configure the HTTP reques ...
- .NET常用库-Ocelot
一 介绍 1.简介 Ocelot是一个.NET API网关. Ocelot仅适用于.NET Core,目前是为netstandard2.0构建的. Ocelot是一组按特定顺序排列的中间件. Ocel ...
- MR+meta分析的摘录
第四篇公众号:来自微信 天桥下的卖艺者 零基础说科研,仅为个人学习用,如有侵权,可以删除 吸烟没什么创意,唯一的创意就是加入了MR和meta分析,作者显示介绍吸烟与多种疾病之间的因果关系扔不明确, 第 ...