配置hive环境步骤(zookeeper高可用集群已搭建)
安装mysql;
1. 检查当前环境是否安装mysql服务(命令:rpm -qa | grep -i mysql)
2. 卸载自带的mysql
3. 卸载软件:rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
4. 安装mysql客户端与服务器.
4.1下载依赖
sudo yum install libaio
sudo yum install perl
导入服务器,客户端
rpm -ivh ./MySQL-client-5.1.73-1.glibc23.x86_64.rpm
rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm
3.2 MySQL服务启动
检查MySQL状态 service mysql status
启动MySQL服务 service mysql start
停止MySQL服务 service mysql stop
重启MySQL服务 service mysql restart
3.3 Hive元数据库创建与授权(非root用户)
进人root用户 mysql -uroot [-proot]默认没有设置密码
在root用户下: 创建hive库并设置编码为latin1(默认编码)
create database hivedb default character set latin1;
alter database hivedb character set latin1;
在root用户下添加添加用户:hadoop
insert into mysql.user(Host,User,Password)values('192.168.192.1',
'hadoop',password('hadoop'));
在root用户下给普通用户hadoop授权于hivedb数据库于Hadoop001主机:
grant all privileges on hivedb.* to 'hadoop'@'192.168.192.1'
identified by 'hadoop';
刷新后生效 flush privileges;
切换进入hadoop用户 su hadoop
进人MySQL数据库 mysql –h hdp-qm-01 -uhadoop -phadoop
查看数据 show databases
使用数据库 use hivedb;
安装hive:
上传压缩包解压,重命名
tar -zxvf apache-hive-1.2.1-bin.tar.gz 、mv apache-hive-1.2.1-bin hive-1.2.1
配置环境变量,刷新
export HIVE_HOME=/home/hadoop/hive-1.2.1
:$HIVE_HOME/bin
source /etc/profile
新建:vi hive-site.xml,在conf目录下配置hive-site.xml
<configuration>
<!--配置hive元数据库存储-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hdp-qm-01:3306/hivedb?characterEncoding=UTF-8</value>
</property>
<!--给hive添加mysql数据库的驱动包,将驱动包添加到lib目录下即可-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>/
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
</configuration>
给hive添加mysql数据库的驱动包,将驱动包添加到lib目录下
启动常见错误问题
Jline包错误 版本与Hadoop不匹配,使用Hive的lib目录下jline.xxx替换
hadoop/share/hadoop/yarn/lib的jline.xxx
先启动zookeeper,再启动集群,再启动hive
配置hive环境步骤(zookeeper高可用集群已搭建)的更多相关文章
- zookeeper高可用集群搭建
前提:已经在master01配置好hadoop:在各个slave节点配置好hadoop和zookeeper: (该文是将zookeeper配置在各slave节点上的,其实也可以配置在各master上, ...
- hadoop+yarn+hbase+storm+kafka+spark+zookeeper)高可用集群详细配置
配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用集群,同时安装相关组建:JDK,MySQL,Hive,Flume 文章目录 环境介绍 节点介绍 ...
- Mysql双主双从高可用集群的搭建且与MyCat进行整合
1.概述 老话说的好:瞻前顾后.患得患失只会让我们失败,下定决心,干就完了. 言归正传,之前我们聊了Mysql的一主一从读写分离集群的搭建,虽然一主一从或一主多从集群解决了并发读的问题,但由于主节点只 ...
- centos HA高可用集群 heartbeat搭建 heartbeat测试 主上停止heartbeat服务 测试脑裂 两边都禁用ping仲裁 第三十二节课
centos HA高可用集群 heartbeat搭建 heartbeat测试 主上停止heartbeat服务 测试脑裂 两边都禁用ping仲裁 第三十二节课 heartbeat是Linu ...
- CentOS 6.5环境下heartbeat高可用集群的实现及工作原理详解
Linux HA Cluster高可用服务器集群,所谓的高可用不是主机的高可用,而是服务的高可用. 什么叫高可用:一个服务器down掉的可能性多种多样,任何一个可能坏了都有可能带来风险,而服务器离线通 ...
- zookeeper 高可用集群搭建
前言 记录Zookeeper集群搭建的过程! 什么是 Zookeeper ? ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hado ...
- Hadoop HA 高可用集群的搭建
hadoop部署服务器 系统 主机名 IP centos6.9 hadoop01 192.168.72.21 centos6.9 hadoop02 192.168.72.22 centos6.9 ha ...
- Kubernetes实战:高可用集群的搭建和部署
摘要:官方只提到了一句"使用负载均衡器将 apiserver 暴露给工作节点",而这恰恰是部署过程中需要解决的重点问题. 本文分享自华为云社区<Kubernetes 高可用集 ...
- 生产环境的redis高可用集群搭建
这里只是总结一下安装步骤 如果要了解redis集群高可用的原理,推荐仔细看一遍配置文件示例http://download.redis.io/redis-stable/redis.conf,源码包里也有 ...
- hadoop 2.7.2 + zookeeper 高可用集群部署
一.环境说明 虚拟机:vmware 11 操作系统:Ubuntu 16.04 Hadoop版本:2.7.2 Zookeeper版本:3.4.9 二.节点部署说明 三.Hosts增加配置 sudo ge ...
随机推荐
- linux 下jq的使用
安装: yum install jq -y 文档: https://stedolan.github.io/jq/manual/ 更多: https://blog.csdn.net/Cheat11730 ...
- WEB服务与NGINX(11)-NGINX状态页
nginx状态页 nginx的状态页功能用于输出nginx的基本状态信息,基于ngx_http_stub_status_module模块实现. 默认情况下不生成此模块,应使用--with-http_s ...
- CSS样式(第二篇)
CSS样式(第二篇) 关于定位position: li.widget {position: relative;}相对定位,设定一个参照物. @media (max-width: 980px) .t ...
- 关于armcc中static __inline修饰符的记录
相关的知识点:内联函数,static关键字 在一次stm32的库代码分析中发现static __inline 的函数定义,对此有些疑惑,static和inline两个关键字为什么要进行连用呢? 对此进 ...
- 前后端分离项目(vue+springboot)集成pageoffice实现在线编辑office文件
前后端分离项目下使用PageOffice原理图 集成步骤 前端 vue 项目 在您Vue项目的根目录下index.html中引用后端项目根目录下pageoffice.js文件.例如: <scri ...
- GROK 一个强大的调试工具
GROK 在线工具 在线英文版地址 http://grokconstructor.appspot.com/ 中文翻译版 GitHub https://github.com/systemmin/Grok ...
- java的synchronized有几种加锁方式
在Java中,synchronized关键字提供了内置的支持来实现同步访问共享资源,以避免并发问题.synchronized主要有三种加锁方式: 1.同步实例方法 当一个实例方法被声明为synchro ...
- npm 错误,ERESOLVE unable to resolve dependency tree 解决方案
参考:https://blog.csdn.net/qq_42055933/article/details/132098617 背景: 当在使用npm install时遇到 "ERESOLVE ...
- django设置中文和上海时间
在settings.py配置文件中进行配置: # 设置为中文 LANGUAGE_CODE = 'zh-hans' # 设置 "亚洲/上海" 时区 TIME_ZONE = 'Asia ...
- Django项目目录结构