Hive的安装与部署(MySQL作为元数据库)
Hive的安装与部署(MySQL作为元数据)
(开始之前确保Hadoop环境已经启动,确保Linux下的MySQL已经安装好)
- 1. 安装Hive
(1)下载安装包
可从apache上下载hive安装包:http://mirror.bit.edu.cn/apache/hive/
(2)压缩包解压:
(2)移动至指定目录:(这里是移动至/usr/local/下)
- 2. 为Hive建立相应的MySQL账户,并赋予足够的权限:
(1)登录mysql:
(2)建立hive用户:
(3)赋予足够权限:
grant 权限1,权限2,...权限n on 数据库名称.表名称 to 用户名@用户地址
赋予hive用户对所有数据库所有表的所有权限且任何地址都能建立连接“%”,并具有授予权。
(4)flush privileges刷新MySQL的系统权限相关表:
(5)默认情况下Mysql只允许本地登录,所以需要修改配置文件将地址绑定给注释掉:
修改如下:
(6)重启mysql服务:
重启命令:
service mysql restart
- 3. 建立Hive专用的元数据库
(1)使用hive用户登录mysql:
(2)创建Hive专用元数据库:
- 4. 配置环境变量:
编辑环境变量:
sudo gedit /etc/profile
添加如下内容:
让修改立即生效:
source /etc/profile
- 5. 在Hive的conf目录下的文件“hive-site.xml”中增加如下配置
(1)复制hive-default.xml.template创建hive-site.xml,一个是系统默认的一个是自定义的,hive优先以自定义的为准。
(2) 修改hive-site.xml文件(在这之前,需先将hive-site.xml中原有的东西全部删掉,然后添加下列内容:)
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>password</value>
</property>
“hive?createDatabaseIfNotExist=true”如果hive数据库不存在就自动创建一个数据库
- 6. 把MySQL的JDBC驱动包复制到Hive的lib目录下(略,下载地址:https://dev.mysql.com/downloads/connector/j/)
(驱动包名为:mysql-connector-java-5.1.46-bin.jar)
- 7. 初始化:
出现如下提示表示初始化成功:
- 8. 启动hive并测试(确保hadoop集群已经启动)
在Hive中创建表xp:
在mysql中查看:(use hive切换到数据库hive)
显示 hive 数据库中的数据表:
查看 hive 的元数据信息:
到此Hive集成Mysql作为元数据已完成。
Hive的安装与部署(MySQL作为元数据库)的更多相关文章
- Hive学习之二 《Hive的安装之自定义mysql数据库》
由于MySQL便于管理,在学习过程中,我选择MySQL. 一,配置元数据库. 1.安装MySQL,采用yum方式. ①yum install mysql-server,安装mysql服务端,安装服 ...
- hive的安装与配置 mysql安装 启动
三种模式 内嵌模式:元数据保持在内嵌的derby模式,只允许一个会话连接 本地独立模式:在本地安装Mysql,吧元数据放到mySql内 远程模式:元数据放置在远程的Mysql数据库 1.下载Hive安 ...
- Hive 2、Hive 的安装配置(本地MySql模式)
一.前提条件 安装了Zookeeper.Hadoop HDFS HA 安装方法: http://www.cnblogs.com/raphael5200/p/5154325.html 二.安装Mysq ...
- Docker 安装入门 Centos Linux安装Docker 部署mysql
这次购买了阿里云云服务器,并且安装了Centos 7.5 学习使用Docker, 确认版本信息 Docker 运行在 CentOS 7 上,要求系统为64位.系统内核版本为 3.10 以上. Dock ...
- Hive安装与部署集成mysql
前提条件: 1.一台配置好hadoop环境的虚拟机.hadoop环境搭建教程:稍后补充 2.存在hadoop账户.不存在的可以新建hadoop账户安装配置hadoop. 安装教程: 一.Mysql安装 ...
- hive安装用mysql作为元数据库,mysql的设置
mysql的设置 在要作为元数据库的mysql服务器上建立hive数据库: #建立数据库 create database if not exists hive; #设置远程登录的权限 GRANT AL ...
- Azkaban2.5安装部署(系统时区设置 + 安装和配置mysql + Azkaban Web Server 安装 + Azkaban Executor Server安装 + Azkaban web server插件安装 + Azkaban Executor Server 插件安装)(博主推荐)(五)
Azkaban是什么?(一) Azkaban的功能特点(二) Azkaban的架构(三) Hadoop工作流引擎之Azkaban与Oozie对比(四) 不多说,直接上干货! http://www.cn ...
- 基于MySQL元数据的Hive的安装和简单測试
引言: Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍怎样搭建Hive的开发測试环境. 1. 什么是Hive? hive是基于Hadoop的一个数据仓库工具,能够将结构化的数据文件映射为 ...
- 【Hadoop离线基础总结】Hive的安装部署以及使用方式
Hive的安装部署以及使用方式 安装部署 Derby版hive直接使用 cd /export/softwares 将上传的hive软件包解压:tar -zxvf hive-1.1.0-cdh5.14. ...
随机推荐
- Angular2 备忘
ng serve --port 80 --disable-host-check 启动80端口,禁用host检查 要在 component 内绑定全局事件的话,可以使用 @HostListener, ...
- slider.js 滑动和点击事件在firefox下报错 event is not defined
在使用layui的slider滑块控件的时候,firefox遇到了event is not defined 的情况.追究原因是因为layui的layui.js 的滑块功能依赖于silder.js,而官 ...
- 无缓冲和带缓冲channel的区别
常规定义的channel都是默认不带缓冲的,如下代码所示 package main import ( "fmt" ) func main() { c := make(chan in ...
- SVD singular value decomposition
SVD singular value decomposition https://en.wikipedia.org/wiki/Singular_value_decomposition 奇异值分解在统计 ...
- June 21st 2017 Week 25th Wednesday
Discontent is the first step in progress. 不知足是前进中的第一步. Several days ago, I wrote down a quote which ...
- 浅谈SAP Cloud for Sales 自动化
在Jerry还在本科进行计算机理论知识学习时,我曾经把软件开发里的质量工程师(Quality Engineer)理解成是每天只是简单地做着运行开发人员编写好的软件,如果发现问题,通知开发人员去修改这种 ...
- [零基础学JAVA]Java SE基础部分-04. 分支、循环语句
转自:http://redking.blog.51cto.com/27212/116751 1.课程名称:分支.循环 本季为JAVA程序中最重要的部分,在讲解的时候除了讲解各种主要的控制语句(分支语句 ...
- php获取视频长度,php.ini配置
php获取视频长度 $long = exec("ffmpeg -i video.mp4 2>&1 | grep 'Duration' | cut -d ' ' -f 4 | s ...
- libevent核心-event和event_base结构体
参考:http://blog.csdn.net/yusiguyuan/article/category/2171081/2 http://blog.csdn.net/sparkliang/articl ...
- Vue组件绑定自定义事件
Vue组件使用v-on绑定自定义事件: 可以分为3步理解: 1.在组件模板中按照正常事件机制绑定事件: template: '<button v-on:click="increment ...