Hive安装与部署集成mysql
前提条件:
1、一台配置好hadoop环境的虚拟机。hadoop环境搭建教程:稍后补充
2、存在hadoop账户。不存在的可以新建hadoop账户安装配置hadoop。
安装教程:
一、Mysql安装
1、安装mysql命令:Yum install mysql-server -y (-y参数作用为所有需要输入yes的地方默认yes)
2、打开mysql服务:Service mysqld start
3、设置mysql服务开机自启动(也可以不设置,开机手动启动):chkconfig –add mysqld
4、进入mysql命令行:mysql -u root -p (root是账户不是必须root) 第一次进入不需要输密码可以直接:mysql命令进入mysql
5、设置密码-第一次没有密码情况下设置:mysqladmin -u root password qixiao123
->如果不在第5步设置,也可以在Mysql命令行下修改密码(先进入mysql):update user set password=password(‘新密码’) where user=‘root’ FLUSH PRIVILEGES
执行到这里可以输入几个mysql命令来进行测试一下:
显示数据库: show databases;
使用数据库: use mysql;
显示表: show tables;
二、Hive的安装与部署
1、首先下载Hive安装包:hive-0.12.tar.gz 将安装包上传到虚拟机的将要安装的目录
2、使用命令解压安装包:tar –zxvf hive-0.12.tar.gz
3、修改home目录下文件.bash_profile(可以:ll -a命令查看):vi .bash_profile
4、加入Hive环境变量
这里的HIVE_HOME 目录要根据自己的安装路径写,这里hive安装在/home/hadoop/hadoop/hive-0.12.0目录下
修改完成保存->ESC->:wq回车
输入命令:source .bash_profile 更新文件
!上述步骤出错的可以在.bashrc文件中配置,然后执行source .bashrc命令更新,更改.bashrc和更改.bash_profile文件效果是相同的。
5、切换目录到$HIVE_HOME/conf/下;
6、修改default.xml.template和hive-env.sh.template文件的文件名为hive-site.xml和hive-env.sh。命令如下(可以使用cp或者mv命令):
cp hive- default.xml.template hive-site.xml 命令 和 cp hive-env.sh.template hive-env.sh 命令;
7、修改hive-env.sh在 写成自己的hadoop目录
这里修改成自己的hadoop安装目录;
8、修改上述的hive-site.xml文件内容:vi hive-site.xml
在大约2000行左右 Vi命令:to 2000 (跳转到2000行)
修改</auth> 改为 </value> 匹配value标签
9、Hive启动方法:在命令行模式下直接输入: hive 回车
如果出现:
则说明hive环境变量和配置没有问题。到此,Hive的基本安装及部署已经完成;
hive日志位置:/usr/local/share/applications/hive/hive-0.12.0/logs/hive.log
三、Hive集成Mysql作为元数据
在Hive的使用中会使用Mysql,需要将mysql包上传到hive/lib目录中,mysql包可以在hive官网下载
将下载好的mysql jar包上传到hive/lib目录,使用SSH或者任意远程连接工具上传jar包
执行查看lib目录可以查看到上传好的jar包:[hadoop@hadoop01 lib]$ ll -a
1、修改/hive-0.12.0/conf 下的 hive-env.sh 文件
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/home/hadoop/app/hadoop-2.6.2
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/hadoop/app/hive-0.12.0/conf
这里按照自己的安装目录进行修改。
2、/hive-0.12.0/conf 下的 hive-site.xml 文件的修改
将里面的内容修改为:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value> <description>password to use against metastore database</description> </property> </configuration>
从前面我们知道我们的“hive-site.xml”是一个“hive-default.xml.template”的一个拷贝,里面的配置参数非常之多,但是并不是我们都需要的,我们知道,Hive系统会加载两个配置文件一个默认配置文件“hive-default.xml”,另一个就是用户自定义文件“hive-site.xml”。当“hive-site.xml”中的配置参数的值与“hive-default.xml”文件中不一致时,以用户自定义的为准。所以我们就把我们不需要的参数都删除掉,只留下上面所示的内容。
备注:其实修改这里的配置文件如果在Linux下面进行则非常麻烦,尽然我们都建立了FTP了,为何不用,所以把上面的这个配置文件下载下来,按照要求进行修改,这样的文件在Windows进行操作是非常方便的,弄好之后再上传上去,覆盖原来的即可。
3、到这里我们的配置告一段落,进入hive环境:命令行下输入:hive
hive>show databases;
hive>show tables;
这里可以在hive中进行数据库表的增删改查操作;
The End !
Hive安装与部署集成mysql的更多相关文章
- Hive的安装与部署(MySQL作为元数据库)
Hive的安装与部署(MySQL作为元数据) (开始之前确保Hadoop环境已经启动,确保Linux下的MySQL已经安装好) 1. 安装Hive (1)下载安装包 可从apache上下载hi ...
- Hive安装与配置--- 基于MySQL元数据
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过 ...
- Hive安装与部署
进去root权限(su) 1.从https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.ta ...
- Hive安装和部署
在root的用户下搭建的 构建hive之前必须要先搭建好hadoop才可以. hive定义了一种类似SQL查询语言--HQL 类似SQL ,但是不完全相同 Hive是一个数据仓库,它部署在Hadoop ...
- Hive安装部署
目录 一. 安装Hive. 1 1. 选择CDH版本的... 1 2. 解压文件... 1 二. 配置Hive. 1 1. 配置环境变量 ...
- Hive集成Mysql作为元数据时,提示错误:Specified key was too long; max key length is 767 bytes
在进行Hive集成Mysql作为元数据过程中.做全然部安装配置工作后.进入到hive模式,运行show databases.运行正常,接着运行show tables:时却报错. 关键错误信息例如以下: ...
- Hive安装部署与配置
Hive安装部署与配置 1.1 Hive安装地址 1)Hive官网地址: http://hive.apache.org/ 2)文档查看地址: https://cwiki.apache.org/conf ...
- hive安装--设置mysql为远端metastore
作业任务:安装Hive,有条件的同学可考虑用mysql作为元数据库安装(有一定难度,可以获得老师极度赞赏),安装完成后做简单SQL操作测试.将安装过程和最后测试成功的界面抓图提交 . 已有的当前虚拟机 ...
- 【原】Centos6.5下cdh4.6 hive安装部署
1.前提条件: 只需要选择一台服务器即可,这里选择安装在namenode上:安装用户为cloud-user 2.安装包: sudo yum install -y hive hive ...
随机推荐
- 【转】JVM内存模型
http://longdick.iteye.com/blog/473866 图解JVM内存模型 博客分类: JVM JVM活动SUN /** * 转载请注明作者longdick http:/ ...
- Chap5: question 35 - 37
35. 第一个只出现一次的字符 char firtNotRepeat(char *s) { if(s == NULL) return 0; int i = 0; while(s[i] != '\0') ...
- c#版在pc端发起微信扫码支付
等了好久,微信官方终于发布了.net的demo. 主要代码: /** * 生成直接支付url,支付url有效期为2小时,模式二 * @param productId 商品ID * @return 模式 ...
- android WebView问题
1.加载本地js.css文件 今天碰到个问题,使用WebView加载html数据,本来没什么问题,loadUrl(),loadData(),都可以使用 但是如果需要引入本地的js.css文件就碰到问题 ...
- Hibernate day03笔记
Hibernate的关联关系映射:(多对多) 多对多的配置: 步骤一创建实体和映射: Student: public class Student { private Integer sid ...
- BASE64 官方方法,我自己用的,注意记住换行问题。
TBase64Encoding.Base64.Encode(str) TBase64Encoding.Base64.Decode(str) 注意如果str很长,base64后的结果是每76个字符自动加 ...
- spark1.5.1环境搭建
今天一个小伙伴找我搞spark,搞了一个中午都没搭建好.心里痒痒的.索性自己重来了一遍. 本来很简单的事情,被这小子搞的老复杂了.究其原因,有以下几点: 下载的软件不对,我用的是这两个软件 spark ...
- Explode TArray
function Explode(const Separator, S: string; Limit: Integer = 0): TArray;var SepLen : Integer; F, P ...
- win 7 IIS 配置
http://jingyan.baidu.com/article/219f4bf723bcb2de442d38ed.html win7旗舰版系统 点击开始→控制面板,然后再点击程序,勿点击卸载程序,否 ...
- UVM Top Testbench
top testbench在top_tb中包含进所有的文件,将DUT放在top_tb中(例化DUT),连接好各个端口,提供clk时钟和rst_n复位信号.最主要的是要给组件中的虚接口设置接口,一般是给 ...