上一节搭建完了Hadoop集群,这一节我们来搭建Hive集群,主要是后面的Spark SQL要用到Hive的环境。

Hive下载安装

  下载Hive 0.13的软件包,可以在百度网盘进行下载。链接: http://pan.baidu.com/s/1gePE9O3 密码: unmt。

  下载完用Xftp上传到spark1服务器,我是放在/home/software目录下。

[root@spark1 ~]# cd /home/software/
[root@spark1 software]# tar -zxf apache-hive-0.13.1-bin.tar.gz //解压
[root@spark1 software]# mv apache-hive-0.13.1-bin /usr/lib/hive //重命名并移到/usr/lib目录下
[root@spark1 software]# cd /usr/lib 

  设置hive环境变量。

[root@spark1 lib]# vi ~/.bashrc    //配置环境变量

//添加变量,别忘了Path的变量也要修改

export HIVE_HOME=/usr/lib/hive
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin //加上hive的路径

  保存退出,是文件生效。

[root@spark1 lib]# source ~/.bashrc 

  完了之后,我们使用基于MYSQL来启动Hive,将Hive的元数据库放在MYSQL。这里就不说MYSQL的安装了(偷个懒),不懂得朋友可以自行度娘,比较简单。

  完成之后我们将MYSQL的连接包放到/usr/lib/hive/lib目录下。

[root@spark1 lib]# cp /home/software/mysql-connector-java-5.1.34.jar /usr/lib/hive/lib/

  接下来我们用MYSQL对hive元数据库进行授权。

[root@spark1 lib]# mysql

mysql> create database if not exists hive_metadata;    //创建 hive_metadata的数据库

mysql> grant all privileges on hive_metadata.* to 'hive'@'%' identified by 'hive';

mysql> grant all privileges on hive_metadata.* to 'hive'@'localhost' identified by 'hive';

mysql> grant all privileges on hive_metadata.* to 'hive'@'spark1' identified by 'hive';

mysql> flush privileges;    //刷新权限
mysql> use hive_metadata;
mysql> exit

  完成之后我们开始配置hive的配置文件。

  • 修改hive-default.xml.template文件,并且重命名为hive-site.xml
[root@spark1 hive]# cd /usr/lib/hive/conf/
[root@spark1 conf]# mv hive-default.xml.template hive-site.xml //重命名 [root@spark1 conf]# vi hive-site.xml //修改相关的property //修改javax.jdo.option.ConnectionURL
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://spark1:3306/hive_metadata?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property> //修改javax.jdo.option.ConnectionDriverName
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Drive</value>
<description>Driver class name for a JDBC metastore</description>
</property> //修改数据库用户名
//和之前的mysql里授权创建的相对应,用户名:hive,密码:hive
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property> <property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
<description>password to use against metastore database</description>
</property> //修改hive.metastore.warehouse.dir
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>

  修改完成保存退出。

  • 配置hive-env.sh.template重命名为hive-env.sh。
[root@spark1 conf]# mv hive-env.sh.template hive-env.sh    //重命名
  • 修改/hive/bin/hive-config.sh
[root@spark1 conf]# cd ../bin

[root@spark1 bin]# vi hive-config.sh

//配置hadoop、java、hive的环境变量,添加

#environment variables
export JAVA_HOME=/usr/java/jdk1.7.0_21
export HADOOP_HOME=/usr/lib/hadoop
export HIVE_HOME=/usr/lib/hive
  • 验证hive是否安装成功
[root@spark1 lib]# hive

16/08/07 16:39:03 WARN conf.HiveConf: DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead

Logging initialized using configuration in jar:file:/usr/lib/hive/lib/hive-common-0.13.1.jar!/hive-log4j.properties
hive>

  出现上述表明hive安装成功。

Spark入门到精通--(第九节)环境搭建(Hive搭建)的更多相关文章

  1. Spark入门:第1节 Spark概述:1 - 4

    2.spark概述 2.1 什么是spark Apache Spark™ is a unified analytics engine for large-scale data processing. ...

  2. Spark入门到精通--(第十节)环境搭建(ZooKeeper和kafka搭建)

    上一节搭建完了Hive,这一节我们来搭建ZooKeeper,主要是后面的kafka需要运行在上面. ZooKeeper下载和安装 下载ZooKeeper 3.4.5软件包,可以在百度网盘进行下载.链接 ...

  3. Spark入门到精通--(第七节)环境搭建(服务器搭建)

    Spark搭建集群比较繁琐,需要的内容比较多,这里主要从Centos.Hadoop.Hive.ZooKeeper.kafka的服务器环境搭建开始讲.其中Centos的搭建不具体说了,主要讲下集群的配置 ...

  4. Spark入门到精通--(第八节)环境搭建(Hadoop搭建)

    上一节把Centos的集群免密码ssh登陆搭建完成,这一节主要讲一下Hadoop的环境搭建. Hadoop下载安装 下载官网的Hadoop 2.4.1的软件包.http://hadoop.apache ...

  5. Spark修炼之道(进阶篇)——Spark入门到精通:第九节 Spark SQL执行流程解析

    1.总体执行流程 使用下列代码对SparkSQL流程进行分析.让大家明确LogicalPlan的几种状态,理解SparkSQL总体执行流程 // sc is an existing SparkCont ...

  6. Spark入门到精通--(第二节)Scala编程详解基础语法

    Scala是什么? Scala是以实现scaleable language为初衷设计出来的一门语言.官方中,称它是object-oriented language和functional languag ...

  7. Spark入门到精通--(第一节)Spark的前世今生

    最近由于公司慢慢往spark方面开始转型,本人也开始学习,今后陆续会更新一些spark学习的新的体会,希望能够和大家一起分享和进步. Spark是什么? Apache Spark™ is a fast ...

  8. Spark入门到精通--(外传)Cloudera CDH5.5.4搭建

    http://www.mamicode.com/info-detail-601202.html continue...

  9. Spark入门:第2节 Spark集群安装:1 - 3;第3节 Spark HA高可用部署:1 - 2

    三. Spark集群安装 3.1 下载spark安装包 下载地址spark官网:http://spark.apache.org/downloads.html 这里我们使用 spark-2.1.3-bi ...

随机推荐

  1. 【原创】大数据基础之Ambari(3)通过Ambari部署Airflow

    ambari2.7.3(hdp3.1) 安装 airflow1.10 ambari的hdp中原生不支持airflow安装,下面介绍如何通过mpack方式使ambari支持airflow安装: 1 下载 ...

  2. JVM·垃圾收集器与内存分配策略之垃圾回收算法!

    1.垃圾回收算法    1.1.标记-清除算法(Mark-Sweep):             过程分为“标记”和“清除”两个过程.先将所有需要回收的目标统一标记,然后再统一清除.          ...

  3. Flask开发微电影网站(六)

    1. 后台管理登录功能实现 1.1 后台管理页面登录表单LoginForm 在app的admin目录下创建forms.py文件,用来保存admin蓝图中需要使用到的表单 from flask_wtf ...

  4. Python学习笔记三

    一. 为什么要使用函数? 函数可以方便阅读代码. 函数可以减少重复代码. 函数可以减少管理操作,减少修改操作. 二. 函数分类: 内置函数:len()   sum()   max()   min() ...

  5. vmware ubuntu硬盘空间不够用,空间扩展

    我从来没有想过我的虚拟机内存会不够用,毕竟已经20G了,可是最近学习python,装了些学习有关的软件, 期末做libvirt管理实验,存了两个镜像,就变成这样了,所以,我就像了要扩展硬盘空间,在网上 ...

  6. ReSharper反编译C#类库

    经常会在使用C#类中的某个函数时想了解其中具体的代码,可是F12转到定义后只能看到函数简单的声明, 看不到方法体中的代码,这挺让人沮丧的.. 如下: F12进入后显示的是元数据, Equals函数只能 ...

  7. tensorflow激励函数-【老鱼学tensorflow】

    当我们回到家,如果家里有异样,我们能够很快就会发现家中的异样,那是因为这些异常的摆设在我们的大脑中会产生较强的脑电波. 当我们听到某个单词,我们大脑中跟这个单词相关的神经元会异常兴奋,而同这个单词无关 ...

  8. python 10大算法之一 LinearRegression 笔记

    简单的线性回归预测房价 #!/usr/bin/env python # encoding: utf-8 """ @version: @author: --*--. @fi ...

  9. BZOJ4827 [Hnoi2017]礼物 多项式 FFT

    原文链接http://www.cnblogs.com/zhouzhendong/p/8823962.html 题目传送门 - BZOJ4827 题意 有两个长为$n$的序列$x$和$y$,序列$x,y ...

  10. Linux生成私钥和公钥免密连接

    本文介绍Linux系统生成私钥和公钥进行免密连接,内容比较简单,阅读需要3分钟. 1.大致流程 有时需要从服务器A免密连接到服务器B,这时需要在服务器A生成私钥和公钥,大致过程其实就2步. 1.1 在 ...