ubantu上搭建hive环境

上次我们在ubantu上安装了hadoop，那我们现在再进一步，开始我们的学习之旅--hive板块吧！

第一步：准备！

软件：

　　I、一个搭建好的hadoop环境

　　II、hive的bin文件（前往apache官网，参考链接：http://www.apache.org/dyn/closer.cgi/hive/）；

　　III、MySQL（在ubantu上通过apt-get命令下载， 命令顺序：apt-get update  >>  apt-get install -y mysql-server）

　　IV、MySQL的jar包，下载mysql-connector-java-5.1.10-bin.jar（网上找找）

必要了解：

　　hive通过将hadoop结构化的数据文件映射成一张表，将SQL查询解析为mapreduce任务实现统计查询，在大数据中主要干的是数据仓库和离线分析的事儿。hive中的元数据（metastore）存储有多种方式，这里为本地MySQL（hive也有自带的Derby实现）。

第二步：MySQL配置

　　下载MySQL，安装时会要求你输入root密码（我们这里设置为1234）。我们需要做的事情有：创建hive访问MySQL的用户名和密码，hive的metastore存储数据库　

　　I、登录MySQL：mysql -uroot -p1234

　　II、创建hive元数据存放的数据库以及用户名并赋权限

mysql > create database hive;
mysql > GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive';
mysql > FLUSH PRIVILEGES;

　　III、将下载的MySQL的jar包(mysql-connector-java-5.1.10-bin.jar)放到/home/shj/hive/lib

第三步：配置HIVE

　　我们需要将配置系统文件和hive配置文件。这一步难点就在hive-site.xml文件

　　I、将下载的hive解压到指定目录。这里解压到：/home/shj/hive

　　II、使用root账号配置/etc/bash.bashrc文件（也可以用普通账号，作用域不同而已）

　　　sudo su （输入密码）  >> vim /etc/bash.bashrc  >>（添加信息）export HIVE_HOME=/home/shj/hive  export PATH=$PATH：/home/shj/hive/bin:.

　　III、配置/home/shj/hive/conf/hive-site.xml和对应参数说明（新建该文件）

　　　part1：文件内容

　　　hive.metastore.warehouse.dir：数据在hdfs中的存储位置

　　　hive.exec.scratchdir：用于存储不同map/reduce阶段的执行计划和这些阶段的中间输出结果

　　　javax.jdo.option.CoonectionURL：元数据库的URL

　　　javax.jdo.option.ConnectionDriverName：JDBC的driver，默认org.apache.derby.jdbc.EmbeddedDriver。我们这里使用的MySQL的JDBC

　　　javax.jdo.option.ConnectionUserName：链接使用的账号，是我们之前在MySQL中创建的那个

　　　javax.jdo.option.ConnectionPassword：MySQL中对应账号指定的密码

　　　part2：路径补充+赋权限

　　　对于配置文件中的路劲要有，创建他们并赋予权限

　　　　hadoop fs -mkdir -p /usr/hive/warehouse   >>  hadoop fs -chmod 766 /usr/hive/warehouse

　　　　hadoop fs -mkdir -p /usr/hive/tmp   >> hadoop fs -chmod 766 /usr/hive/tmp

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

<configuration>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/usr/hive/warehouse</value>
</property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/usr/hive/tmp</value>
    <description>Scratch space for Hive jobs</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value>
</property>  

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>  

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
</property>  

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
</property>
</configuration>  

　　VI、配置hive运行环境文件：hive-env.sh

　　　>>  cp /home/shj/hive/conf/hive-env.sh templete /home/shj/hive/conf/hive-env.sh

　　　>>  在hive-env.sh中添加：export HADOOP_HOME=/home/shj/hadoop

　　　V、调整jline文件，hive和hadoop的jline版本不同。我们使用hive的jline替换hadoop

　　　　rm /home/shj/hadoop/share/hadoop/yarn/lib/0.9****

　　　　cp /home/shj/hive/lib/jline-2.12.jar /home/shj/hadoop/share/hadoop/yarn/lib/

第四步：执行hive

　　　>>启动hive的metastore服务：hive --service metastore &

　　　>>执行输入hive命令，不出问题的话就会有这个图片了。

 

补充问题说明

　　如果执行了hive，报错了，那么肯定是某一步出了问题。以下是我趟过得坑，供参考。

　　第一种：执行hive后系统报错，出现问题：Error creating transactional connection factory

　　　　问题是：没有下载MySQL的jar包，需要下载mysql-connector-java-5.1.10-bin.jar，并放在hive安装目录的lib下

　　第二种：java.sql.SQLException: Unable to open a test connection to the given database. JDBC url =。。。。name...password

　　　　你在MySQL中设置的用户名和密码与配置文件（hive-site.xml）中的配置存在差异

　　第三种：CommunicationsException: Communications link failure

　　　　查看自己的hive-site.xml是否有问题，链接不对。可能和jdbc/mysql/配置文件相关，具体哪一个部分还是要看具体信息

　　

结尾：

hive都给你整好了，可以自己玩耍了！

原创博客，转载请注明出处！欢迎邮件沟通：shj8319@sina.com