搭建cdh单机版版本的hive所遇到的问题总汇

今天按照网上教程搭建了下 cdh 单机版的 hive  将相关配置记录下来 以便以后方便翻阅

版本 hive-0.13.1-cdh5.3.6.tar.gz

1. 直接解压 然后将 mysql驱动包 拷贝到 hive 的lib目录下

2. 进入 conf 配置目录下   总共要修改3个文件  其中hive-site.xml 是直接在hive-default.xml.template 这个文件基础上改的

注意别忘了修改文件名称hive-site.xml

3. 修改 hive-env.sh

4.修改hive-log4j.properties

5.修改hive-site.xml

 <!--使用mysql作为Metadata-->
     <property>
       <name>javax.jdo.option.ConnectionURL</name>
       <value>jdbc:mysql://172.16.71.27:3306/hive?createDatabaseIfNotExist=true</value>
     </property>

     <property>
       <name>javax.jdo.option.ConnectionDriverName</name>
       <value>com.mysql.jdbc.Driver</value>
     </property>

     <property>
       <name>javax.jdo.option.ConnectionUserName</name>
       <value>root</value>
     </property>

     <property>
       <name>javax.jdo.option.ConnectionPassword</name>
       <value>root</value>
     </property>

     <!--显示当前的数据的头-->
     <property>
       <name>hive.cli.print.header</name>
       <value>true</value>
     </property>
     <!--显示当前的数据库-->
     <property>
       <name>hive.cli.print.current.db</name>
       <value>true</value>
     </property>

     <!--default创建文件夹-->
     <property>
         <name>hive.metastore.warehouse.dir</name>
         <value>/user/hive/warehouse</value>
     </property>

     <!--fetchTask优化 默认是minimal-->
     <property>
       <name>hive.fetch.task.conversion</name>
       <value>minimal</value>
       <description>
         1. minimal : SELECT STAR, FILTER on partition columns, LIMIT only
         2. more    : SELECT, FILTER, LIMIT only (TABLESAMPLE, virtual columns)
       </description>
     </property>

6.登入27机器上的mysql 对ip授权

这是对120这台机器赋全部权限

GRANT ALL ON *.* TO 'root'@'172.16.71.120' IDENTIFIED BY 'root';

7.然后在mysql上创建 hive数据库

8.修改数据库的 字符集ALTER DATABASE hive CHARACTER SET latin1

9.然后启动hive

10.创建一个表 测试一下

create table liveyc(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

PS 这里注意一下 如果 不按照 7 8 步操作的话  这里删除表的时候 是删除不成功的 在直接 删除语句的时候 程序会卡主

如果不设置mysql字符集的话 在创建表的时候也会报错

先总结这些 以后遇到问题了再来补充