转:http://springsfeng.iteye.com/blog/1734517

1 . 首先请安装好MySQL并修改root账户密码,使用root账户执行下面命令:

 su - root

      mysql

GRANT ALL PRIVILEGES ON *.* TO 'root'@'localhost' IDENTIFIED BY 'root' WITH GRANT OPTION;

2.  创建Hive用户: 使用root账户执行下面命令:

su - root

      mysql -uroot -p

CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';

CREATE USER 'hive'@'linux-fdc.linux.com' IDENTIFIED BY 'hive';

CREATE USER 'hive'@'192.168.81.251' IDENTIFIED BY 'hive';

CREATE DATABASE metastore;
      CREATE DATABASE metastore DEFAULT CHARACTER SET latin1 DEFAULT COLLATE latin1_swedish_ci;

GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'localhost' IDENTIFIED BY 'hive' WITH GRANT OPTION;

GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'192.168.81.251' IDENTIFIED BY 'hive' WITH GRANT OPTION;  
      flush privileges;

3.  导入MySQL 脚本

使用hive账户登录:

mysql -uhive -p -h192.168.81.251

mysql> use metastore;
     Database changed
     mysql> source /opt/custom/hive-0.11.0/scripts/metastore/upgrade/mysql/hive-schema-0.10.0.mysql.sql

4.  Hive安装配置

(1) 编译:针对当前Hive-0.11.0-SNAPSHOT版本

下载最新的Hive源码包:hive-trunk.zip, 解压至:/home/kevin/Downloads/hive-trunk,修改:

build.properties, 中:

  1. ...
  2. hadoop-0.20.version=0.20.2
  3. hadoop-0.20S.version=1.1.2
  4. hadoop-0.23.version=2.0.3-alpha
  5. ...

若需修改其他依赖包的版本,请修改:ivy目录下的libraries.properties文件, 例如修改hbase

的版本:

...

guava-hadoop23.version=11.0.2
    hbase.version=0.94.6
    jackson.version=1.8.8

...

在当前目录下执行:

ant tar -Dforrest.home=/usr/custom/apache-forrest-0.9

其中,forrest.home参考:http://springsfeng.iteye.com/admin/blogs/1734557中的第一部分,

第3小节。

(2)  解压:从编译后的build下Copy hive-0.11.0-SNAPSHOT.tar.gz至:/usr/custom/并解压。

(3)  配置环境变量:

exprot HIVE_HOME=/usr/custom/hive-0.11.0 
     exprot PATH=$HIVE_HOME/bin:$PATH

(4) 配置文件:

复制conf目录下的.template生成对应的.xml或.properties文件:
     cp hive-default.xml.template hive-site.xml 
     cp hive-log4j.properties.template hive-log4j.properties

(5) 配置hive-config.sh:

  1. ...
  2. #
  3. # processes --config option from command line
  4. #
  5. export JAVA_HOME=/usr/custom/jdk1.6.0_43
  6. export HIVE_HOME=/usr/custom/hive-0.11.0
  7. export HADOOP_HOME=/usr/custom/hadoop-2.0.3-alpha
  8. this="$0"
  9. while [ -h "$this" ]; do
  10. ls=`ls -ld "$this"`
  11. link=`expr "$ls" : '.*-> \(.*\)$'`
  12. if expr "$link" : '.*/.*' > /dev/null; then
  13. this="$link"
  14. else
  15. this=`dirname "$this"`/"$link"
  16. fi
  17. done
  18. ...

(6) 配置日志hive-log4j.properties:针对0.10.0版本的特别处理。

将org.apache.hadoop.metrics.jvm.EventCounter改成:org.apache.hadoop.log.metrics

.EventCounter , 这样将解决异常:

WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated.  
     Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.

(7) 创建hive-site文件:

  1. <configuration>
  2. <!-- WARNING!!! This file is provided for documentation purposes ONLY! -->
  3. <!-- WARNING!!! Any changes you make to this file will be ignored by Hive. -->
  4. <!-- WARNING!!! You must make your changes in hive-site.xml instead. -->
  5. <!-- Hive Execution Parameters -->
  6. <property>
  7. <name>javax.jdo.option.ConnectionURL</name>
  8. <value>jdbc:mysql://localhost:3306/metastore_db?createDatabaseIfNotExist=true</value>
  9. <description>
  10. JDBC connect string for a JDBC metastore.
  11. 请注意上面value标签之间的部分前后之间不能有空格,否则HiveClient提示:
  12. FAILED: Error in metadata: java.lang.RuntimeException: Unable
  13. to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
  14. </description>
  15. </property>
  16. <property>
  17. <name>javax.jdo.option.ConnectionDriverName</name>
  18. <value>com.mysql.jdbc.Driver</value>
  19. <description>Driver class name for a JDBC metastore</description>
  20. </property>
  21. <property>
  22. <name>javax.jdo.option.ConnectionUserName</name>
  23. <value>hive</value>
  24. <description>username to use against metastore database</description>
  25. </property>
  26. <property>
  27. <name>javax.jdo.option.ConnectionPassword</name>
  28. <value>hive</value>
  29. <description>password to use against metastore database</description>
  30. </property>
  31. <property>
  32. <name>hive.metastore.uris</name>
  33. <value>thrift://linux-fdc.linux.com:8888</value>
  34. <description>
  35. Thrift uri for the remote metastore. Used by metastore
  36. client to connect to remote metastore.
  37. </description>
  38. </property>
  39. </configuration>

(8) 配置MySQL-Connector-Java

下载mysql-connector-java-5.1.22-bin.jar放在/usr/custom/hive-0.11.0/lib目录下,否则执行

show tables; 命令时提示找不到ConnectionDriverName。

5. 启动使用

(1) 启动
    进入bin目录下,执行命令:hive 
   (2) 查看当前库及表 
   show databases;   //默认为:default 
   show tables; 
   (3) 创建表示例

这部分为我自己的测试, 测试数据见附件。

CREATE TABLE cite (citing INT, cited INT) 
   ROW FORMAT DELIMITED 
   FIELDS TERMINATED BY ',' 
   STORED AS TEXTFILE; 
    
   CREATE TABLE cite_count (cited INT, count INT); 
    
   INSERT OVERWRITE TABLE cite_count 
   SELECT cited,COUNT(citing) 
   FROM cite 
   GROUP BY cited; 
    
   SELECT * FROM cite_count WHERE count > 10 LIMIT 10; 
    
   CREATE TABLE age (name STRING, birthday INT) 
   ROW FORMAT DELIMITED 
   FIELDS TERMINATED BY '\t' 
   LINES TERMINATED BY '\n' 
   STORED AS TEXTFILE; 
    
   CREATE TABLE age_out (birthday INT, birthday_count INT) 
   ROW FORMAT DELIMITED 
   FIELDS TERMINATED BY '\t' 
   LINES TERMINATED BY '\n' 
   STORED AS TEXTFILE; 
   (4) 查看表结构
   desribe cite; 
   (5) 加载数据
   hive> LOAD DATA LOCAL INPATH '/home/kevin/Documents/age.txt' OVERWRITE INTO TABLE age;

Hive0.11安装配置学习笔记的更多相关文章

  1. redis 安装配置学习笔记

    redis 安装配置学习笔记 //wget http://download.redis.io/releases/redis-2.8.17.tar.gz 下载最新版本 wget http://downl ...

  2. Chapter 2. OpenSSL的安装和配置学习笔记

    Chapter 2. OpenSSL的安装和配置学习笔记 2.1 在linux上面安装OpenSSL我还是做点No paper事情比较在行,正好和老师的课程接轨一下.以前尝试过在Windows上面安装 ...

  3. Android安装器学习笔记(一)

    Android安装器学习笔记(一) 一.Android应用的四种安装方式: 1.通过系统应用PackageInstaller.apk进行安装,安装过程中会让用户确认 2.系统程序安装:在开机的时候自动 ...

  4. DirectX 11游戏编程学习笔记之8: 第6章Drawing in Direct3D(在Direct3D中绘制)(习题解答)

            本文由哈利_蜘蛛侠原创,转载请注明出处.有问题欢迎联系2024958085@qq.com         注:我给的电子版是700多页,而实体书是800多页,所以我在提到相关概念的时候 ...

  5. centos6 安装配置ss笔记

    2018-05-17 centos6 安装配置ss笔记 操作环境:Centos 6 x86_64 bbr 服务器地址:美国 1.准备VPS 在https://www.bwh1.net可购买,购买时已默 ...

  6. DirectX 11游戏编程学习笔记之6: 第5章The Rendering Pipeline(渲染管线)

            本文由哈利_蜘蛛侠原创,转载请注明出处.有问题欢迎联系2024958085@qq.com         注:我给的电子版是700多页,而实体书是800多页,所以我在提到相关概念的时候 ...

  7. CentOS 5.11安装配置LAMP服务器(Apache+PHP5+MySQL)

    http://www.osyunwei.com/archives/8880.html 准备篇: CentOS 5.x系统安装配置图解教程 http://www.osyunwei.com/archive ...

  8. android cocos2d-x for Android安装和学习笔记(请用adt-bundle21.1或以上导入)

    引用:http://weimingtom.iteye.com/blog/1483566 (20121108)注意:这篇文章用cdt编译ndk工程的内容已过时(现在可以用adt-bundle,避免配置繁 ...

  9. DirectX 11游戏编程学习笔记之1: 开场白

    本文由哈利_蜘蛛侠原创,转载请注明出处.有问题欢迎联系2024958085@qq.com           这是我之前的博客系列"DirectX9.0c游戏开发手记之'龙书'第二版学习笔记 ...

随机推荐

  1. Java观察者模式(Observer模式)

    Java深入到一定程度,就不可避免的碰到设计模式(design pattern)这一概念,了解设计模式,将使自己对java中的接口或抽象类应用有更深的理解.设计模式在java的中型系统中应用广泛,遵循 ...

  2. IT人学习方法论(一):学习方向

    07年的时候曾经讲过一节Webcast,名叫<使您成为Windows专家的一些学习习惯 >.直到最近,还经常收到听众关于这一节课反馈和心得的电子邮件,可见学习方法论是大家非常关心的问题.因 ...

  3. php 租房子练习

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...

  4. 昨晚值班将发dla的程序改好后放入正式环境

    可是在修改的topic的发送文件中出现有节点没有对应,整个过程陆续调至有20分钟最后11电把新程序换掉.

  5. vim 查找时忽略大小写

    :set ic 忽略大小写#ignorecase :set noic 不忽略大小写#noignorecase

  6. 构造方法 static 块 {}块 执行顺序

    package com.test.innerclass; public class HelloB extends HelloA { public HelloB() { System.out.print ...

  7. scala的tcp通信

    client: object ActorClient extends App { import actors.Actor, actors.remote.Node, actors.remote.Remo ...

  8. HR外包系统 - 客户员工 发薪需求/个税需求 设置

    最好,客户公司层面进行设置,如果单一情况,只需要设置公司,如果不是单一情况,设置员工, 另外员工只能从公司设置好的地方选择过来. 增强系统简便设置和设置的灵活性.

  9. Android之Adapter用法总结(转)

    Android之Adapter用法总结 1.概念 Adapter是连接后端数据和前端显示的适配器接口,是数据和UI(View)之间一个重要的纽带.在常见的View(List View,Grid Vie ...

  10. 用PowerShell脚本删除SharePoint 的 Page中的WebPart

    编写PowerShell脚本可以删除page中所有的webpart,也可以根据webpart的属性信息去删除特定的webpart. 下面的PowerShell脚本便是删除对应page中所有的webpa ...