http://blog.csdn.net/zhaorongsheng/article/details/72903431 官网关于orcfile的介绍 背景 Hive的rcfile格式已经使用多年,但是,它会将所有的列都当做二进制来处理,没有与类型挂钩.因此,Hive0.11版本引入orcFile.OrcFile有以下几点好处: 每个task只生成一个文件,减轻hdfs压力 保存列类型,支持datetime, decimal和负责类型(struct, list, map, and union) 文…

目录: 一.hadoop2.2.0.zookeeper3.4.5.hbase0.96.2.hive0.13.1都是什么? 二.这些软件在哪里下载? 三.如何安装 1.安装JDK 2.用parallels克隆3台机器 3.安装Zookeeper-3.4.5 4.安装hadoop2.2.0 5.启动zookeeper 6.启动JournalNode集群 7.Hbase-0.96.2-hadoop2(启动双HMaster的配置,m1是主HMaster,m2是从HMaster) 8.在ubuntu12.…

Hive只在一个节点安装即可 上传tar包 解压 > tar zxvf hive-0.13.1-bin.tar.gz 配置mysql * 检查MySQL是否安装:rpm -qa | grep mysql 卸载MySQL:rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.i686 安装MySQL服务端: rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm 安装MySQL客户端:rpm -ivh MySQL-client-…

---------------------------------------- 博文作者:迦壹 博客地址:Nginx日志导入到Hive,同步Hbase,设置RowKey为autoincrement(ID自增长) 转载声明:可以转载, 但必须以超链接形式标 明文章原始出处和作者信息及版权声明,谢谢合作! ---------------------------------------   目录: 一.Nginx的相关配置,以及测试数据 二.Hadoop中创建使用目录 三.Hive的日志表创建,并同…

fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3872872.html 软件环境 操作系统:Ubuntu14.04 JDK版本:jdk1.7.0_51 Hadoop版本:Hadoop-2.2.0 Hive可以理解为在Hadoop和HDFS之上为用户封装一层便于用户使用的接口.Hive需要将元数据存储在RDBMS中,这对于Hive的运行是非常重要的. (1)安装Hadoop-2.2.0集群 参见<Ubuntu12.04-x64编译Ha…

fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3877740.html 完成<在Hadoop-2.2.0集群上安装 Hive-0.13.1 with MySQL>后,这里具体介绍JDBC接口,如果是以集群中的节点作为客户端来访问Hive,则可以直接使用 jdbc:hive:// .对于一个非集群节点的客户端来说,可以使用 jdbc:hive://host:port/dbname 来进行访问.为了方便用户的使用,这里介绍如何使用Ec…

1 寻找hive-hwi-*.war文件 不清楚什么原因在hive0.13.1版本中的lib文件夹下没有hive-hwi-0.13.0.war,也就是没有*.war的文件. 所以用hive 0.12.0版本中的hive-hwi-0.12.0.war来代替, 将这个文件复制到hive主目录的lib下,并改为名hive-hwi-0.13.0.war 2 下载并解压安装ant http://ant.apache.org/manual/index.html 下载apache-ant-1.9.4-bin.…

From:http://www.itnose.net/detail/6065872.html # 需要软件 Hadoop-2.2.0(目前Apache官网最新的Stable版本) Hbase-0.96.2(这里就用这个版本,跟Hadoop-2.2.0是配套的,不用覆盖jar包什么的) Hive-0.13.1(目前是最新版本) Zookeepr-3.4.6(这里推荐使用 3.4.5) Jdk1.7.0_60(这里推荐使用1.7.0_45) Mysql-5.5.31 # 集群结构图 NN : Nam…

一.简介 hive由Facebook开源用于解决海量结构化日志的数据统计.hive是基于Hadoop的一个数据仓库工具,是基于Hadoop之上的,文件是存储在HDFS上的,底层运行的是MR程序.hive可以将结构化的数据文件映射成一张表,并提供类SQL查询功能. 二.HIVE特点 构建在Hadoop之上的数据仓库 使用HQL作为查询接口 使用HDFS存储 使用MapReduce计算 本质:将HQL转化成MapReduce程序 灵活性和扩展性比较好:支持UDF.自定义存储格式等 适合离线数据处理…

hive0.13.1在hadoop2.4.1伪分布式部署上安装过程 环境:redhat enterprice 6.5 +hadoop2.4.1+hive0.13.1+mysql单节点伪分布式部署 相关网址: hive官网安装指导:https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallingHivefromaStableRelease hive之metastore的三种保存方式:h…