hadoop、hbase、hive、zookeeper版本对应关系
最新版本:
hadoop和hbase版本对应关系:
Hbase Hadoop
0.92.0 1.0.0
0.92.1 1.0.0
0.92.2 1.0.0
0.94.0 1.0.2
0.94.1 1.0.3
0.94.2 1.0.3
0.94.3 1.0.4
0.94.4 1.0.4
0.94.5 1.0.4
0.94.9 1.2.0
0.95.0 1.2.0
Hadoop与hive版本对应关系
hive版本 1.1.0 支持hadoop版本
Hadoop 1.x.y 2.x.y
hive版本 1.0.0 支持hadoop版本
hadoop1.x.y,2.x.y
hive版本0.13.1 支持hadoop版本
hadoop0.20.x,0.23.x.y,1.x.y 2.x.y
hive版本0.13.0 支持hadoop版本
hadoop0.20.x,0.23.x.y,1.x.y,2.x.y
hive版本0.12.0 支持hadoop版本
hadoop0.20.x,0.23.x.y,1.x.y,2.x.y
hive版本0.11.0 支持hadoop版本
hadoop0.20.x,0.23.x.y,1.x.y,2.x.y
hive版本0.10.0 支持hadoop版本
hadoop 0.20.x,0.23.x.y,1.x.y,2.x.y
网址:http://hive.apache.org/downloads.html补充一些内容:
hive、hbase、zookeeper的关系
| 分布式平台软件选型(hadoop) | ||||
| 软件名 | 最新版(高手) | 稳定版三(推荐) | 稳定版二(官方) | 稳定版一(官方) | 
| Hadoop | 2.5.0 | 2.2.0 | 1.2.1 | 0.20.2 | 
| HBase | 0.98.5 | 0.96.0 | 0.98.5 | 0.90.3 | 
| Zookeeper | 3.4.6 | 3.4.5 | 3.4.6 | 3.3.3 | 
| Pig | 0.13.0 | 0.13.0 | 0.9.0 | |
| Hive | 0.13.1 | 0.12.0 | 0.13.1 | 0.7.1 | 
| sqoop | 1.4.5 | 1.4.2 | ||
说明:红色为必选。建议采用最新版
hadoop1.2+hbase0.95.0+hive0.11.0会产生hbase+hive的不兼容,创建hive+hbase的关联表就会报pair对异常。
hadoop1.2+hbase0.94.9+hive0.10.0没问题,解决了上个版本的不兼容问题。
hadoop-1.0.3+hive-0.9.0+hive0.92.0兼容
hadoop2.2+hbase0.96+hive0.12兼容(有些小问题,可能需要一些补丁)
hadoop2.2+hbase0.96+hive0.13兼容(应该兼容)
Hadoop与hbase支持版本
S=支持并且测试
X=不支持
NT=应该可以,但是没有测试
| HBase-0.92.x | HBase-0.94.x | HBase-0.96.x | HBase-0.98.x[a] | HBase-1.0.x[b] | |
|---|---|---|---|---|---|
| Hadoop-0.20.205 | S | X | X | X | X | 
| Hadoop-0.22.x | S | X | X | X | X | 
| Hadoop-1.0.0-1.0.2[c] | X | X | X | X | X | 
| Hadoop-1.0.3+ | S | S | S | X | X | 
| Hadoop-1.1.x | NT | S | S | X | X | 
| Hadoop-0.23.x | X | S | NT | X | X | 
| Hadoop-2.0.x-alpha | X | NT | X | X | X | 
| Hadoop-2.1.0-beta | X | NT | S | X | X | 
| Hadoop-2.2.0 | X | NT [d] | S | S | NT | 
| Hadoop-2.3.x | X | NT | S | S | NT | 
| Hadoop-2.4.x | X | NT | S | S | S | 
| Hadoop-2.5.x | X | NT | S | S | S | 
| [a]Support for Hadoop 1.x is deprecated. [b]Hadoop 1.x is NOT supported [c]HBase requires hadoop 1.0.3 at a minimum; there is an issue where we cannot find KerberosUtil compiling against earlier versions of Hadoop. [d]To get 0.94.x to run on hadoop 2.2.0, you need to change the hadoop 2 and protobuf versions in the pom.xml: Here is a diff with pom.xml changes: $ svn diff pom.xml Index: pom.xml =================================================================== --- pom.xml (revision 1545157) +++ pom.xml (working copy) @@ -1034,7 +1034,7 @@ <slf4j.version>1.4.3</slf4j.version> <log4j.version>1.2.16</log4j.version> <mockito-all.version>1.8.5</mockito-all.version> - <protobuf.version>2.4.0a</protobuf.version> + <protobuf.version>2.5.0</protobuf.version> <stax-api.version>1.0.1</stax-api.version> <thrift.version>0.8.0</thrift.version> <zookeeper.version>3.4.5</zookeeper.version> @@ -2241,7 +2241,7 @@ </property> </activation> <properties> - <hadoop.version>2.0.0-alpha</hadoop.version> + <hadoop.version>2.2.0</hadoop.version> <slf4j.version>1.6.1</slf4j.version> </properties> <dependencies> The next step is to regenerate Protobuf files and assuming that the Protobuf has been installed: 
 Building against the hadoop 2 profile by running something like the following command: $ mvn clean install assembly:single -Dhadoop.profile=2.0 -DskipTests | |||||
Because HBase depends on Hadoop, it bundles an instance of the Hadoop jar under its lib directory. The bundled jar is ONLY for use in standalone mode. In distributed mode, it is critical that the version of Hadoop that is out on your cluster match what is under HBase. Replace the hadoop jar found in the HBase lib directory with the hadoop jar you are running on your cluster to avoid version mismatch issues. Make sure you replace the jar in HBase everywhere on your cluster. Hadoop version mismatch issues have various manifestations but often all looks like its hung up.
更新内容:
Hadoop version support matrix
· "S" = supported
· "X" = not supported
· "NT" = Not tested
| HBase-0.92.x | HBase-0.94.x | HBase-0.96.x | HBase-0.98.x (Support for Hadoop 1.1+ is deprecated.) | HBase-1.0.x (Hadoop 1.x is NOT supported) | |
| Hadoop-0.20.205 | S | X | X | X | X | 
| Hadoop-0.22.x | S | X | X | X | X | 
| Hadoop-1.0.x | X | X | X | X | X | 
| Hadoop-1.1.x | NT | S | S | NT | X | 
| Hadoop-0.23.x | X | S | NT | X | X | 
| Hadoop-2.0.x-alpha | X | NT | X | X | X | 
| Hadoop-2.1.0-beta | X | NT | S | X | X | 
| Hadoop-2.2.0 | X | NT | S | S | NT | 
| Hadoop-2.3.x | X | NT | S | S | NT | 
| Hadoop-2.4.x | X | NT | S | S | S | 
| Hadoop-2.5.x | X | NT | S | S | S | 
hadoop、hbase、hive、zookeeper版本对应关系的更多相关文章
- hadoop/hbase/hive单机扩增slave
		原来只有一台机器,hadoop,hbase,hive都安装在一台机器上,现在又申请到一台机器,领导说做成主备, 要重新配置吗?还是原来的不动,把新增的机器做成slave,原来的当作master?网上找 ... 
- Docker搭建大数据集群 Hadoop Spark HBase Hive Zookeeper Scala
		Docker搭建大数据集群 给出一个完全分布式hadoop+spark集群搭建完整文档,从环境准备(包括机器名,ip映射步骤,ssh免密,Java等)开始,包括zookeeper,hadoop,hiv ... 
- hive spark版本对应关系
		查看hive source下面的pom.xml,可以找到官方默认发布的hive版本对应的spark版本,在实际部署的时候,最好按照这个版本关系来,这样出现兼容问题的概率相对较小. 下面面列出一部分对应 ... 
- cdh版本的hue安装配置部署以及集成hadoop hbase hive mysql等权威指南
		hue下载地址:https://github.com/cloudera/hue hue学习文档地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-c ... 
- hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS, YARN, Hbase, Hive, ZooKeeper:
		组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 ... 
- 【转载】全栈工程师-Hadoop, HBase, Hive, Spark
		学习参考这篇文章: http://www.shareditor.com/blogshow/?blogId=96 机器学习.数据挖掘等各种大数据处理都离不开各种开源分布式系统, hadoop用于分布式存 ... 
- 最新hadoop+hbase+spark+zookeeper环境安装(vmmare下)
		说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g ... 
- hadoop,hbase,hive
		linux上安装hadoop,然后安装hbase,然后安装zookeeper,最后安装hive.hbase安装在hdfs下.hive是纯逻辑表,hbase是物理表.hdfs是hadoop上的一个组件. 
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建  图文详解
		引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ... 
随机推荐
- [hive小技巧]使用limit查询变成抽样,而不是全盘扫描
			将set hive.limit.optimize.enable=true 时,limit限制数据时就不会全盘扫,而是根据限制的数量进行抽样. 同时还有两个配置项需要注意: 1.hive.limit.r ... 
- 10686 DeathGod不知道的事情
			Description 蚂蚁是很强大的动物,除了DeathGod知道的事情外还有很多不知道的!例如… 根据某种理论,时间方向上有无数个平行世界,有的世界蚂蚁很多,有的世界蚂蚁很少,有的世界蚂蚁会繁殖, ... 
- bzoj1028 [JSOI2007]麻将
			1028: [JSOI2007]麻将 Time Limit: 1 Sec Memory Limit: 162 MBSubmit: 1337 Solved: 601[Submit][Status][ ... 
- BZOJ1035 : [ZJOI2008]Risk
			首先要将这个图连通,方法是通过扫描线+set求出每个连通块最高的点上方的第一条边,然后向交点连边. 然后把边拆成两条双向边,每次找到一条没走过的边,找到极角排序后它的反向边的后继,直到回到这条边.根据 ... 
- Guaranteeing message processing —— 可靠的消息处理
			Storm's reliability API: how Storm guarantees that every message coming off a spout will be fully pr ... 
- Codeforces Round #190 DIV.2 A. Ciel and Dancing
			#include <cstdio> #include <iostream> #include <vector> using namespace std; int m ... 
- A+B Problem 详细解答 (转载)
			此为详细装13版 转载自:https://vijos.org/discuss/56ff2e7617f3ca063af6a0a3 全文如下,未作修改,仅供围观,不代表个人观点: 你们怎么都在做网络流,不 ... 
- SecureCrt自动化
			Crt自动化 测试 SecureCrt脚本 JS脚本 引言 软件介绍 脚本介绍 引言 在嵌入式公司中,面对大量的网络设备,不论开发同事进行设备开发.测试同事进行大量测试工作还是运维人员进行大量设备 ... 
- SQL SERVER事务处理
			SQL SERVER事务处理 一.事务定义: 事务是单个的工作单元.如果某一事务成功,则在该事务中进行的所有数据更改均会提交,成为数据库中的永久组成部分. 如果事务遇到错误且必须取消或回滚,则所有 ... 
- 李洪强 - C语言8-Scanf函数
			C语言的scanf函数 一.变量的内存分析 (一)字节与地址 ①. 内存以字节为单位 每个字节都有自己的内存地址,根据地址就可以找到该字节.整个内存相当于一整个酒店,而酒店以房间为单位,在这里每个房间 ... 
