一开始用hadoop2.2.0 + hbase 0.96 + hive 0.12 ,基本全部都配好了.只有在hive中查询hbase的表出错.以直报如下错误: java.io.IOException: java.lang.ClassCastException: org.apache.hadoop.hbase.client.Result cannot be cast to org.apache.hadoop.io.Writabl 后来发现hbase0.96和hive0.12不兼容,hive-hba…

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 一.hive安装 1.官网下载地址:http://hive.apache.org/downloads.html 下载后解压到指定目录,例如 /usr/local/hive # tar…

今天弄了一下hive0.10和hbase0.94.9整合,需要设置的并不多,但是也遇到了一些问题. 1.复制jar包 拷贝hbase-0.94.9.jar,zookeeper-3.4.5.jar,protobuf-java-2.4.0a.jar到hive/lib下,删掉lib下面旧版的jar包. 拷贝hbase-0.94.9.jar到所有hadoop节点的lib文件夹下面,拷贝hbase/confi的hbase-site.xml文件拷贝到所有的hadoop节点conf文件夹下. 2.修改hive…

Tags: Hadoop Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) 主机环境 软件环境 主机规划 主机安装前准备 安装jdk1.8 安装zookeeper 安装hadoop 配置HDFS 配置YARN 集群初始化 启动HDFS 启动YARN 整个集群启动顺序 启动 停止 Hbase安装 Hive安装 主机环境 基本配…

1. 环境准备: JDK1.8 hive 2.3.4 hadoop 2.7.3 hbase 1.3.3 scala 2.11.12 mysql5.7 2. 下载spark2.0.0 cd /home/worksapce/software wget https://archive.apache.org/dist/spark/spark-2.0.0/spark-2.0.0-bin-hadoop2.7.tgz -bin-hadoop2..tgz -bin-hadoop2. spark- 3. 配置系统…

目录 目录 1 1. 前言 1 2. 约定 1 3. 服务端口 2 4. 安装MySQL 2 4.1. 安装MySQL 2 4.2. 创建Hive元数据库 2 5. 安装步骤 3 5.1. 下载Hive 0.12.0二进制安装包 3 5.2. 安装Hive 3 5.3. 安装MySQL-Connector 3 5.4. 修改配置 3 5.4.1. 修改/etc/profile或~/.profile 3 5.4.2. 修改其它配置文件 4 5.4.2.1. 修改hive-env.sh 4 5.4.…

Hbase 配置文件: hbase-site.xml <configuration> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://cdh-master:9…

HBase 官方文档0.90.4 Copyright © 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译) Revision History Revision 0.90.4 配置,数据模型使用入门 Abstract 这是 ].现在官方的发行版都没有这个功能,所以你要自己打这个补丁.推荐看 Michael Noll写的详细的说明, ] [3]. 需要澄清的,这两个设置是针对操作系统的,不是Hbase本身的.有一个常见的错误是Hbase运行的用户,…

原文地址:http://www.linuxidc.com/Linux/2014-11/109200.htm 图文详解Windows 8.0上Eclipse 4.4.0 配置CentOS 6.5 上的Hadoop2.2.0开发环境,给需要的朋友参考学习. Eclipse的Hadoop插件下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin 将下载的压缩包解压,将hadoop-eclipse-kepler-plugin-2.2.0这个jar包扔…

安装了0.12之后,听说0.13.1有许多新的特性,包括永久函数,所以想更新成0.13版的(元数据放在mysql中) 2014年8月5日实验成功 hive0.13.1的新特性 新特性详见 http://zh.hortonworks.com/blog/announcing-apache-hive-0-13-completion-stinger-initiative/ 1.下载0.13.1压缩包 地址http://mirrors.hust.edu.cn/apache/hive/ 打开后有 点开hiv…