Hive集成HBase
配置
将hive的lib/中的HBase.jar包用实际安装的Hbase的jar包替换掉
cd /opt/hive/lib/
ls hbase-0.94.2* 
rm -rf hbase-0.92*
cp /opt/hbase/hbase-0.94.2* 
将Hive的lib/中的zookeeper.jar包用HBase中lib/中的替换掉
步骤同上
 
在hive-site.xml中添加:
<property>
        <name>hive.aux.jars.path</name>
        <value>file:///opt/hive/lib/hive-hbase-handler-0.9.0.jar,file:///opt/hive/lib/hbase-0.94.2.jar,file:///opt/hive/lib/zookeeper-3.4.3.jar</value>
</property>
 
运行
cd /opt/hive/bin
./hive -hiveconf hbase.master=master:60000
 
 
流程如下:
先启动hbase,才能在hive里创建表;
在hive创建表后,在hbase你添加数据;
===========启动hbase,并在其中添加数据==============
[hadoop@localhost bin]$ cd /opt/hbase/bin 
[hadoop@localhost bin]$ ./start-hbase.sh
[hadoop@localhost bin]$ ./hbase shell
在hbase中添加数据
hbase(main):004:0> put 'htest','1','f:values','test'
hbase(main):005:0> scan 'htest'
 
===============启动hive,并创建表格===========
cd /opt/hive/bin
./hive -hiveconf hbase.master=master:60000
hive> create table htest(key int,value string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties ('hbase.columns.mapping'=':key,f:value') tblproperties('hbase.table.name'='htest');
hive> show tables; 
hive> select * from htest;
 
 
 
安装Pig
解压并安装
tar -zxvf pig-0.10.0.tar.gz /opt/
mv pig-0.10.0/ pig
chown -R hadoop:hadoop pig
 
配置
因为pig/conf里没有xxx-en.vsh文件,所以在pig/bin理修改pig
cd /opt/pig/bin
vi pig
添加下面内容:
export JAVA_HOME=/usr/program/jdk1.6.0_13/
export PIG_INSTALL=/opt/pig
export HADOOP_INSTALL=/home/hadoop/hadoop-env/hadoop-1.0.1/
export PATH=$PIG_INSTALL/bin:HADOOP_INSTALL/bin:$PATH
export PIG_CLASSPATH=$HADOOP_INSTALL/conf
 
执行
先启动hadoop,再启动hivve
cd /opt/hive/bin
./pig
 
 
=======上传数据到hadoop hdfs=========================
 
hadoop fs -copyFromLocal /opt/data/test.txt /opt/data/test.txt 将电脑数据上传到hadoop fs中
hadoop fs -ls /opt/data/test.txt 
hadoop fs -cat /opt/data/test.txt
 
=========pig中显示数据========================
grunt>A = LOAD '/opt/data/test.txt' USING PigStorage('#') AS (id,name);
grunt> B = FOREACH A GENERATE name;
grunt> STORE B INTO 'opt/data/dist.txt' USING PigStorage('\t'); 
grunt> dump A;
 
 
 
Pig Latin常用命令
LOAD....USING PigStorage('')......AS......;
FOREACH......GENERATE......;
FILTER......BY......;
DUMP;
STORE......INTO;
GROUP ......BY;
 
[hadoop@localhost bin]$ hadoop fs -ls /user/hive/warehouse/my 
查看hive中的数据仓库

Hive集成HBase;安装pig的更多相关文章

  1. Hive集成HBase详解

    摘要 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询   应用场景 1. 将ETL操作的数据存入HBase 2. HB ...

  2. 大数据技术之_11_HBase学习_02_HBase API 操作 + HBase 与 Hive 集成 + HBase 优化

    第6章 HBase API 操作6.1 环境准备6.2 HBase API6.2.1 判断表是否存在6.2.2 抽取获取 Configuration.Connection.Admin 对象的方法以及关 ...

  3. hive 集成 hbase NoClassDefFoundError: org/apache/htrace/Trace

    更新了hive版本后,在创建hive外部表 级联hbase 的时候报如下异常: hive (default)> create external table weblogs(id string,d ...

  4. Hive集成HBase实践

    #step1: create hive table 't_test' hive -e "create table test.t_user(id int,name string,age int ...

  5. Hortonwork Ambari配置Hive集成Hbase的java开发maven配置

    集群环境 ambari 2.7.3 hdp/hortonwork 2.6.0.3 maven <dependency> <groupId>org.apache.hive< ...

  6. hbase与hive集成:hive读取hbase中数据

    1.创建hbase jar包到hive lib目录软连接 hive需要jar包: hive-hbase-handler-0.13.1-cdh5.3.6.jar zookeeper-3.4.5-cdh5 ...

  7. 集成Hive和HBase

    1. MapReduce 用MapReduce将数据从本地文件系统导入到HBase的表中, 比如从HBase中读取一些原始数据后使用MapReduce做数据分析. 结合计算型框架进行计算统计查看HBa ...

  8. Hive On HBase实战

    1.概述 HBase是一款非关系型.分布式的KV存储数据库.用来存储海量的数据,用于键值对操作.目前HBase是原生是不包含SQL操作,虽然说Apache Phoenix可以用来操作HBase表,但是 ...

  9. hive和hbase整合的原因和原理

    为什么要进行hive和hbase的整合? hive是高延迟.结构化和面向分析的: hbase是低延迟.非结构化和面向编程的. Hive集成Hbase就是为了使用hbase的一些特性.或者说是中和它们的 ...

随机推荐

  1. VPS/服务器优化网络、加速方法总结与参考

    在国外的服务器上因为受各种因素影响,即使国外的服务器都是百兆共享或者G口到国内下载速度都不是很让人满意,大部分人购买国外服务器是用作存储下载或者扶墙,速度慢的所以话影响我们的使用体验.所以就搞出了很多 ...

  2. SQLAlchemy 几种查询方式总结

    转自:http://blog.csdn.net/shudaqi2010/article/details/51568219 几种常见sqlalchemy查询:#简单查询    print(session ...

  3. CentOS 7 ssh脚本 求两个数值的“和”,“乘积”,”商“

    1:在目录下创建一个  sh文件 touch 1.sh 2:进入sh文件书写sh脚本 #!/bin/bash read -p "请输入第一个数值" A read -p " ...

  4. Jeesite的cahche工具类

    本CacheUtils主要是基于shiro的cache进行处理. 其他选择: 类似的我们可以选择java cache ,spring cahche等方案.                   再进一步 ...

  5. C# MVC 微信支付之微信模板消息推送

    微信支付之微信模板消息推送                    今天我要跟大家分享的是"模板消息"的推送,这玩意呢,你说用途嘛,那还是真真的牛逼呐.原因在哪?就是因为它是依赖微信 ...

  6. Spark Job的提交与task本地化分析(源码阅读八)

    我们又都知道,Spark中任务的处理也要考虑数据的本地性(locality),Spark目前支持PROCESS_LOCAL(本地进程).NODE_LOCAL(本地节点).NODE_PREF.RACK_ ...

  7. hdu 5382 GCD?LCM!

    先考虑化简f函数 发现,f函数可以写成一个递归式,化简后可以先递推求出所有f函数的值, 所以可以先求出所有S函数的值,对于询问,O(1)回答 代码: //File Name: hdu5382.cpp ...

  8. UIButton的titleLabe setAttributeSting 首次不起作用

    环境xcode7.3 ios9.3 真机模拟器均出现 UIButton的titleLabe setAttributeSting 首次不起作用,之后每一次 都正常,百思不得解,无奈之下改变策略,讲but ...

  9. 重写类的Equals以及重写Linq下的Distinct方法

    当自定义一个类的时候,如果需要用到对比的功能,可以自己重写Equals方法,最整洁的方法是重写GetHashCode()方法. 但是,这个方法只适用于对象自身的对比(如if(a==b))以及字典下的C ...

  10. LAMP_01_Win下安装配置MySql

    1.解压Mysql server到D盘配置环境变量MYSQL_HOME      D:\J2EE\apache-ant-1.9.7PATH            %MYSQL_HOME%\bin; 2 ...