hbase與hive整合
    1. hive中有數據 --> 創建hive管理表映射hbase
    例如:
        1)hive創建內部表
            create table course.hbase_score(id int,cname string,score int)
            stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
            with serdeproperties("hbase.columns.mapping" = "cf:name,cf:score")
            tblproperties("hbase.table.name" = "hbase_score");
        2)插入數據
            insert overwrite table course.hbase_score select id,cname,score from course.score;
    2. habse中有數據 --> 創建hive外部表映射hbase
    例如:
        CREATE external TABLE course.hbase2hive(id int, name string, score int)
        STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
        WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:name,cf:score")
        TBLPROPERTIES("hbase.table.name" ="hbase_hive_score");

hbase與sqoop整合
    1. mysql中表數據導入hbase中
    例如:
        bin/sqoop import \
        --connect jdbc:mysql://192.168.1.5:3306/library \
        --username root \
        --password root \
        --table book \
        --columns "id,name,price" \
        --column-family "info" \
        --hbase-create-table \
        --hbase-row-key "id" \
        --hbase-table "hbase_book" \
        --num-mappers 1  \
        --split-by id
    2. hbase中的數據導入mysql中
    ps:
        sqoop不支持直接將hbase中的數據導出,我們可以通過hive關聯兩者:
        hbase -> hive外部表 -> hive內部表 -> 通過sqoop -> mysql
    例如:
        1)創建hive外部表映射hbase中的表數據
            CREATE EXTERNAL TABLE course.hbase2mysql (id int,name string,price int)
            STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
            WITH SERDEPROPERTIES (
            "hbase.columns.mapping" =
             ":key,info:name, info:price"
            )
            TBLPROPERTIES( "hbase.table.name" = "hbase_book",
            "hbase.mapred.output.outputtable" = "hbase2mysql");
        2)將hive外部表數據插入到hive內部表中
            CREATE TABLE course.hbase2mysqlin(id int,name string,price int);
        3)通過sqoop將hive內部表數據導到mysql中
            sqoop export -connect jdbc:mysql://192.168.43.98:3306/library -username root
            -password root -table book -export-dir /user/hive/warehouse/course.db/hbase2mysqlin
            --input-fields-terminated-by '\001' --input-null-string '\\N'
            --input-null-non-string '\\N';

hbase整合的更多相关文章

  1. Hive(五):hive与hbase整合

    配置 hive 与 hbase 整合的目的是利用 HQL 语法实现对 hbase 数据库的增删改查操作,基本原理就是利用两者本身对外的API接口互相进行通信,两者通信主要是依靠hive_hbase-h ...

  2. 《OD大数据实战》HBase整合MapReduce和Hive

    一.HBase整合MapReduce环境搭建 1. 搭建步骤1)在etc/hadoop目录中创建hbase-site.xml的软连接.在真正的集群环境中的时候,hadoop运行mapreduce会通过 ...

  3. Hadoop Hive与Hbase整合+thrift

    Hadoop Hive与Hbase整合+thrift 1.  简介 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句 ...

  4. 大数据工具篇之Hive与HBase整合完整教程

    大数据工具篇之Hive与HBase整合完整教程 一.引言 最近的一次培训,用户特意提到Hadoop环境下HDFS中存储的文件如何才能导入到HBase,关于这部分基于HBase Java API的写入方 ...

  5. Hive与Hbase整合

    Hive与Hbase整合 1.文档 Hive HBase Integration 2.拷贝jar文件 2.1.把Hbase的lib目录下面的jar文件全部拷贝到Hive的lib目录下面 cd /hom ...

  6. Hive和Hbase整合

    Hive只支持insert和delete操作,并不支持update操作,所以无法实施更新hive里的数据,而HBASE正好弥补了这一点,所以在某些场景下需要将hive和hbase整合起来一起使用. 整 ...

  7. Hbase 整合 Hadoop 的数据迁移

    上篇文章说了 Hbase 的基础架构,都是比较理论的知识,最近我也一直在搞 Hbase 的数据迁移, 今天就来一篇实战型的,把最近一段时间的 Hbase 整合 Hadoop 的基础知识在梳理一遍,毕竟 ...

  8. Hive和HBase整合用户指南

    本文讲解的Hive和HBase整合意思是使用Hive读取Hbase中的数据.我们可以使用HQL语句在HBase表上进行查询.插入操作:甚至是进行Join和Union等复杂查询.此功能是从Hive 0. ...

  9. hive与hbase整合过程

    实现目标 Hive可以实时查询Hbase中的数据. hive中的表插入数据会同步更新到hbase对应的表中. 可以将hbase中不同的表中的列通过 left 或 inner join 方式映射到hiv ...

  10. hive和hbase整合的原因和原理

    为什么要进行hive和hbase的整合? hive是高延迟.结构化和面向分析的: hbase是低延迟.非结构化和面向编程的. Hive集成Hbase就是为了使用hbase的一些特性.或者说是中和它们的 ...

随机推荐

  1. spring整合dubbo

    以前跨系统访问是直接http.webservice等,近期有能使用dubbo的应用场景,特来记一下 本次会使用zookeeper来当注册中心 首先引入dubbo的依赖 <dependency&g ...

  2. netty解码器详解(小白也能看懂!)

    什么是编解码器? 首先,我们回顾一下netty的组件设计:Netty的主要组件有Channel.EventLoop.ChannelFuture.ChannelHandler.ChannelPipe等. ...

  3. Django知识总结(三)

    拾伍 ● Ajax技术 一 ● Ajax定义 Ajax: 异步的 JavaScript 和 XML (Asynchronous+Javascript+XML) 通过Ajax, 我们可以在不重新加载整个 ...

  4. Tensorflow实战系列之二:

    还没想好,可能是人脸检测或者物体检测,或者加上动态检测~~

  5. Hyperledger Fabric-CA学习

    Hyperleder Fabric系统架构核心逻辑包括MemberShip.Blockchain和Chaincode 其中上述3个核心逻辑中,Membership服务用来管理节点身份.隐私.confi ...

  6. 使用 ado.net访问数据库

    一.ADO.NET :用于连接数据库的技术   1.ADO.NET分为两大组件    DataSet:数据集    .NET FRAMWORK :用于连接到数据库,发送命令,检索结果   2.ADO. ...

  7. json的xpath:简易数据查询

    class JsonQuery(object): def __init__(self, data): super(JsonQuery, self).__init__() self.data = dat ...

  8. linux之时间设置

    date 显示与设置系统时间 %Y      year %m moth 月 %d day 日期 %H hour 小时 %M      minute   分钟 %S      sec  秒 +%F    ...

  9. Javascript学习--BOM操作

    1 获取UA(user Agent)用户代理 <!DOCtype html> <html> <head> <title></title> & ...

  10. 2018-软工机试-B- 梵高先生

    B. 梵高先生 单点时限: 1.0 sec 内存限制: 256 MB 谁的父亲死了 请你告诉我如何悲伤 谁的爱人走了 请你告诉我如何遗忘 ——李志<梵高先生> 2009年的最后一天 在义乌 ...