MapReduce 中如何处理HBase中的数据?如何读取HBase数据给Map?如何将结果存储到HBase中?

Mapper类:包括一个内部类(Context)和四个方法(setup,map,cleanup,run);
          setup,cleanup用于管理Mapper生命周期中的资源。setup -> map -> cleanup , run方法执行了这个过程;
          map方法用于对一次输入的key/value对进行map动作,对应HBase操作也就是一行的处理;

job的配置:
    1.  TableInputFormat完成了什么功能?
         (1)通过设置conf.set(TableInputFormat.INPUT_TABLE,"udc_sell");设定HBase的输入表;
                   设置conf.set(TableInputFormat.SCAN, TableMRUtil.convertScanToString(scan));设定对HBase输入表的scan方式;
                           
         (2)通过TableInputFormat.setConf(Configration conf)方法初始化scan对象;
            scan对象是从job中设置的对象,以字符串的形式传给TableInputFormat,在TableInputFormat内部将scan字符创转换为scan对象         
           * TableMapReduceUtily有两个方法:convertScanToString和convertStringToScan作用?
            将scan实例转换为Base64字符串  和将Base64字符串还原为scan实例;
          
         (3)TableInputFormat继承了TableInputFormatBase实现了InputFormat抽象类的两个抽象方法:
            getSplits()和createRecordReader()方法:


A:getSplits()断定输入对象的切分原则:对于TableInputFormatBase,会遍历HBase相应表的所有HRegion,每一
个HRegion都会被分成一个split,

所以切分的块数是与表中HRegion的数目是相同的;
             InputSplit split = new
TableSplit(table.getTableName(),splitStart, splitStop, regionLocation);

在split中只会记载HRegion的其实rowkey和终止rowkey,具体的去读取这篇区域的数据是createRecordReader()实现的。
             计算出来的每一个分块都将被作为一个map Task的输入;
                 Q:但是分出的块分给那台机器的那个task去执行Map,即jobTracker如何调度任务给taskTracker?
                 A:  需要进一步了解Map的本地化运行机制和jobTracker的调度算法;(可能是就近原则)
                 对于一个map任务,jobtracker会考虑tasktracker的网络位置,并选取一个距离其输入分片文件最近的tasktracker。在最理
想 的情况下,任务是数据本地化的(data-
local),也就是任务运行在输入分片所在的节点上。同样,任务也可能是机器本地化的:任务和输入分片在同一个机架,但不在同 一个节点上。
                      reduce任务,jobtracker简单滴从待运行的reduce任务列表中选取下一个来运行,用不着考虑数据段饿本地化。


B:createRecordReader()按照必然格式读取响应数据:接收split块,返回读取记录的结果;  
                 public RecordReader<ImmutableBytesWritable,
Result> createRecordReader(InputSplit split, TaskAttemptContext
context){
                 
                }
                trr.init()返回的是这个分块的起始rowkey的记录;
           RecordReader将一个split解析成<key,value>对的形式提供给map函数,key就是rowkey,value就是对应的一行数据;
           RecordReader用于在划分中读取<Key,Value>对。RecordReader有五个虚方法,分别是:
                                          initialize:初始化,输入参数包括该Reader工作的数据划分InputSplit和Job的上下文context;
                                          nextKey:得到输入的下一个Key,如果数据划分已经没有新的记录,返回空;
                                          nextValue:得到Key对应的Value,必须在调用nextKey后调用;
                                          getProgress:得到现在的进度;
                                          close:来自java.io的Closeable接口,用于清理RecordReader。


2.   job.setInputFormatClass(TableInputFormat.class);         
                                       
   3.   TableMapReduceUtil.initTableReducerJob("daily_result", DailyReduce.class, job); 
        使用了该方法就不需要再单独定义 
        initTableReducerJob()方法完成了一系列操作:
                (1). job.setOutputFormatClass(TableOutputFormat.class); 设置输出格式;
                (2). conf.set(TableOutputFormat.OUTPUT_TABLE, table); 设置输出表;
                (3). 初始化partition

Hbase 学习笔记4----原理的更多相关文章

  1. HBase学习笔记之HBase的安装和配置

    HBase学习笔记之HBase的安装和配置 我是为了调研和验证hbase的bulkload功能,才安装hbase,学习hbase的.为了快速的验证bulkload功能,我安装了一个节点的hadoop集 ...

  2. HBASE学习笔记(四)

    这两天把要前几天的知识点回顾一下,接下来我会用自己对知识点的理解来写一些东西 一.知识点回顾 1.hbase集群启动:$>start-hbase.sh ===>hbase-daemon.s ...

  3. HBase学习笔记-高级(一)

    HBase1. hbase.id记录了集群的唯一标识:hbase.version记录了文件格式的版本号2. split和.corrupt目录在日志分裂过程中使用,以便保存一些中间结果和损坏的日志在表目 ...

  4. HBase学习笔记之BulkLoad

    HBase学习之BulkLoad bulkload的学习以后再写文章. 参考资料: 1.https://blog.csdn.net/shixiaoguo90/article/details/78038 ...

  5. HBase学习笔记之HBase原理和Shell使用

    HBase学习指南之HBase原理和Shell使用 参考资料: 1.https://www.cnblogs.com/nexiyi/p/hbase_shell.html,hbase shell

  6. HBase学习笔记——概念及原理

    1.什么是HBase HBase – Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群. ...

  7. Hbase学习笔记01

    最近做项目接触到了HDFS.mapreduce以及Hbase,有了实战机会,今天打算将这些知识好好总结下,以备不时之需.首先从Hbase开始吧. Hbase是建立在HDFS上的分布式数据库,下图是Hb ...

  8. HBase学习笔记(四)—— 架构模型

    在逻辑上,HBase 的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列. 但从 HBase 的底层物理存储结构(K-V)来看,HBase 更像是一个 multi-dimensional m ...

  9. HBASE学习笔记--API

    HBaseConfiguration HBaseConfiguration是每一个hbase client都会使用到的对象,它代表的是HBase配置信息.它有两种构造方式: public HBaseC ...

  10. AlloyTouch.js 源码 学习笔记及原理说明

    alloyTouch这个库其实可以做很多事的, 比较抽象, 需要我们用户好好的思考作者提供的实例属性和一些回调方法(touchStart, change, touchMove, pressMove, ...

随机推荐

  1. nginx+tomcat多节点部署

    在一台机器上想要将一个应用程序部署多个节点,可以通过nginx来实现. 1.将tomcat复制多份,修改tomcat配置文件conf/server.xml,将端口号设置成不一样的 2.将多个tomca ...

  2. strspn&strcspn

    size_t strspn (const char *s,const char * accept); strspn返回s中第一个不在accept中出现过的字符下标. Returns an intege ...

  3. HTML页面中直接加载其他JSP页面

    1.在经典的框架中填充页面时 要填充2处的页面,2处为内容页面,是另外的一个JSP页面 2.左侧页面代码 <%@ page language="java" import=&q ...

  4. HDU1196 Lowest Bit

    Lowest Bit Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others) Total ...

  5. zabbix 源码安装

    操作系统:CentOS IP地址:192.168.21.127 Web环境:Nginx+MySQL+PHP zabbix版本:Zabbix 2.2 LTS 备注:Linux下安装zabbix需要有LA ...

  6. 阿里云经典网络和专有 专有自己设置网络和私网IP

    阿里云网络系列之经典网络和专有网络   驻云科技 2016-07-29 13:43:44 浏览45005 评论9 云栖社区 nginx 安全与风控 系统软件 编程语言 数据存储与数据库 系统研发与运维 ...

  7. I/O的控制方式——查询,中断,dma(转)

    早期,I/O串行,查询方式.发展,I/O并行,两种方式其一是中断方式,其二是dma方式,使得外部设备能直接与主存储器信息交换,减轻了cpu的工作量.技术继续发展,出现通道结构,实质上为高性能的dma控 ...

  8. 拖拽 支持ie6

    可随意拖拽方块至任一位置: 1.setCapture方法:多用于容器对象,效果是对指定的对象设置鼠标捕获.使在容器内的子对象的鼠标事件均由容器对象触发,因此,只能在容器对象的鼠标事件函数中进行处理.当 ...

  9. python笔记2-数据类型:字符串常用操作

    这次主要介绍字符串常用操作方法及例子 1.python字符串 在python中声明一个字符串,通常有三种方法:在它的两边加上单引号.双引号或者三引号,如下: name = 'hello' name1 ...

  10. 说明反转控制(IOC)和面向方向编程(AOP)在spring中的应用

    说明反转控制(IOC)和面向方向编程(AOP)在spring中的应用 解答:Spring 核心容器(Core)提供Spring框架的基本功能.核心容器的主要组件是BeanFactory,它是工厂模式的 ...