MapReduce编程解析

MapReduce编程模型之案例

wordcount

• 输入数据

  atguigu atguigu
  ss ss
  cls cls
  jiao
  banzhang
  xue
  hadoop

• 输出数据

  atguigu 2
  banzhang 1
  cls 2
  hadoop 1
  jiao 1
  ss 2
  xue 1

• Mapper

  • 将MapTask传给我们的文本内容先转换成String

    atguigu atguigu

  • 根据空格将这一行切分成单词

    atguigu

    atguigu

  • 将单词输出为<单词，1>

    atguigu，1

    atguigu，1

• Reduce

  • 汇总各个key的个数

    atguigu，1

    atguigu，1

  • 输出该key的总次数

    atguigu，2

• Driver

  • 获取配置信息，获取job对象实例

  • 指定本程序的jar包所在的本地路径

  • 关联Mapper/Reduce业务类

  • 指定Mapper输出数据的kv类型

  • 指定最终输出的数据的kv类型

  • 指定job的输入原始文件所在目录

  • 指定job的输出结果所在目录

  • 提交作业

MapReduce编程模型之Map和Reduce

• 将作业拆分成Map阶段和Reduce

• Map阶段：Map Tasks

• Reduce阶段：Reduce Tasks

MapReduce编程模型之Map和Reduce

• 准备map处理的输入数据

• Mapper处理

• Shuffle

• Reduce处理

• 结果输出

核心概念

• Split：交由MapReduce作业来处理的数据块，是MapReduce中最小的计算单元

  • HDFS：blocksize是HDFS中最小的存储单元 128M

  • 默认情况下：他们两是一一对应的，当然我们也可以手工设置他们之间的关系

• InputFormat

• OutputFormat

• Combiner

• Partitioner

  

MapReduce框架原理

InputFormat数据输入

切片与MapTask并行度决定机制

• MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个job的处理速度。

• MapTask并行度决定机制

  • 数据块：Block是HDFS物理上把数据分成一块一块

  • 数据切片：数据切片只是在逻辑上对输入进行切片，并不会在磁盘上将其切分成片进行存储

  

job提交流程源码解析

FileInputFormat切片源码解析（input.getSplits(job)）

• 程序先找到你的数据存储的目录

• 开始遍历处理（规划切片）目录下的每一个文件

• 遍历第一个文件ss.txt（300M）

  • 获取文件大小fs.sizeOf(ss.txt)

  • 计算切片大小

    computeSliteSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M

  • 默认情况下，切片大小=blocksize

  • 开始切，形成第一个切片：ss.txt---0:128M 第二个切片ss.txt---128:256M 第三切片ss.txt---256M:300M(每次切片时，都要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就切分一块切片)

  • 将切片信息写到一个切片规划文件中，

  • 整个切片的核心过程在getSplit()方法中完成

  • InputSplit只记录了切片的元数据信息，比如起始位置、长度以及所在的节点列表等。

• 提交切片规划文件到YARN上，YARN上的MrAppMaster就可以根据切片规划文件计算开启MapTask个数

FileInputFormat切片机制

• 切片机制

  • 简单地按照文件的内容长度进行切片

  • 切片大小，默认等于Block大小

  • 切片时不考虑数据集整体，而是逐个针对每个文件单独切片

• 案例分析

  • 输入两个文件：file1.text 320M ，file2.txt 10M

  • 经过FileInputFormat的切片机制运算后，形成的切片信息如下：

    file1.text.split1-- 0~128

    file1.text.split2-- 128~256

    file1.text.split3-- 256~320

    file2.text.split1-- 0~10

• 源码中计算切片大小的公式

  Math.max(minSize,Math.min(maxSize,blocksize));

  mapreduce.input.fileinputformat.split.minsize=1 默认值为1

  mapreduce.input.fileinputformat.split.maxsize=Long.MAXValue 默认值Long.MAXValue

  因此，默认情况下，切片大小=blocksize。

• 切片大小设置

  maxsize（切片最大值）：参数如果调得比blockSize小，则会让切片变小，而且就等于配置的这个参数

  minsize（切片最小值）：参数调的比blockSize大，则可以让切片变得比blockSize还大

• 获取切片信息API

  //获取切片的文件名称

  String name = inputSplit.getPath().getName();

  //根据文件类型获取切片信息

  FileSplit inputSplit = (FileSplit)context.getInputSplit();

CombineTextInputFormat切片机制

• 框架默认的TextInputFormat切片机制时对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下。

• 应用场景：

  CombineTextInputFormat用于小分件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理。