小记---------Hadoop的MapReduce基础知识

　　

MapReduce是一种分布式计算模型，主要用于搜索领域，解决海量数据的计算问题

MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算。

两个函数的形参是key、value对，表示函数的输入信息

解释：一个文件按照块（每块给定具体值）分为多个split，每个split对应一个mapper，然后通过shuffle进行分组（把相同的key的value合并），最后交给reduce进行最终的合并计算 输出为part-00000名字的文件

Mappers must compiete before Reducers can begin

map必须完成后才可开始reduces工作

每一个步骤都是通过键值对的形式输入输出。

执行步骤：

 1.map任务处理

• 读取输入文件内容，解析成key、value对，对输入文件的每一行，解析成key,value对，每一个键值对调用一次map函数
• 写自己的逻辑，对输入的key、value处理，转换成新的key、value输出。
• 对输出的key、value进行分区。
• 对不同分区的数据，按照key进行排序、分组。相同key的value放到一个集合中。
• （可选）分组后的数据进行归约的

2.reduce任务处理

• 对多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点。
• 对多个map任务的输出镜像合并、排序，写reduce函数自己的逻辑，对输入的key、value处理。转换成新的key、value输出。
• 把reduce的输出保存到文件中

 

自我理解：

[k1,v1]    Map   [k2,v2]   Group [k2,{v2...}]   Reduce   [k3,v3]

系统自动按照一行内容分解成多个k1,v1。

在Map过程内根据自己的业务逻辑需求 输出k2,v2

系统自动对k2进行分组计算 输出 k2，{v2...}

在Reduce内根据业务逻辑到处k3,v3

 

1、Partiton的原理及使用方法（分区）

    在MapReduce进行计算时，有时需要把最终输出数据分到不同的文件中，例如：按照省份划分，需要把同一省份的数据放到一个文件中，从而得到多个文件。（得到几个文件，就需要几个Reducer任务运行）也就是说Mapper任务要划分数据，对于不同的数据分配给不同的Reducer任务运行。Mapper任务划分数据的过程就称作Partition，负责实现划分数据的类称作Partitioner。

    partition是分割map每个节点的结果，按照key（k2）分别映射给不同的reduce，也是可以自定义的，这里其实可以理解成归类。

原理及作用

hadoop采用的默认的派发方式时根据散列来派发的，但是实际中，这并不能很高效或者按照我们要求的去执行任务。

    例：我们想要处理后得到的文件按照一定的规律进行输出，假设有两个reducer，我们想要的最终结果中part-r-00000中存储的是“h”开头的记录的结果，part-r-00001中存储其他开头的结果，这些默认的partitioner是做不到的。

 

默认分区源码：

 public class HashPartitioner<K, V> extends Partitioner<K, V> {
      /** Use {@link Object#hashCode()} to partition. */
    public int getPartition(K key, V value, int numReduceTasks) {
      return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
    }
  } 

（1）Partitioner是HashPartitioner的基类，如果需要定制partitioner也需要继承该类。

 （2）HashPartitioner是mapreduce的默认partitioner。计算方法是       key.hashCode() & Integer.MAX_VALUE) % numReduceTasks，得到当前的目的reducer。

numReduceTasks由mapred.reduce.tasks配置节点决定的默认是1。

那现在我们虽然不知道(key.hashCode() & Integer.MAX_VALUE)值是多少但是%1我们可以知道结果就是0

 

使用方法

    map的结果，会通过partition分发到Reducer上，哪个可以到哪个Reducer的分配过程，是由Partition规定的、

  

  getPartition（Text key,Text value,int numPartitions）

 

 

三个参数分别是k2/v2/reducers的个数

 

自定义分区的使用方法

 

2、Combiner的原理及使用方法

每个map可能会产生大量的输出，combiner的作用就是在map端 对输出先做一次合并，以减少传输到reducer的数据量。

    如果不用combiner，那么所有的结果都是reduce完成，效率会相对低下，使用combiner，先完成的map会在本地聚合，从而提升速度

注意

combiner的输出是Reducer的输入，Combiner绝不能改变最终的计算结果，所有Combiner只应该用于那种Reduce的输入key/value对输出key、value类型完全一致，且不影响最终结果的场景。如：求平均值等等，不能光说数据类型一致，有可能值会改变需要特别注意

原理及使用方法

Combiner在map端进行的一个reduce阶段如wordCount程序通过combiners就可以进行预先的聚合

这样到reduce就不会每个节点的每个单词输出以便，减少数据流量并减少代销，由于在wordCount中做combiners是跟reduce一样的，可以直接使用reduce类进行combiners

job.setCombinerClass(ReduerClass.class);

 

 

3、shuffle的工作原理

 

map和reduce本身各是一台机器且也分别是一个步骤

shuffle只是一个工作步骤，横跨map reduce两台机器的工作步骤

 

map端中的shuffle

首先把一个文件通过hdfs配置文件（默认一块128m）分割成文件块（block），然后进入map，一条一条输出数据，首先输出到缓冲中，（当数据达到缓冲的80%就会溢出到磁盘中），在溢出（spill）时会进行分区（partition）和排序（sort） 合并（merge）然后溢出到磁盘

分区：如果进行分区则会分成3块文件，每块文件就会对应一个reduce

注：物理分区不在缓冲区，而是在磁盘上

        最终文件只有一个，所以需要合并（merge），如果有combiner则会进行一次计算

        缓冲区默认值100Mb

Reduce端的shuffle

首先将map端产生的输出文件拷贝到Reduce端

然后再次合并给到Reduce计算。输出

 

 

4、Hadoop的压缩codec

hadoop中支持的压缩方式有多种，如：Gzip、bzip2、LZO等，其中Gzip是hadoop中内置支持的一种压缩方式，压缩比比较高，压缩速度也不错

MapReduce的输出进行压缩