Hadoop 三剑客之 —— 分布式计算框架 MapReduce
一、MapReduce概述
Hadoop MapReduce是一个分布式计算框架,用于编写批处理应用程序。编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集。
MapReduce作业通过将输入的数据集拆分为独立的块,这些块由map
以并行的方式处理,框架对map
的输出进行排序,然后输入到reduce
中。MapReduce框架专门用于<key,value>
键值对处理,它将作业的输入视为一组<key,value>
对,并生成一组<key,value>
对作为输出。输出和输出的key
和value
都必须实现Writable 接口。
(input) <k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3> (output)
二、MapReduce编程模型简述
这里以词频统计为例进行说明,MapReduce处理的流程如下:

- input : 读取文本文件;
- splitting : 将文件按照行进行拆分,此时得到的
K1
行数,V1
表示对应行的文本内容; - mapping : 并行将每一行按照空格进行拆分,拆分得到的
List(K2,V2)
,其中K2
代表每一个单词,由于是做词频统计,所以V2
的值为1,代表出现1次; - shuffling:由于
Mapping
操作可能是在不同的机器上并行处理的,所以需要通过shuffling
将相同key
值的数据分发到同一个节点上去合并,这样才能统计出最终的结果,此时得到K2
为每一个单词,List(V2)
为可迭代集合,V2
就是Mapping中的V2; - Reducing : 这里的案例是统计单词出现的总次数,所以
Reducing
对List(V2)
进行归约求和操作,最终输出。
MapReduce编程模型中splitting
和shuffing
操作都是由框架实现的,需要我们自己编程实现的只有mapping
和reducing
,这也就是MapReduce这个称呼的来源。
三、combiner & partitioner

3.1 InputFormat & RecordReaders
InputFormat
将输出文件拆分为多个InputSplit
,并由RecordReaders
将InputSplit
转换为标准的<key,value>键值对,作为map的输出。这一步的意义在于只有先进行逻辑拆分并转为标准的键值对格式后,才能为多个map
提供输入,以便进行并行处理。
3.2 Combiner
combiner
是map
运算后的可选操作,它实际上是一个本地化的reduce
操作,它主要是在map
计算出中间文件后做一个简单的合并重复key
值的操作。这里以词频统计为例:
map
在遇到一个hadoop的单词时就会记录为1,但是这篇文章里hadoop可能会出现n多次,那么map
输出文件冗余就会很多,因此在reduce
计算前对相同的key做一个合并操作,那么需要传输的数据量就会减少,传输效率就可以得到提升。
但并非所有场景都适合使用combiner
,使用它的原则是combiner
的输出不会影响到reduce
计算的最终输入,例如:求总数,最大值,最小值时都可以使用combiner
,但是做平均值计算则不能使用combiner
。
不使用combiner的情况:

使用combiner的情况:

可以看到使用combiner的时候,需要传输到reducer中的数据由12keys,降低到10keys。降低的幅度取决于你keys的重复率,下文词频统计案例会演示用combiner降低数百倍的传输量。
3.3 Partitioner
partitioner
可以理解成分类器,将map
的输出按照key值的不同分别分给对应的reducer
,支持自定义实现,下文案例会给出演示。
四、MapReduce词频统计案例
4.1 项目简介
这里给出一个经典的词频统计的案例:统计如下样本数据中每个单词出现的次数。
Spark HBase
Hive Flink Storm Hadoop HBase Spark
Flink
HBase Storm
HBase Hadoop Hive Flink
HBase Flink Hive Storm
Hive Flink Hadoop
HBase Hive
Hadoop Spark HBase Storm
HBase Hadoop Hive Flink
HBase Flink Hive Storm
Hive Flink Hadoop
HBase Hive
为方便大家开发,我在项目源码中放置了一个工具类WordCountDataUtils
,用于模拟产生词频统计的样本,生成的文件支持输出到本地或者直接写到HDFS上。
项目完整源码下载地址:hadoop-word-count
4.2 项目依赖
想要进行MapReduce编程,需要导入hadoop-client
依赖:
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
4.3 WordCountMapper
将每行数据按照指定分隔符进行拆分。这里需要注意在MapReduce中必须使用Hadoop定义的类型,因为Hadoop预定义的类型都是可序列化,可比较的,所有类型均实现了WritableComparable
接口。
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException,
InterruptedException {
String[] words = value.toString().split("\t");
for (String word : words) {
context.write(new Text(word), new IntWritable(1));
}
}
}
WordCountMapper
对应下图的Mapping操作:

WordCountMapper
继承自Mappe
类,这是一个泛型类,定义如下:
WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>
public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> {
......
}
- KEYIN :
mapping
输入key的类型,即每行的偏移量(每行第一个字符在整个文本中的位置),Long
类型,对应Hadoop中的LongWritable
类型; - VALUEIN :
mapping
输入value的类型,即每行数据;String
类型,对应Hadoop中Text
类型; - KEYOUT :
mapping
输出的key的类型,即每个单词;String
类型,对应Hadoop中Text
类型; - VALUEOUT:
mapping
输出value的类型,即每个单词出现的次数;这里用int
类型,对应IntWritable
类型。
4.4 WordCountReducer
在Reduce中进行单词出现次数的统计:
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException,
InterruptedException {
int count = 0;
for (IntWritable value : values) {
count += value.get();
}
context.write(key, new IntWritable(count));
}
}
如下图,shuffling
的输出是reduce的输入。这里的key是每个单词,values是一个可迭代的数据类型,类似(1,1,1,...)
。

4.4 WordCountApp
组装MapReduce作业,并提交到服务器运行,代码如下:
/**
* 组装作业 并提交到集群运行
*/
public class WordCountApp {
// 这里为了直观显示参数 使用了硬编码,实际开发中可以通过外部传参
private static final String HDFS_URL = "hdfs://192.168.0.107:8020";
private static final String HADOOP_USER_NAME = "root";
public static void main(String[] args) throws Exception {
// 文件输入路径和输出路径由外部传参指定
if (args.length < 2) {
System.out.println("Input and output paths are necessary!");
return;
}
// 需要指明hadoop用户名,否则在HDFS上创建目录时可能会抛出权限不足的异常
System.setProperty("HADOOP_USER_NAME", HADOOP_USER_NAME);
Configuration configuration = new Configuration();
// 指明HDFS的地址
configuration.set("fs.defaultFS", HDFS_URL);
// 创建一个Job
Job job = Job.getInstance(configuration);
// 设置运行的主类
job.setJarByClass(WordCountApp.class);
// 设置Mapper和Reducer
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordCountReducer.class);
// 设置Mapper输出key和value的类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
// 设置Reducer输出key和value的类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
// 如果输出目录已经存在,则必须先删除,否则重复运行程序时会抛出异常
FileSystem fileSystem = FileSystem.get(new URI(HDFS_URL), configuration, HADOOP_USER_NAME);
Path outputPath = new Path(args[1]);
if (fileSystem.exists(outputPath)) {
fileSystem.delete(outputPath, true);
}
// 设置作业输入文件和输出文件的路径
FileInputFormat.setInputPaths(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, outputPath);
// 将作业提交到群集并等待它完成,参数设置为true代表打印显示对应的进度
boolean result = job.waitForCompletion(true);
// 关闭之前创建的fileSystem
fileSystem.close();
// 根据作业结果,终止当前运行的Java虚拟机,退出程序
System.exit(result ? 0 : -1);
}
}
需要注意的是:如果不设置Mapper
操作的输出类型,则程序默认它和Reducer
操作输出的类型相同。
4.5 提交到服务器运行
在实际开发中,可以在本机配置hadoop开发环境,直接在IDE中启动进行测试。这里主要介绍一下打包提交到服务器运行。由于本项目没有使用除Hadoop外的第三方依赖,直接打包即可:
# mvn clean package
使用以下命令提交作业:
hadoop jar /usr/appjar/hadoop-word-count-1.0.jar \
com.heibaiying.WordCountApp \
/wordcount/input.txt /wordcount/output/WordCountApp
作业完成后查看HDFS上生成目录:
# 查看目录
hadoop fs -ls /wordcount/output/WordCountApp
# 查看统计结果
hadoop fs -cat /wordcount/output/WordCountApp/part-r-00000

五、词频统计案例进阶之Combiner
5.1 代码实现
想要使用combiner
功能只要在组装作业时,添加下面一行代码即可:
// 设置Combiner
job.setCombinerClass(WordCountReducer.class);
5.2 执行结果
加入combiner
后统计结果是不会有变化的,但是可以从打印的日志看出combiner
的效果:
没有加入combiner
的打印日志:

加入combiner
后的打印日志如下:

这里我们只有一个输入文件并且小于128M,所以只有一个Map进行处理。可以看到经过combiner后,records由3519
降低为6
(样本中单词种类就只有6种),在这个用例中combiner就能极大地降低需要传输的数据量。
六、词频统计案例进阶之Partitioner
6.1 默认的Partitioner
这里假设有个需求:将不同单词的统计结果输出到不同文件。这种需求实际上比较常见,比如统计产品的销量时,需要将结果按照产品种类进行拆分。要实现这个功能,就需要用到自定义Partitioner
。
这里先介绍下MapReduce默认的分类规则:在构建job时候,如果不指定,默认的使用的是HashPartitioner
:对key值进行哈希散列并对numReduceTasks
取余。其实现如下:
public class HashPartitioner<K, V> extends Partitioner<K, V> {
public int getPartition(K key, V value,
int numReduceTasks) {
return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
}
}
6.2 自定义Partitioner
这里我们继承Partitioner
自定义分类规则,这里按照单词进行分类:
public class CustomPartitioner extends Partitioner<Text, IntWritable> {
public int getPartition(Text text, IntWritable intWritable, int numPartitions) {
return WordCountDataUtils.WORD_LIST.indexOf(text.toString());
}
}
在构建job
时候指定使用我们自己的分类规则,并设置reduce
的个数:
// 设置自定义分区规则
job.setPartitionerClass(CustomPartitioner.class);
// 设置reduce个数
job.setNumReduceTasks(WordCountDataUtils.WORD_LIST.size());
6.3 执行结果
执行结果如下,分别生成6个文件,每个文件中为对应单词的统计结果:

参考资料
更多大数据系列文章可以参见个人 GitHub 开源项目: 大数据入门指南
Hadoop 三剑客之 —— 分布式计算框架 MapReduce的更多相关文章
- Hadoop 学习之路(三)—— 分布式计算框架 MapReduce
一.MapReduce概述 Hadoop MapReduce是一个分布式计算框架,用于编写批处理应用程序.编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集. MapReduce作业通 ...
- Hadoop 系列(三)—— 分布式计算框架 MapReduce
一.MapReduce概述 Hadoop MapReduce 是一个分布式计算框架,用于编写批处理应用程序.编写好的程序可以提交到 Hadoop 集群上用于并行处理大规模的数据集. MapReduce ...
- Hadoop介绍-2.分布式计算框架Hadoop原理及架构全解
Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统.最核心的模块包括Hadoop Common.HDFS与MapReduce. HDFS HDFS是Hadoop分布式文件系统(H ...
- 分布式计算框架-MapReduce 基本原理(MP用于分布式计算)
hadoop最主要的2个基本的内容要了解.上次了解了一下HDFS,本章节主要是了解了MapReduce的一些基本原理. MapReduce文件系统:它是一种编程模型,用于大规模数据集(大于1TB)的并 ...
- Hadoop整理四(Hadoop分布式计算框架MapReduce)
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提 ...
- Hadoop整理三(Hadoop分布式计算框架MapReduce)
一.概念 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算.概念"Map(映射)"和"Reduce(归约)",是它们的主要思想.它极大 ...
- 2_分布式计算框架MapReduce
一.mr介绍 1.MapReduce设计理念是移动计算而不是移动数据,就是把分析计算的程序,分别拷贝一份到不同的机器上,而不是移动数据. 2.计算框架有很多,不是谁替换谁的问题,是谁更适合的问题.mr ...
- 大数据时代之hadoop(五):hadoop 分布式计算框架(MapReduce)
大数据时代之hadoop(一):hadoop安装 大数据时代之hadoop(二):hadoop脚本解析 大数据时代之hadoop(三):hadoop数据流(生命周期) 大数据时代之hadoop(四): ...
- 分布式计算框架学习笔记--hadoop工作原理
(hadoop安装方法:http://blog.csdn.net/wangjia55/article/details/53160679这里不再累述) hadoop是针对大数据设计的一个计算架构.如果你 ...
随机推荐
- WPF 高性能笔
原文:WPF 高性能笔 本文告诉大家WPF的INK的实现,和如何做一个高性能的笔. 高性能的笔迹在 WPF 包含两个部分,一个是就是输入,第二个就是渲染. 如果需要经过路由事件才收到输入,如果有人在路 ...
- Android如何获得系统版本
如何获得Android系统版本 项目移植中,遇到需要区分不同系统版本的问题.于是查找相关方法如下: android.os.Build类提供了当前系统信息. 可用if (Build.VERSION.SD ...
- Websphere设备、企业部署应用程序 【应用】
Websphere设备.企业部署应用实例 环境 名称 版本号 Linux系统 CentOS-5.6-x86_64 Oracle软件 10201_database_linux_x86_64.cpio W ...
- jxl导出Excel
首先先在自己工程中导入jxl的jar包: 疯狂google后找到一段别人的导出excel方法,先备份于下面: import java.io.File; import java.io.FileOutpu ...
- 简明Python3教程 9.函数
简介 函数是程序的可复用片段,允许你为语句块赋予名字之后在程序的任何地方运行它们任意次,这称做函数调用. 我们已经使用过一些内建函数,例如len和range等. 函数也许是任何有意义的软件中最重要的构 ...
- sql service添加索引
语法:CREATE [索引类型] INDEX 索引名称ON 表名(列名)WITH FILLFACTOR = 填充因子值0~100GO /*实例*/USE 库名GOIF EXISTS (SELECT * ...
- WPF C#之读取并修改App.config文件
原文:WPF C#之读取并修改App.config文件 简单介绍App.config App.config文件一般是存放数据库连接字符串的. 下面来简单介绍一下App.config文件的修改和更新. ...
- 构建自己的PHP框架(路由)
完整项目地址:https://github.com/Evai/Aier 上一篇中我们已经建立了一个空的 Composer 项目,本篇将讲述如何构建路由. 下面我们就开始自己来构建路由,先去 GitHu ...
- uva 11346 - Probability(可能性)
题目链接:uva 11346 - Probability 题目大意:给定x,y的范围.以及s,问说在该范围内选取一点,和x,y轴形成图形的面积大于s的概率. 解题思路:首先达到方程xy ≥ s.即y ...
- 在 DEBIAN 上安装 SQL SERVER
微软在开源 .NET Framework 之后,相继推出了跨平台的编辑器 Visual Studio Code,跨平台的 SQL Server 数据库 SQL Server vNext,Visual ...