Hadoop-2.4.1学习之Streaming编程
在之前的文章曾提到Hadoop不仅支持用Java编写的job,也支持其他语言编写的作业,比方Hadoop Streaming(shell、python)和Hadoop Pipes(c++),本篇文章将学习Hadoop Streaming编程。
Streaming是hadoop自带的工具,封装在hadoop-streaming-版本.jar中,能够使用hadoop jar hadoop-streaming-版本.jar命令启动,在该命令中还须要指定mapper或/和reducer。当中mapper和reducer任务既能够是java类,也能够是可运行文件(如cat)或脚本文件(如python)。
该工具将创建MapReduce作业。将作业提交给集群处理并监控作业的运行进度等,以下分析一下Streaming的运行过程。
当可运行文件做为mapper或者reducer时,每一个mapper任务或者reducer任务在mapper或者reducer初始化后将可运行文件做为独立的进程载入运行。
当mapper任务运行时。它将输入转换为行然后把这些行传递给该进程的标准输入stdin,同一时候mapper收集从该进程的标准输出stdout产生的行并将每行转换为键值对。这些键值对将做为该mapper的输出。默认的情况下,一行的開始部分到第一个tab符为键,剩余的部分(不包括tab符)为值。假设某行不存在tab符,则整个行将做为键,而值为null。
但可通过使用-inputformat命令行选项自己定义键值分隔符。当reducer任务运行时,它将输入的键值对转换为行,然后传递给该进程的标准输入stdin,同一时候reducer任务收集该进程标准输出stdout的输出。并转换为键值对,这些键值对将做为reducer任务的输出。同mapper任务一样,默认使用tab符分隔键值对,用户能够使用-outputformat自己定义分隔符。
通过上面的描写叙述可知,mapper和reducer的的输出都为键值对。输入都为从对应进程的stdin输入的行,不同的是mapper是将输入数据转换为行,reducer是将mapper输出的键值对转换为行。
能够通过指定stream.non.zero.exit.is.failure的值为true或false表示streaming任务退出时状态码的含义,假设为true则非0值表示失败。若为false则非0表示成功,默认情况下。streaming任务退出时的状态码非0表示任务失败。接下来看看streaming工具的语法格式。用户能够通过在命令行输入hadoop jar hadoop-streaming-2.4.1.jar –help获取该工具的具体使用方法,例如以下表所看到的:
參数 |
可选/必选 |
说明 |
-input |
必选 |
Map阶段输入文件的路径 |
-output |
必选 |
Reduce阶段的输出文件夹 |
-mapper |
可选 |
可运行文件或者Java类,做为mapper。默觉得PipeMapper |
-reducer |
可选 |
可运行文件或者Java类,做为reducer。 默觉得PipeReducer |
-combiner |
可选 |
可运行文件或者Java类,做为combiner。默觉得PipeCombiner |
-partitioner |
可选 |
做为partitioner的Java类 |
-inputformat |
可选 |
指定输入格式的Java类,默觉得TextInputFormat,还能够为SequenceFileAsTextInputFormat或者自己定义输入格式的Java类 |
-outputformat |
可选 |
指定输出格式的Java类,默觉得TextOutputFormat,也能够为自己定义输出格式的Java类 |
-file |
可选 |
指定了作业使用的文件,将被复制到集群中。推荐使用通用选项-files选线替代该选项 |
-numnumReduceTasks |
可选 |
指定reducer的数量 |
-inputreader |
可选 |
指定读取记录的reader类 |
-cmdenv |
可选 |
<n>=<v>,像streaming传递环境变量 |
-mapdebug |
可选 |
指定了map任务失败时运行的脚本 |
-reducedebug |
可选 |
指定了reduce任务失败时运行的脚本 |
-lazyOutput |
可选 |
延迟创建输出,比如假设输出为TextOutputFormat。输出文件仅在第一次调用Context.write时创建 |
-background |
可选 |
提交作业后马上返回,不等待作业完毕 |
-verbose |
可选 |
打印作业的运行情况 |
-info |
可选 |
打印具体的使用方式 |
除了上表所述的专门用于streaming的选项外,在使用streaming工具时还能够指定通用选项。但须要确保通用选项位于streaming选项之前。否则将导致失败。
通用选项例如以下表所看到的:
參数 |
可选/必选 |
说明 |
-conf configuration_file |
可选 |
指定应用程序的配置文件 |
-D property=value |
可选 |
为指定属性设置特定值 |
-fs host:port or local |
可选 |
指定NameNode |
-files |
可选 |
指定用逗号分隔的传递到MapReduce集群的文件 |
-libjars |
可选 |
指定要被包括在类路径中的用逗号分隔的jar文件 |
-archives |
可选 |
指定了用逗号分隔的归档文件,这些归档文件将在计算节点上解压缩 |
前面以前提到,默认使用tab符分隔键值对,而且依照第一个tab符来分隔,而在非常多情况下。数据不是使用tab符分隔字段,而且希望某几个字段做为键,默认情况将不满足这种需求。此时用户能够通过使用对应的參数来改动默认设置,这几个參数为:
參数 |
说明 |
stream.map.input.field.separator |
Map输入的字段分隔符,默觉得\t |
stream.map.output.field.separator |
Map输出的字段分隔符,默觉得\t |
stream.num.map.output.key.fields |
第几个分隔符用于分隔键值对。默觉得1 |
stream.reduce.input.field.separator |
Reduce输入的字段分隔符,默觉得\t |
stream.reduce.output.field.separator |
Reduce输出的字段分隔符,默觉得\t |
stream.num.reduce.output.key.fields |
第几个分隔符用于分隔键值对,默觉得1 |
通过一个具体的演示样例代码来具体描写叙述上述參数的含义,在该段代码中使用点号(.)做为分隔符,而且第四个点号之前的字段为键,第四个点号(不包括该点号)后面的字段做为值。假设某行中的点号少于四个,则正行将做为键,值为空的Text对象。代码例如以下:
hadoop jar hadoop-streaming-2.4.1.jar \
-D stream.map.output.field.separator=. \
-D stream.num.map.output.key.fields=4 \
-input input \
-output output \
-mapper /bin/cat \
-reducer /bin/cat
最后通过以下的演示样例代码结束Streaming编程的学习。在该代码中通过-files通用选项将两个python脚本上传到集群中,并分别做为mapper和reducer:
hadoop jar hadoop-streaming-2.4.1.jar \
-files mapperPythonScript.py, reducerPythonScript.py
-input myInputDirs \
-output myOutputDir \
-mapper mapperPythonScript.py \
-reducer reducerPythonScript.py
本篇文章学习Hadoop Streaming编程,具体介绍了作业流程和參数的使用方式,至于怎样编写Streaming中的mapper和reducer,则须要依据用户使用的脚本语言(如python、shell)而定。
Hadoop-2.4.1学习之Streaming编程的更多相关文章
- hadoop streaming 编程
概况 Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程.一个最简单的程序 $HADOOP_HOME/bin/hadoop jar ...
- 零基础学习hadoop到上手工作线路指导(编程篇)
问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如 ...
- Apache Spark 2.2.0 中文文档 - Spark Streaming 编程指南 | ApacheCN
Spark Streaming 编程指南 概述 一个入门示例 基础概念 依赖 初始化 StreamingContext Discretized Streams (DStreams)(离散化流) Inp ...
- Apache Spark 2.2.0 中文文档 - Spark Streaming 编程指南
Spark Streaming 编程指南 概述 一个入门示例 基础概念 依赖 初始化 StreamingContext Discretized Streams (DStreams)(离散化流) Inp ...
- Spark Streaming编程示例
近期也有开始研究使用spark streaming来实现流式处理.本文以流式计算word count为例,简单描述如何进行spark streaming编程. 1. 依赖的jar包 参考<分别用 ...
- Apache Spark 2.2.0 中文文档 - Structured Streaming 编程指南 | ApacheCN
Structured Streaming 编程指南 概述 快速示例 Programming Model (编程模型) 基本概念 处理 Event-time 和延迟数据 容错语义 API 使用 Data ...
- Structured Streaming编程 Programming Guide
Structured Streaming编程 Programming Guide Overview Quick Example Programming Model Basic Concepts Han ...
- 学习linux/unix编程方法的建议(转)
假设你是计算机科班出身,计算机系的基本课程如数据结构.操作系统.体系结构.编译原理.计算机网络你全修过 我想大概可以分为4个阶段,水平从低到高从安装使用=>linux常用命令=>linux ...
- Learning ROS for Robotics Programming - Second Edition(《学习ROS机器人编程-第二版》)
Learning ROS for Robotics Programming - Second Edition <学习ROS机器人编程-第二版> ----Your one-stop guid ...
随机推荐
- Python 一条语句如何在多行显示的问题
在做python学习的时候,我照着pdf,敲代码,遇到一大难题: return render_to_response('index.html',{'title':'my page','user':us ...
- 线段树+扫描线【bzoj1645】[USACO07OPEN]城市的地平线City Horizon
Description 约翰带着奶牛去都市观光.在落日的余晖里,他们看到了一幢接一幢的摩天高楼的轮廓在地平线 上形成美丽的图案.以地平线为 X 轴,每幢高楼的轮廓是一个位于地平线上的矩形,彼此间可能有 ...
- BestCoder Round #65 (ZYB's Biology)
ZYB's Biology Accepts: 848 Submissions: 1199 Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 13 ...
- poj 1298(水题)
The Hardest Problem Ever Time Limit: 1000MS Memory Limit: 10000K Total Submissions: 24241 Accept ...
- hdu1006 Tick and Tick (数学题 借鉴了大神的博客)
先缩短一半的时间:早上的12个小时和下午的12小时对时钟是一样的,因为时钟12小时与0小时的三针位置相同.接着就是了解到每次所有的针从有重合到再次有重合至多有一段连续的段符合三针分离度大于n.所以只要 ...
- codevs 1014 装箱问题 2001年NOIP全国联赛普及组
题目描述 Description 有一个箱子容量为V(正整数,0<=V<=20000),同时有n个物品(0<n<=30),每个物品有一个体积(正整数). 要求n个物品中,任取若 ...
- [BZOJ4813][CQOI2017]小Q的棋盘(DP,贪心)
4813: [Cqoi2017]小Q的棋盘 Time Limit: 10 Sec Memory Limit: 512 MBSubmit: 804 Solved: 441[Submit][Statu ...
- Android:布局实例之模仿京东登录界面
预览图及布局结构参考: 布局: <?xml version="1.0" encoding="utf-8"?> <RelativeLayout ...
- (转)JS中的对象
1.对象 要有对象, 就先要有创建对象的方法. 在C++/Java等语言, 这个方法就是实例化XXX类的一个实例xxx.而在JavaScript的世界里实际没有类的东西, 当然仍然可以用"类 ...
- 1前端案例-tag标签+随机位置
tag标签随机位置+js数组随机+js添加一段html代码段 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN ...