[Hadoop代码笔记]Hadoop作业提交之TaskTracker获取Task 一.概要描述 在上上一篇博文和上一篇博文中分别描述了jobTracker和其服务(功能)模块初始化完成后,接收JobClient提交的作业,并进行初始化.本文着重描述,JobTracker如何选择作业的Task分发到TaskTracker.本文只是描述一个TaskTracker如何从JobTracker获取Task任务.Task任务在TaskTracker如何执行将在后面博文中描述. 二. 流程描述   1. Ta…

一.概要描述 在上上一篇博文和上一篇博文中分别描述了jobTracker和其服务(功能)模块初始化完成后,接收JobClient提交的作业,并进行初始化.本文着重描述,JobTracker如何选择作业的Task分发到TaskTracker.本文只是描述一个TaskTracker如何从JobTracker获取Task任务.Task任务在TaskTracker如何执行将在后面博文中描述. 二. 流程描述   1. TaskTracker在run中调用offerService()方法一直死循环的去连接…

一.概要描述 在上篇博文描述了TaskTracker从Jobtracker如何从JobTracker获取到要执行的Task.在从JobTracker获取到LaunchTaskAction后,执行addToTaskQueue方法来把要执行的Task加入到queue.在本篇博文中,我们来关注下该方法后,TaskTracker怎么来处理这些Task. 实际上,TaskTracker初始化时,会初始化并启动两个TaskLauncher类型的线程,mapLauncher,reduceLauncher.在T…

一.概述 在本篇博文中,试图通过代码了解hadoop job执行的整个流程.即用户提交的mapreduce的jar文件.输入提交到hadoop的集群,并在集群中运行.重点在代码的角度描述整个流程,有些细节描述的并不那么详细. 汇总的代码流程图附件: hadoop_mapreduce_jobsubmit 二.主要流程 Jobclient通过RPC方式调用到jobtracker的submitJob方法提交作业,包括作业的jar.分片和作业描述. JobTracker的submitJob方法吧job加…

一.概要描述 在上篇博文描述了TaskTracker启动一个独立的java进程来执行Map任务.接上上篇文章,TaskRunner线程执行中,会构造一个java –D** Child address port tasked这样第一个java命令,单独启动一个java进程.在Child的main函数中通过TaskUmbilicalProtocol协议,从TaskTracker获得需要执行的Task,并调用Task的run方法来执行.在ReduceTask而Task的run方法会通过java反射机制…

一.概要描述 在上篇博文描述了TaskTracker启动一个独立的java进程来执行Map或Reduce任务.在本篇和下篇博文中我们会关注启动的那个入口是org.apache.hadoop.mapred.Child的这个Java进程是如何执行用户定义的map或Reduce任务的. 接上篇文章,TaskRunner线程执行中,会构造一个java –D** Child address port tasked这样第一个java命令,单独启动一个java进程.在Child的main函数中通过TaskUm…

一.概要描述 在上一篇博文中主要描述了JobTracker接收作业的几个服务(或功能)模块的初始化过程.本节将介绍这些服务(或功能)是如何接收到提交的job.本来作业的初始化也可以在本节内描述,但是涉及到JobInProgress的初始化过程放在一张图上太拥挤,就分开到下一篇文章中描述. 二. 流程描述   1. JobClient通过RPC的方式向JobTracker提交作业: 2. 调用JobTracker的submitJob方法.该方法是JobTracker向外提供的供调用的提交作业的接口…

一.概要描述 本文重点描述在JobTracker一端接收作业.调度作业等几个模块的初始化工作.想过模块的介绍会在其他文章中比较详细的描述.受理作业提交在下一篇文章中会进行描述. 为了表达的尽可能清晰一点只是摘录出影响逻辑流转的主要代码.重点强调直接的协作调用,每个内部完成的逻辑(一直可以更细的说明.有些细节可能自己也理解并不深刻:-()在后续会描述. 主要包括JobTracker.TaskScheduler(此处以FairScheduler为例).JobInProgressListener(以用…

1.      概要描述仅仅描述向Hadoop提交作业的第一步,即调用Jobclient的submitJob方法,向Hadoop提交作业. 2.      详细描述Jobclient使用内置的JobSubmissionProtocol 实例jobSubmitClient 和JobTracker交互,最主要是提交作业.获取作业执行信息等. 在JobClient中作业提交的主要过程如下: 1)通过调用JobTracker的getNewJobId()向jobtracker请求一个新的作业ID2)获取j…

在整理FairScheduler实现的task调度逻辑时,注意到EagerTaskInitializationListener类.差不多应该是job提交相关的逻辑代码中最简单清楚的一个了. todo:标红文字表示要加前向链接,待相关文字草稿提交后. 一.概述 继承自JobInProgressListener,实现了jobAdded,jobRemoved,jobUpdated方法.哦,不能说实现,应该说继承,JobInProgressListener居然是个抽象类,看着怎么这样的listener也…