hadoop工作流程

一）任务流程
1）Mapreduce程序启动一个Jobclient实例，开启整个mapreduce作业
2）Jobclient通过getnewjobld（）j接口向Jobtarker发出请求，以获得一个新的作业ID。
3）Jobclient根据作业指定的输入文件计算数据块的划分，并将完成作业所需要的资源，包括JAR文件，配置文件，数据块，存放到HDFS中属于jobtracker的作业ID命令的目录下，一些文件可能以冗余的方式存放多个节点上。
4）完成上述工作以后，Jobclient通过调用jobTracker的submitjob()接口提交作业。
5）Jobtracker将提交的作业放入一个作业队列中等待作业的初始化工作，初始化工作主要是创建一个代表此作业的运行对象，作业的运行对象由封装了作业包含任何的任务和任务运行状态的记录信息。
6）Jobtracker需要从HDFS文件系统中取出Jobclient放好的数据，并根据输入数据创建对应数量的MAP任务，同时根据jobconf配置文件中定义的数量生成reduce任务。
7）Tasktracker和jobtraker间通过心跳信息维持通信，根据这个信息，jobtracker将map任务和reduce任务分配给tasktracker.
8）被分配任务的tasktracker从HDFS文件系统中取出所需的文件，包含JAR文件和任务所对应的数据文件，并保存进本地磁盘，并启动一个taskrunner程序实例准备运行任务。
9）Tasktracker在虚拟机中根据任务类别创建出map task,或reduce task进行并行运算。
二）mapreduce作业的运行流程
Client:client节点上运行了mapreduce程序和jobclient.负责提交mapreduce
作业和为用户显示处理结果。
Jobclient:负责调度协调mareduce作业的执行，是mapreduce的主控节点。分配map任务和reduce执行节点，监控任务的执行。
运行流程：
1）作业的提交
Mapreduce程序启动一个Jobclient实例，开启整个mapreduce作业
Jobclient通过getnewjobld（）j接口向Jobtarker发出请求，以获得一个新的作业ID。
Jobclient根据作业指定的输入文件计算数据块的划分，并将完成作业所需要的资源，包括JAR文件，配置文件，数据块，存放到HDFS中属于jobtracker的作业ID命令的目录下，一些文件可能以冗余的方式存放多个节点上。
完成上述工作以后，Jobclient通过调用jobTracker的submitjob()接口提交作业。

2）作业的初始化
Jobtracker用队列机制处理多个请求，收到的请求会放入一个内部队列中，由作业调度器处理，初始化内容就是创建一个实例，用于后续跟踪和调度此作业，jobtracker要从分布式文件系统中取出joclient存放的数据分片信息，以此决定创建map任务的数量，并创建实例监控和调度map任务，而需要创建的reduce任务数量由实例配置文件中的参数决定