hadoop的关键进程 分类： A1_HADOOP 2015-06-06 11:37 52人阅读 评论(0) 收藏

hadoop集群中主要进程有

master:   NameNode, ResourceManager,

slaves:   DataNode, NodeManager,  RunJar, MRAppMaster,YarnChild



其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建，随着job的完成而终止。它们的作用分别是：

RunJar：完成job的初始化，包括获取jobID，将jar包上传至hdfs等。

MRAppMaster：每个job一个进程，主要跟踪job的运行情况，向RM申请资源等。

YarnChild：运行具体的map/reduce task。



job启动过程：

ResourceManage，NodeManager->RunJar->MRAppMaster->YarnChild



job退出过程：

YarnChild->MRAppMaster->RunJar

即所有的map/reduce均完成后，MRAppMaster才退出，最后RunJar退出，job完成。





网上找到的一些示意图：

图1







图2

版权声明：本文为博主原创文章，未经博主允许不得转载。