Hadoop心跳机制源码分析

正文：

一．体系背景

首先和大家说明一下：hadoop的心跳机制的底层是通过RPC机制实现的，这篇文章我只介绍心跳实现的代码，对于底层的具体实现，大家可以参考我的另几篇博客：

1. hadoop的RPC机制（参考：http://www.cnblogs.com/sh425/p/6893491.html ）
2. 动态代理（参考 ：http://www.cnblogs.com/sh425/p/6893662.html ）
3. Java NIO（参考 ：http://www.cnblogs.com/sh425/p/6893501.html  ）

以上三篇文章和这篇文章完整地分析了hadoop的数据传输过程。大家可以当成一个体系来阅读。

二．心跳机制 

1. hadoop集群是master/slave模式，master包括Namenode和Jobtracker，slave包括Datanode和Tasktracker。

2. master启动的时候，会开一个ipc server在那里，等待slave心跳。

3. slave启动时，会连接master，并每隔3秒钟主动向master发送一个“心跳”，这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master，然后master也是通过这个心跳的返回值，向slave节点传达指令。

4. 需要指出的是：namenode与datanode之间的通信，jobtracker与tasktracker之间的通信，都是通过“心跳”完成的。

三．Datanode、Namenode心跳源码分析

既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢？下面贴出Datanode.class中的关键代码：

代码一：

1. /**
2. * 循环调用“发送心跳”方法，直到shutdown
3. * 调用远程Namenode的方法
4. */
5. public void offerService() throws Exception {
6. •••
7. while (shouldRun) {
8. try {
9. long startTime = now();
10. // heartBeatInterval是在启动Datanode时根据配置文件设置的，是心跳间隔时间
11. if (startTime - lastHeartbeat > heartBeatInterval) {
12. lastHeartbeat = startTime;
13. //Datanode发送心跳
14. DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration,
15. data.getCapacity(),
16. data.getDfsUsed(),
17. data.getRemaining(),
18. xmitsInProgress.get(),
19. getXceiverCount());
20. myMetrics.addHeartBeat(now() - startTime);
21. if (!processCommand(cmds))
22. continue;
23. }
24. •••
25. }
26. } // while (shouldRun)
27. } // offerService

需要注意的是：发送心跳的对象并不是datanode，而是一个名为namenode的对象，难道在datanode端就直接有个namenode的引用吗？其实不然，我们来看看这个namenode吧：

代码二：

1. public DatanodeProtocol namenode = null;

namenode其实是一个DatanodeProtocol的引用，在对hadoop RPC机制分析的文章中我提到过，这是一个Datanode和Namenode通信的协议，其中有许多未实现的接口方法，sendHeartbeat()就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧：

代码三：

1. this.namenode = (DatanodeProtocol)
2. RPC.waitForProxy(DatanodeProtocol.class,
3. DatanodeProtocol.versionID,
4. nameNodeAddr,
5. conf);

其实这个namenode并不是Namenode的一个对象，而只是一个Datanode端对Namenode的代理对象，正是这个代理完成了“心跳”。代理的底层实现就是RPC机制了。参考博客：http://weixiaolu.iteye.com/blog/1504898 。

四．Tasktracker、Jobtracker心跳源码分析

同样我们从Tasktracker入手，下面贴出Tasktracker.class的关键代码：

代码四：

1. 代码一：
2. State offerService() throws Exception {
3. long lastHeartbeat = System.currentTimeMillis();
4. while (running && !shuttingDown) {
5. •••
6. // 发送心跳，调用代码二
7. HeartbeatResponse heartbeatResponse = transmitHeartBeat(now);
8. •••
9. return State.NORMAL;
10. }
11. 代码二：
12. HeartbeatResponse transmitHeartBeat(long now) throws IOException {
13. •••
14. HeartbeatResponse heartbeatResponse = jobClient.heartbeat(status,
15. justStarted,
16. justInited,
17. askForNewTask,
18. heartbeatResponseId);
19. •••
20. return heartbeatResponse;
21. }

其实我觉得分析到这里大家就可以自己分析了，jobClient也是一个协议：

代码五：

1. InterTrackerProtocol jobClient;

该协议用于定义Tasktracker和Jobtracker的通信。同样，它也是一个代理对象：

代码六：

1. this.jobClient = (InterTrackerProtocol)
2. UserGroupInformation.getLoginUser().doAs(
3. new PrivilegedExceptionAction<Object>() {
4. public Object run() throws IOException {
5. return RPC.waitForProxy(InterTrackerProtocol.class,
6. InterTrackerProtocol.versionID,
7. jobTrackAddr, fConf);
8. }
9. });

代理的底层实现也是RPC机制。参考博客：http://www.cnblogs.com/sh425/p/6893491.html。

转自：http://weixiaolu.iteye.com/blog/1544860