[Hadoop] - TaskTracker源码分析(TaskTracker节点健康状况监控)

　　在TaskTracker中对象healthStatus保存了当前节点的健康状况，对应的类是org.apache.hadoop.mapred.TaskTrackerStatus.TaskTrackerHealthStatus。定义如下：

static class TaskTrackerHealthStatus implements Writable {
    private boolean isNodeHealthy;    // 节点是否健康
    private String healthReport;   // 如果节点不健康，则记录不健康的原因
    private long lastReported; // 最近汇报时间，即上次汇报时间
.................................
}

　　该healthStatus对象是TaskTrackerStatus实例status中的一个属性，会和其他节点信息，比如内存容量等，一起发送到JobTracker中。healthStatus中的属性是有线程NodeHealthCheckerService计算出来的。该线程允许管理员配置一个“健康监控脚本”以检测节点健康状况。唯一需要注意的是：如果脚本监控到该节点处于不健康状态，那么需要在标准输出中打印一个以"ERROR"开头的语句。NodeHealthCheckerService线程会周期性的监控脚本的输出，如果输出结果中的语句有以ERROR开头的语句，那么就设置该节点为不健康节点，JobTracker也会将该节点添加到黑名单中，不会给该节点再发送分配任务。

　　该机制的好处：

　　　　1、可以作为节点的负载的反馈，比如：当脚本监控到网络、io、文件系统等比较繁忙的时候，可以通知设置为不健康节点，减少任务的分配。

　　　　2、人为的暂时维护TaskTracker，当发生TaskTracker出现故障的时候，可以通过脚本暂时的让该TaskTracker停止接收新任务，维护好后，在设置为可以接收状态。

　　配置参数:

参数名称	参数含义
mapred.healthChecker.script.path	健康检查脚本所在的绝对路径，线程BodeHealthCheckerService会周期新的执行该脚本来判断节点是否健康，如果为空，那么不启动线程。
mapred.healthChecker.interval	线程NodeHealthCheckerService执行监控脚本的频率，单位：毫秒
mapred.healthChecker.script.timeout	如果监控脚本在一定时间内没有响应，那么设置为不健康状态
mapred.healthChecker.script.args	监控脚本参数，如果有多个参数用逗号分隔

　　示例：当一个节点的空闲内存量低于总内存量的10%时候，打印ERROR开头的语句。

#! /bin/bash
MEMORY_RATIO = 0.1
freeMem = `grep MemFree /proc/meminfo | awk '{print $2}'`
totalMem = `grep MemTotal /proc/meminfo | awk '{print $2}'`
limitMem = `echo | awk '{print int("'$totalMem'"*"'$MEMORY_RATIO'")}'`
if [$freeMem -lt $limitMem]; then
    echo "ERROR, totalMem=$totalMem, freeMem=$freeMem, limitMem=$limitMem"
else
    echo "OK"
fi