HDFS 机架感知与副本放置策略

HDFS 机架感知与副本放置策略

机架感知(RackAwareness)

通常，大型 Hadoop 集群会分布在很多机架上，在这种情况下，

• 希望不同节点之间的通信能够尽量发生在同一个机架之内，而不是跨机架。
• 为了提高容错能力，名称节点会尽可能把数据块的副本放到多个机架上。

综合考虑这两点的基础上 Hadoop 设计了机架感知功能

外在脚本实现机架感知

HDFS 不能够自动判断集群中各个 DataNode 的网络拓扑情况。这种机架感知需要 net.topology.script.file.name 属性定义的可执行文件（或者脚本）来实现，文件提供了 DataNode 的IP 地址与机架 rackid 之间的映射关系。NameNode 通过这个映射关系，获得集群中各个 DataNode 机器的机架 rackid。如果 topology.script.file.name 没有设定，则每个 DataNode 的 IP地址都会默认映射成 default-rack，即可同一个机架。

为了获取机架 rackid，可以写一个小脚本来定义 DataNode 的 IP 地址（或DNS域名），并把想要的机架 rackid 打印到标准输出 stdout

这个脚本必须要在配置文件 hadoop-site.xml 里通过属性 ’net.topology.script.file.name’ 来指定。

<property>
	<name>net.topology.script.file.name</name>
    <value>/root/apps/hadoop-3.2.1/topology.py</value>
</property>

用 Python 语言编写的脚本范例：

内部Java类实现机架感知

该处采用配置 topology.node.switch.mapping.impl 来实现机架感知，需在 core-site.xml 配置文件中加入以下配置项：

<property>
   <name>topology.node.switch.mapping.impl</name>
   <value>com.dmp.hadoop.cluster.topology.JavaTestBasedMapping</value>
</property>

还需编写一个JAVA类，一个示例如下所示：

public class JavaTestBasedMapping implements DNSToSwitchMapping {
       //key:ip value:rack
       private staticConcurrentHashMap<String,String> cache = new ConcurrentHashMap<String,String>();
       static {
              //rack0 16
              cache.put("192.168.5.116","/ht_dc/rack0");
              cache.put("192.168.5.117","/ht_dc/rack0");
              cache.put("192.168.5.118","/ht_dc/rack0");
              cache.put("192.168.5.120","/ht_dc/rack0");
              cache.put("192.168.5.121","/ht_dc/rack0");

              cache.put("host116","/ht_dc/rack0");
              cache.put("host117","/ht_dc/rack0");
              cache.put("host118","/ht_dc/rack0");
              cache.put("host120","/ht_dc/rack0");
              cache.put("host121","/ht_dc/rack0");
       }
       @Override
       publicList<String> resolve(List<String> names) {
              List<String>m = new ArrayList<String>();
              if (names ==null || names.size() == 0) {
                    m.add("/default-rack");
                    return m;
              }
              for (Stringname : names) {
                    Stringrack = cache.get(name);
                    if (rack!= null) {
                           m.add(rack);
                    }
              }
              return m;
       }
}

将上述Java类打成jar包，加上执行权限；然后放到$HADOOP_HOME/lib目录下运行。

网络拓扑(NetworkTopology)

有了机架感知，NameNode 就可以画出上图所示的 DataNode 网络拓扑图。D1,R1都是交换机，最底层是 DataNode。则H1 的 rackid=/D1/R1/H1，H1 的 parent 是R1，R1 的是 D1。这些机架 rackid 信息可以通过 net.topology.script.file.name配置。有了这些机架 rackid 信息就可以计算出任意两台 DataNode 之间的距离。

distance(/D1/R1/H1,/D1/R1/H1)=0  相同的datanode
distance(/D1/R1/H1,/D1/R1/H2)=2  同一rack下的不同datanode
distance(/D1/R1/H1,/D1/R1/H4)=4  同一IDC下的不同datanode
distance(/D1/R1/H1,/D2/R3/H7)=6  不同IDC下的datanode

副本放置策略(BPP:blockplacement policy)

• 第一个 block 副本放在和客户端所在的 node 里（如果client不在集群范围内，则这第一个node是随机选取的，当然系统会尝试不选择哪些太满或者太忙的node）。
• 第二个副本放置在与第一个节点不同的机架中的node中（随机选择）。
• 第三个副本和第二个在同一个机架，随机放在不同的node中。

如果还有更多的副本，则在遵循以下限制的前提下随机放置。

• 1个节点最多放置1个副本
• 如果副本数少于2倍机架数，不可以在同一机架放置超过2个副本

当发生数据读取的时候，NameNode 节点首先检查客户端是否位于集群中。如果是的话，就可以按照由近到远的优先次序决定由哪个 DataNode 节点向客户端发送它需要的数据块。也就是说，对于拥有同一数据块副本的节点来说，在网络拓扑中距离客户端近的节点会优先响应。

Hadoop 的副本放置策略在可靠性（block 在不同的机架）和带宽（一个管道只需要穿越一个网络节点）中做了一个很好的平衡。

下图是副本数量为3的情况下一个管道的三个 DataNode的分布情况