hadoop新旧节点

注意：黑白名单只出现在名称（nn）节点
<!-- 白名单 -->
<property>
<name>dfs.hosts</name>/Users/yangyanqing/文档/hadoop添加新节点+退役旧节点.txt
<value></value>
<description>包含允许连接nn的主机名列表（文件名），必须是绝对路径，如果为空，所有主机都可以连接</description>
</property>
<!-- 黑名单 -->
<property>
<name>dfs.hosts.exclude</name>
<value></value>
<description>包含不允许连接nn的主机名列表（文件名），必须是绝对路径，如果为空表示没有主机在黑名单中</description>
</property>
例子：
0.克隆新主机，软件安装与配置。
0.1:修改主机名
[vim /etc/hosts]
0.2:静态ip
0.2.1:[vim /etc/sysconfig/network-scriots/ifcfg-eno...]
0.2.2:[vim /etc/resolv.conf]
nameserver 192.168.23.2
0.2.3:重启网络服务
service network restart
0.2.4:关闭防火墙
service firewalld stop
0.2.5:防火墙开机关闭
chkconfig firewalld off
0.3:ssh[s101]
0.3.1:[vim /etc/hosts]
0.3.2:拷贝s101公钥到s106
ssh-copy-id root@s106
0.3.3:添加分发配置主机
$>vim /usr/local/bin/.hosts
追加 s106
0.3.4:s106安装rsync
yum install -y rsync
0.3.5:分发
$>xsync.sh /etc/hosts
$>rsync -rl /soft/hadoop* root@s106:/soft/
$>rsync /etc/profile root@s106:/etc/

软件
环境变量
============================= hdfs添加新节点 =============================
1.添加新主机在白名单。注：dfs_include.conf文件内放置添加新主机名
[/soft/hadoop/etc/hadoop/dfs_include.conf]
s102
s103
s104
s106
[hdfs-site.xm]
<property>
<name>dfs.hosts</name>
<value>/soft/hadoop/etc/hadoop/dfs_include.conf</value>
</property>
2.刷新名称节点
$>hdfs dfsadmin -refreshNodes
4.更新slaves文件（把新添加主机名加进去）
s102
s103
s104
s106
5.启动新节点的datanode进程和nodemanager进程
//登陆s106（source /etc/profile 使配置文件生效）
$>hadoop-daemon.sh start datanode
6.检查webui即可。
============================= hdfs退役旧节点 =============================
1.添加下线节点主机名到黑名单，不跟新白名单
[/soft/hadoop/etc/hadoop/dfs_exclude.conf]
s104
[hdfs-site.xm]
<property>
<name>dfs.hosts.exclude</name>
<value>/soft/hadoop/etc/hadoop/dfs_exclude.conf </value>
</property>
2.刷新名称节点
$>hdfs dfsadmin -refreshNodes
3.刷新yarn
4.webui查看状态是否下线中，开始负责block到其他节点。（下线过程就是旧节点数据复制到新节点上面，副本数始终保持在3个，如果副本数小于3，则没有新节点备份数据，webui会始终保持下线状态）
5.当所有数据节点报告已退役，说明所有block复制完成，下线节点。
6.从白名单删除节点，并运行刷新新节点
$>hdfs dfsadmin -refreshNodes
7.删除slave文件的节点。

============================= yarn添加新节点 =============================
1.添加新主机在白名单。注：dfs_include.conf文件内放置添加新主机名
[/soft/hadoop/etc/hadoop/yarn_include.conf]
s102
s103
s104
s106
[yarn-site.xm]
<property>
<name>yarn.resourcemanager.nodes.include-path</name>
<value>/soft/hadoop/etc/hadoop/yarn_include.conf</value>
</property>
3.刷新yarn节点
$>yarn rmadmin -refreshNodes
4.更新slaves文件（把新添加主机名加进去）
s102
s103
s104
s106
5.启动新节点的datanode进程和nodemanager进程
//登陆s106（source /etc/profile 使配置文件生效）
$>hadoop-daemon.sh start datanode
6.检查webui即可。
============================= yarn退役旧节点 =============================
1.添加下线节点主机名到黑名单，不跟新白名单
[/soft/hadoop/etc/hadoop/yarn_exclude.conf]
s104
[yarn-site.xm]
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/soft/hadoop/etc/hadoop/yarn_exclude.conf </value>
</property>
2.刷新名称节点
$>yarn rmadmin -refreshNodes
3.刷新yarn
4.webui查看状态是否下线中，开始负责block到其他节点。（下线过程就是旧节点数据复制到新节点上面，副本数始终保持在3个，如果副本数小于3，则没有新节点备份数据，webui会始终保持下线状态）
5.当所有数据节点报告已退役，说明所有block复制完成，下线节点。
6.从白名单删除节点，并运行刷新新节点
$>yarn rmadmin -refreshNodes
7.删除slave文件的节点。