yarn卸载或增加节点

yarn卸载或增加节点

 

卸载节点或者增加节点： 
方式一：静态的增添删除：将集群关闭，修改配置文件（etc/hadoop/slaves），重新启动集群（很黄很暴力，不够人性化）。 
方式二：动态的增加和卸载节点。

卸载DataNode节点： 
1）要在HDFS主节点NameNode上，进行配置。 
a)在etc/hadoop/hdfs-site.xml中，设置属性值：

dfs.hosts.exclude 
/opt/modules/hadoop-2.5.0/ect/hadoop/dfs-hosts.exclude

b)创建文件并在文件中加入卸载节点的IP地址或者主机名。 
2）在NameNode节点上刷新集群 
bin/hdfs dfsadmin -refreshNodes 
3）从页面查看卸载相关信息（过程）。 
4）通过命令来查看结果。 
bin/hdfs dfsadmin -report 
5）在卸载机器上关闭DataNode进程 
sbin/hadoop-daemon.sh stop datanode 
6）将dfs-hosts.exclude文件内容清空

注意： 
在卸载NodeManager时，一定要主要配置在ResourceManager上。

yarn.resourcemanager.nodes.exclude-path 
/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-hosts.exclude

增加新机器，DataNode(存储数据)和NodeManager(计算) 
1）系统、主机名、IP地址、防火墙、SELinux等与集群的从节点基本配置保持一致。 
2）安装JDK（版本、路径、环境变量保持一致）。 
3）配置主节点（HDFS:NameNode；YARN:ResourceManager）所在机器到新机器的SSH无密钥登录（方便集群的启动）。 
4）配置修改etc/hadoop/slaves文件（只需要在主节点上修改）。 
5）分发hadoop安装包（配置完成）到新机器上。 
6）创建HDFS、YARN在新机器的本地磁盘上一些文件夹。 
7）在新机器上启动DataNode和NodeManager节点。 
DataNode：sbin/hadoop.daemon.sh start datanode 
NodeManager:sbin/yarn.daemon.sh start nodemanager 
注意： 
需要将新机器的IP地址与主机名称的映射关系配置到系统的【/etc/hosts】文件中，最好是所有集群中的机器都要添加。