hadoop节点动态删除与增加

动态删除

1)修改配置文件

修改hdfs-site.xml文件，适当减小dfs.replication的数量，增加dfs.hosts.exclude选项

vi hdfs-site.xml
<property>
    <name>dfs.hosts.exclude</name>
    value>/usr/local/src/hadoop/hdfs/excludes</value>
</property>

2)创建exclude

touch /usr/local/src/hadoop/hdfs/excludes

3)在exclude中写入待删除的DataNode的ip或域名

vi /usr/local/src/hadoop/hdfs/excludes
slave3

4)刷新

hdfs dfsadmin -refreshNodes
start-balancer.sh

动态增加

1)配置ssh免密码登入

ssh-keygen
ssh-copy-id    

2)复制hadoop目录

scp -Cr /usr/local/src/hadoop slave3:/usr/local/src/

3)把新主机添加到slaves

vi $HADOOP_HOME/etc/hadoop/slaves

slave3

4)刷新节点

hadoop-daemon.sh start datanode　　　　　　　　　　　　 #在slave3上启动
yarn-daemon.sh start datanode　　　　　　　 　　　　　　#在slave3上启动
hdfs dfsadmin -refreshNodes start-balancer.sh