CM记录-Hadoop运维管理

1.自动化运维--cloudera manager

2.手动运维

a.启动./start.all.sh，停止./stop-all.sh

b.hdfs启动/停止：./start-dfs.sh   ./stop-dfs.sh

c.启动单个：./hadoop-daemon.sh start/stop namenode

./hadoop-daemon.sh start/stop datanode/secondarynamenode/nodemanager

d.增加DataNode

1）修改slaves文件：

2）./hadoop-daemon.sh start datanode

3）hadoop dfsadmin -refreshNodes

e.卸载DataNode：1）.stop datanode

2）修改dfs.hosts和dfs.hosts.exclude  ---添加地址

3）hadoop dfsadmin -refreshNodes   ---迁移数据

4）去掉该节点地址，再次hadoop dfsadmin -refreshNodes

f.增加NodeManager：修改slaves文件，直接启动

g.卸载NodeManager：直接停止即可

h.利用SecondaryNameNode恢复NameNode

1）确保新NameNode ${dfs.name.dir}目录存在，并移除其内容

2）把SecondaryNameNode节点中${fs.checkpoint.dir}的所有内容复制到新的NameNode节点的${fs.checkpoint.dir}目录中。

3）在新NameNode上执行命令：hadoop namenode -importCheckpoint，该步会从${fs.checkpoint.dir}中恢复${dfs.name.dfs}，并启动NameNode。

4）检查文件完整性，执行命令：hadoop fsck  /

5）停止NameNode。

6）删除新NameNode  ${fs.checkpoint.dir}目录下的文件

7）正式启动NameNode，恢复工作完成

i.查看日志

j.清理临时文件

k.定期执行数据均衡脚本