清理ambari安装的hadoop集群

本文针对redhat或者centos

对于测试集群,如果通过ambari安装hadoop集群后,想重新再来一次的话,需要清理集群。

对于安装了很多hadoop组件的话,这个工作很繁琐。接下来是我整理的清理过程。

1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX

2,关闭ambari-server,ambari-agent

  1. ambari-server stop
  2. ambari-agent stop

3,卸载安装的软件

  1. yum remove hadoop_2* hdp-select* ranger_2* zookeeper* bigtop* atlas-metadata* ambari* postgresql spark*

以上命令可能不全,执行完一下命令后,再执行

  1. yum list | grep @HDP

查看是否还有没有卸载的,如果有,继续通过#yum remove XXX卸载

4,删除postgresql的数据

postgresql软件卸载后,其数据还保留在硬盘中,需要把这部分数据删除掉,如果不删除掉,重新安装ambari-server后,有可能还应用以前的安装数据,而这些数据时错误数据,所以需要删除掉。

  1. rm -rf /var/lib/pgsql

5,删除用户

ambari安装hadoop集群会创建一些用户,清除集群时有必要清除这些用户,并删除对应的文件夹。这样做可以避免集群运行时出现的文件访问权限错误的问题。

  1. userdel oozie
  2. userdel hive
  3. userdel ambari-qa
  4. userdel flume
  5. userdel hdfs
  6. userdel knox
  7. userdel storm
  8. userdel mapred
  9. userdel hbase
  10. userdel tez
  11. userdel zookeeper
  12. userdel kafka
  13. userdel falcon
  14. userdel sqoop
  15. userdel yarn
  16. userdel hcat
  17. userdel atlas
  18. userdel spark
  19. rm -rf /home/atlas
  20. rm -rf /home/accumulo
  21. rm -rf /home/hbase
  22. rm -rf /home/hive
  23. rm -rf /home/oozie
  24. rm -rf /home/storm
  25. rm -rf /home/yarn
  26. rm -rf /home/ambari-qa
  27. rm -rf /home/falcon
  28. rm -rf /home/hcat
  29. rm -rf /home/kafka
  30. rm -rf /home/mahout
  31. rm -rf /home/spark
  32. rm -rf /home/tez
  33. rm -rf /home/zookeeper
  34. rm -rf /home/flume
  35. rm -rf /home/hdfs
  36. rm -rf /home/knox
  37. rm -rf /home/mapred
  38. rm -rf /home/sqoop

6,删除ambari遗留数据

  1. rm -rf /var/lib/ambari*
  2. rm -rf /usr/lib/python2.6/site-packages/ambari_*
  3. rm -rf /usr/lib/python2.6/site-packages/resource_management
  4. rm -rf /usr/lib/ambari-*
  5. rm -rf /etc/ambari-*

7,删除其他hadoop组件遗留数据

  1. m -rf /etc/hadoop
  2. rm -rf /etc/hbase
  3. rm -rf /etc/hive
  4. rm -rf /etc/oozie
  5. rm -rf /etc/sqoop
  6. rm -rf /etc/zookeeper
  7. rm -rf /etc/flume
  8. rm -rf /etc/storm
  9. rm -rf /etc/hive-hcatalog
  10. rm -rf /etc/tez
  11. rm -rf /etc/falcon
  12. rm -rf /etc/knox
  13. rm -rf /etc/hive-webhcat
  14. rm -rf /etc/kafka
  15. rm -rf /etc/slider
  16. rm -rf /etc/storm-slider-client
  17. rm -rf /etc/spark
  18. rm -rf /var/run/spark
  19. rm -rf /var/run/hadoop
  20. rm -rf /var/run/hbase
  21. rm -rf /var/run/zookeeper
  22. rm -rf /var/run/flume
  23. rm -rf /var/run/storm
  24. rm -rf /var/run/webhcat
  25. rm -rf /var/run/hadoop-yarn
  26. rm -rf /var/run/hadoop-mapreduce
  27. rm -rf /var/run/kafka
  28. rm -rf /var/log/hadoop
  29. rm -rf /var/log/hbase
  30. rm -rf /var/log/flume
  31. rm -rf /var/log/storm
  32. rm -rf /var/log/hadoop-yarn
  33. rm -rf /var/log/hadoop-mapreduce
  34. rm -rf /var/log/knox
  35. rm -rf /usr/lib/flume
  36. rm -rf /usr/lib/storm
  37. rm -rf /var/lib/hive
  38. rm -rf /var/lib/oozie
  39. rm -rf /var/lib/flume
  40. rm -rf /var/lib/hadoop-hdfs
  41. rm -rf /var/lib/knox
  42. rm -rf /var/log/hive
  43. rm -rf /var/log/oozie
  44. rm -rf /var/log/zookeeper
  45. rm -rf /var/log/falcon
  46. rm -rf /var/log/webhcat
  47. rm -rf /var/log/spark
  48. rm -rf /var/tmp/oozie
  49. rm -rf /tmp/ambari-qa
  50. rm -rf /var/hadoop
  51. rm -rf /hadoop/falcon
  52. rm -rf /tmp/hadoop
  53. rm -rf /tmp/hadoop-hdfs
  54. rm -rf /usr/hdp
  55. rm -rf /usr/hadoop
  56. rm -rf /opt/hadoop
  57. rm -rf /tmp/hadoop
  58. rm -rf /var/hadoop
  59. rm -rf /hadoop
  60. userdel nagios
  61. userdel hive
  62. userdel ambari-qa
  63. userdel hbase
  64. userdel oozie
  65. userdel hcat
  66. userdel mapred
  67. userdel hdfs
  68. userdel rrdcached
  69. userdel zookeeper
  70. userdel sqoop
  71. userdel puppet
  72. 可以查看:http://www.cnblogs.com/cenyuhai/p/3287855.html
  73. userdel nagios
  74. userdel hive
  75. userdel ambari-qa
  76. userdel hbase
  77. userdel oozie
  78. userdel hcat
  79. userdel mapred
  80. userdel hdfs
  81. userdel rrdcached
  82. userdel zookeeper
  83. userdel sqoop
  84. userdel puppet
  85. userdel nagios
  86. userdel hive
  87. userdel ambari-qa
  88. userdel hbase
  89. userdel oozie
  90. userdel hcat
  91. userdel mapred
  92. userdel hdfs
  93. userdel rrdcached
  94. userdel zookeeper
  95. userdel sqoop
  96. userdel puppet
  97. userdel -r accumulo
  98. userdel -r ambari-qa
  99. userdel -r ams
  100. userdel -r falcon
  101. userdel -r flume
  102. userdel -r hbase
  103. userdel -r hcat
  104. userdel -r hdfs
  105. userdel -r hive
  106. userdel -r kafka
  107. userdel -r knox
  108. userdel -r mapred
  109. userdel -r oozie
  110. userdel -r ranger
  111. userdel -r spark
  112. userdel -r sqoop
  113. userdel -r storm
  114. userdel -r tez
  115. userdel -r yarn
  116. userdel -r zeppelin
  117. userdel -r zookeeper
  118. userdel -r kms
  119. userdel -r sqoop2
  120. userdel -r hue
  121. rm -rf /var/lib/hbase
  122. rm -rf /var/lib/hive
  123. rm -rf /var/lib/oozie
  124. rm -rf /var/lib/sqoop
  125. rm -rf /var/lib/zookeeper
  126. rm -rf /var/lib/hadoop-hdfs
  127. rm -rf /var/lib/hadoop-mapreduce

8,清理yum数据源

  1. #yum clean all

通过以上清理后,重新安装ambari和hadoop集群(包括HDFS,YARN+MapReduce2,Zookeeper,Ambari Metrics,Spark)成功。如果安装其他组件碰到由于未清理彻底而导致的问题,请留言指出需要清理的数据,本人会补全该文档。

然后后续的重新搭建的方式,可以参考ambari2.6.0搭建文档。

卸载Ambari集群的更多相关文章

  1. Ambari集群移动现有复制到另外地方或更改ip地址,导致各项服务组件上为黄色问号代表心跳丢失的解决方案(图文详解)(博主推荐)

    前言 最近,是在做集群搬移工作,大家肯定会遇到如下的场景. (1) 比如,你新购买的电脑,初步者学习使用Ambari集群.从旧电脑复制到新电脑这边来. (2) 比如,你公司Ambari集群的ip,因业 ...

  2. Ambari集群里操作时典型权限问题put: `/home/bigdata/1.txt': No such file or directory的解决方案(图文详解)

    不多说,直接上干货! 问题详情 明明put该有的文件在,可是怎么提示的是文件找不到的错误呢? 我就纳闷了put: `/home/bigdata/1.txt': No such file or dire ...

  3. 给Ambari集群里安装可视化分析利器工具Hue步骤(图文详解)

    扩展博客 以下,是我在手动的CDH版本平台下,安装Hue. CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz) ...

  4. 给ambari集群里的kafka安装基于web的kafka管理工具Kafka-manager(图文详解)

    不多说,直接上干货! 参考博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8.0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口 ...

  5. Ambari 集群时间同步配置教程

    本文原始地址:https://sitoi.cn/posts/27560.html 步骤 在时间同步主节点创建 ntp.conf 文件 在时间同步从节点上创建 ntp.conf 文件 修改所有节点时区 ...

  6. Hadoop - Ambari集群管理剖析

    1.Overview Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台,可以快速帮助搭建Hadoop及相关以来组件的平台,管理集群方便.这篇博客记录Ambari的相关问题和注意 ...

  7. Ambari集群的搭建(离线安装)

    我们先克隆几台机器 我们打开克隆出来的机器 我们先把主机名修改一下 我们把主机名改成am2 下一步我们来配置网卡 把原来的eth0的注释掉,把现在的eth1改成eth0,同时把mac地址记下来 保存退 ...

  8. 给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解)

    不多说,直接上干货! Impala和Hive的关系(详解) 扩展博客 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 参考 horton ...

  9. nagios新增监控集群、卸载监控集群批量操作

    1.一定要找应用侧确认每台节点上需要监控的进程,不要盲目以为所有hadoop集群的zk.journal啥的都一样,切记! 2.被监控节点只需要安装nagios-plugin和nrpe,依赖需要安装xi ...

随机推荐

  1. 【小知识点】如何通过jq获取textarea的值

    textarea和input本质差不多,只不过input是一行文本,textarea是多行文本. 所以获取textarea的值的方法和获取input的值的方法是一致的, $('textarea').v ...

  2. vim调试Shell脚本: unexpected EOF while looking for matching

    往往在编写脚本完后测试,出现错误需要调试,vim 是一种强大的文本编辑器,对调试也很有帮助.如果指定用不同的颜色显示某些错误,通过配置 .vimrc 文件就会替您完成大部分调试工作. 小柏在测试脚本时 ...

  3. Mysql的管理

    Linux系统中:mysql进入的命令为mysql -u root -p +你的mysql密码. Mysql是如何添加用户呢? 在mysql命令行下,使用use mysql;进入mysql的数据库中. ...

  4. [Docker][Hadoop]基于Docker1.12.3 搭建Hadoop 2.7.2 集群以及简单分析

    一 Hadoop简介 Hadoop 2.7.2 Doc refer to http://hadoop.apache.org/docs/r2.7.2/ HDFS (The following is a ...

  5. nginx简单反向代理实例

    一.要做什么? 实例最后实现的效果图: 我们在浏览器地址栏上输入 wangtong,代理服务器获取请求,将请求转发至指定的 tomcat 上 二.怎样做? 1.准备环境 虚拟中中需要安装 JDK+To ...

  6. Window脚本学习笔记之定时关闭进程

     定时关闭进程, 从字面上即可看出操作分为两个步骤,即: 1,结合“任务计划程序”,定时. “计算机->管理->计划任务程序”,作用是让系统定时启动脚本文件(bat脚本). 2,结合“nt ...

  7. ubuntu 18.04 enp8s0更改网口名称为eth0

    尝试各种方法均不成功,后参考如下方法终于成功: 方法一:单纯改网卡名,重启后显示原网卡名. 如我的网卡名是enp8s0 >> ip link set enp8s0 down //关闭网卡 ...

  8. PWA

    附一个示例e6书写 todolist的示例,切换list的状态: //todolist示例 const toggleTodo = (id)=>{ setTodos(todos => tod ...

  9. Spring-HelloSpring-IOC创建对象的方式

    3.HelloSpring 思考 Hello 对象是谁创建的 ? [ hello 对象是由Spring创建的 ] Hello 对象的属性是怎么设置的 ? [hello 对象的属性是由Spring容器设 ...

  10. js.map文件意义(转)

    什么是source map文件 source map文件是js文件压缩后,文件的变量名替换对应.变量所在位置等元信息数据文件,一般这种文件和min.js主文件放在同一个目录下. 比如压缩后原变量是ma ...