清理ambari安装的hadoop集群

本文针对redhat或者centos

对于测试集群,如果通过ambari安装hadoop集群后,想重新再来一次的话,需要清理集群。

对于安装了很多hadoop组件的话,这个工作很繁琐。接下来是我整理的清理过程。

1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX

2,关闭ambari-server,ambari-agent

  1. ambari-server stop
  2. ambari-agent stop

3,卸载安装的软件

  1. yum remove hadoop_2* hdp-select* ranger_2* zookeeper* bigtop* atlas-metadata* ambari* postgresql spark*

以上命令可能不全,执行完一下命令后,再执行

  1. yum list | grep @HDP

查看是否还有没有卸载的,如果有,继续通过#yum remove XXX卸载

4,删除postgresql的数据

postgresql软件卸载后,其数据还保留在硬盘中,需要把这部分数据删除掉,如果不删除掉,重新安装ambari-server后,有可能还应用以前的安装数据,而这些数据时错误数据,所以需要删除掉。

  1. rm -rf /var/lib/pgsql

5,删除用户

ambari安装hadoop集群会创建一些用户,清除集群时有必要清除这些用户,并删除对应的文件夹。这样做可以避免集群运行时出现的文件访问权限错误的问题。

  1. userdel oozie
  2. userdel hive
  3. userdel ambari-qa
  4. userdel flume
  5. userdel hdfs
  6. userdel knox
  7. userdel storm
  8. userdel mapred
  9. userdel hbase
  10. userdel tez
  11. userdel zookeeper
  12. userdel kafka
  13. userdel falcon
  14. userdel sqoop
  15. userdel yarn
  16. userdel hcat
  17. userdel atlas
  18. userdel spark
  19. rm -rf /home/atlas
  20. rm -rf /home/accumulo
  21. rm -rf /home/hbase
  22. rm -rf /home/hive
  23. rm -rf /home/oozie
  24. rm -rf /home/storm
  25. rm -rf /home/yarn
  26. rm -rf /home/ambari-qa
  27. rm -rf /home/falcon
  28. rm -rf /home/hcat
  29. rm -rf /home/kafka
  30. rm -rf /home/mahout
  31. rm -rf /home/spark
  32. rm -rf /home/tez
  33. rm -rf /home/zookeeper
  34. rm -rf /home/flume
  35. rm -rf /home/hdfs
  36. rm -rf /home/knox
  37. rm -rf /home/mapred
  38. rm -rf /home/sqoop

6,删除ambari遗留数据

  1. rm -rf /var/lib/ambari*
  2. rm -rf /usr/lib/python2.6/site-packages/ambari_*
  3. rm -rf /usr/lib/python2.6/site-packages/resource_management
  4. rm -rf /usr/lib/ambari-*
  5. rm -rf /etc/ambari-*

7,删除其他hadoop组件遗留数据

  1. m -rf /etc/hadoop
  2. rm -rf /etc/hbase
  3. rm -rf /etc/hive
  4. rm -rf /etc/oozie
  5. rm -rf /etc/sqoop
  6. rm -rf /etc/zookeeper
  7. rm -rf /etc/flume
  8. rm -rf /etc/storm
  9. rm -rf /etc/hive-hcatalog
  10. rm -rf /etc/tez
  11. rm -rf /etc/falcon
  12. rm -rf /etc/knox
  13. rm -rf /etc/hive-webhcat
  14. rm -rf /etc/kafka
  15. rm -rf /etc/slider
  16. rm -rf /etc/storm-slider-client
  17. rm -rf /etc/spark
  18. rm -rf /var/run/spark
  19. rm -rf /var/run/hadoop
  20. rm -rf /var/run/hbase
  21. rm -rf /var/run/zookeeper
  22. rm -rf /var/run/flume
  23. rm -rf /var/run/storm
  24. rm -rf /var/run/webhcat
  25. rm -rf /var/run/hadoop-yarn
  26. rm -rf /var/run/hadoop-mapreduce
  27. rm -rf /var/run/kafka
  28. rm -rf /var/log/hadoop
  29. rm -rf /var/log/hbase
  30. rm -rf /var/log/flume
  31. rm -rf /var/log/storm
  32. rm -rf /var/log/hadoop-yarn
  33. rm -rf /var/log/hadoop-mapreduce
  34. rm -rf /var/log/knox
  35. rm -rf /usr/lib/flume
  36. rm -rf /usr/lib/storm
  37. rm -rf /var/lib/hive
  38. rm -rf /var/lib/oozie
  39. rm -rf /var/lib/flume
  40. rm -rf /var/lib/hadoop-hdfs
  41. rm -rf /var/lib/knox
  42. rm -rf /var/log/hive
  43. rm -rf /var/log/oozie
  44. rm -rf /var/log/zookeeper
  45. rm -rf /var/log/falcon
  46. rm -rf /var/log/webhcat
  47. rm -rf /var/log/spark
  48. rm -rf /var/tmp/oozie
  49. rm -rf /tmp/ambari-qa
  50. rm -rf /var/hadoop
  51. rm -rf /hadoop/falcon
  52. rm -rf /tmp/hadoop
  53. rm -rf /tmp/hadoop-hdfs
  54. rm -rf /usr/hdp
  55. rm -rf /usr/hadoop
  56. rm -rf /opt/hadoop
  57. rm -rf /tmp/hadoop
  58. rm -rf /var/hadoop
  59. rm -rf /hadoop
  60. userdel nagios
  61. userdel hive
  62. userdel ambari-qa
  63. userdel hbase
  64. userdel oozie
  65. userdel hcat
  66. userdel mapred
  67. userdel hdfs
  68. userdel rrdcached
  69. userdel zookeeper
  70. userdel sqoop
  71. userdel puppet
  72. 可以查看:http://www.cnblogs.com/cenyuhai/p/3287855.html
  73. userdel nagios
  74. userdel hive
  75. userdel ambari-qa
  76. userdel hbase
  77. userdel oozie
  78. userdel hcat
  79. userdel mapred
  80. userdel hdfs
  81. userdel rrdcached
  82. userdel zookeeper
  83. userdel sqoop
  84. userdel puppet
  85. userdel nagios
  86. userdel hive
  87. userdel ambari-qa
  88. userdel hbase
  89. userdel oozie
  90. userdel hcat
  91. userdel mapred
  92. userdel hdfs
  93. userdel rrdcached
  94. userdel zookeeper
  95. userdel sqoop
  96. userdel puppet
  97. userdel -r accumulo
  98. userdel -r ambari-qa
  99. userdel -r ams
  100. userdel -r falcon
  101. userdel -r flume
  102. userdel -r hbase
  103. userdel -r hcat
  104. userdel -r hdfs
  105. userdel -r hive
  106. userdel -r kafka
  107. userdel -r knox
  108. userdel -r mapred
  109. userdel -r oozie
  110. userdel -r ranger
  111. userdel -r spark
  112. userdel -r sqoop
  113. userdel -r storm
  114. userdel -r tez
  115. userdel -r yarn
  116. userdel -r zeppelin
  117. userdel -r zookeeper
  118. userdel -r kms
  119. userdel -r sqoop2
  120. userdel -r hue
  121. rm -rf /var/lib/hbase
  122. rm -rf /var/lib/hive
  123. rm -rf /var/lib/oozie
  124. rm -rf /var/lib/sqoop
  125. rm -rf /var/lib/zookeeper
  126. rm -rf /var/lib/hadoop-hdfs
  127. rm -rf /var/lib/hadoop-mapreduce

8,清理yum数据源

  1. #yum clean all

通过以上清理后,重新安装ambari和hadoop集群(包括HDFS,YARN+MapReduce2,Zookeeper,Ambari Metrics,Spark)成功。如果安装其他组件碰到由于未清理彻底而导致的问题,请留言指出需要清理的数据,本人会补全该文档。

然后后续的重新搭建的方式,可以参考ambari2.6.0搭建文档。

卸载Ambari集群的更多相关文章

  1. Ambari集群移动现有复制到另外地方或更改ip地址,导致各项服务组件上为黄色问号代表心跳丢失的解决方案(图文详解)(博主推荐)

    前言 最近,是在做集群搬移工作,大家肯定会遇到如下的场景. (1) 比如,你新购买的电脑,初步者学习使用Ambari集群.从旧电脑复制到新电脑这边来. (2) 比如,你公司Ambari集群的ip,因业 ...

  2. Ambari集群里操作时典型权限问题put: `/home/bigdata/1.txt': No such file or directory的解决方案(图文详解)

    不多说,直接上干货! 问题详情 明明put该有的文件在,可是怎么提示的是文件找不到的错误呢? 我就纳闷了put: `/home/bigdata/1.txt': No such file or dire ...

  3. 给Ambari集群里安装可视化分析利器工具Hue步骤(图文详解)

    扩展博客 以下,是我在手动的CDH版本平台下,安装Hue. CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz) ...

  4. 给ambari集群里的kafka安装基于web的kafka管理工具Kafka-manager(图文详解)

    不多说,直接上干货! 参考博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8.0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口 ...

  5. Ambari 集群时间同步配置教程

    本文原始地址:https://sitoi.cn/posts/27560.html 步骤 在时间同步主节点创建 ntp.conf 文件 在时间同步从节点上创建 ntp.conf 文件 修改所有节点时区 ...

  6. Hadoop - Ambari集群管理剖析

    1.Overview Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台,可以快速帮助搭建Hadoop及相关以来组件的平台,管理集群方便.这篇博客记录Ambari的相关问题和注意 ...

  7. Ambari集群的搭建(离线安装)

    我们先克隆几台机器 我们打开克隆出来的机器 我们先把主机名修改一下 我们把主机名改成am2 下一步我们来配置网卡 把原来的eth0的注释掉,把现在的eth1改成eth0,同时把mac地址记下来 保存退 ...

  8. 给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解)

    不多说,直接上干货! Impala和Hive的关系(详解) 扩展博客 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 参考 horton ...

  9. nagios新增监控集群、卸载监控集群批量操作

    1.一定要找应用侧确认每台节点上需要监控的进程,不要盲目以为所有hadoop集群的zk.journal啥的都一样,切记! 2.被监控节点只需要安装nagios-plugin和nrpe,依赖需要安装xi ...

随机推荐

  1. 关闭google默认打开翻译提醒

    关闭google默认打开翻译提醒 在header中添加以下代码: <meta name="google" content="notranslate" /& ...

  2. node express4 + 前端自动刷新

    官网快速生成:http://www.expressjs.com.cn/starter/generator.html 1.安装  express 1.应用生成器工具 express-generator  ...

  3. 批量删除checkbox前台后台

    <%@ page contentType="text/html;charset=UTF-8" %><%@ include file="/WEB-INF/ ...

  4. iOS 超级签名详解

    一.原理 把安装设备当做开发设备进行分发.说的明白一些,开发者可以在开发者后台添加手机的UDID,然后重新打包一个IPA文件,分发平台,然后被添加的UDID就可以下载. 二.优缺点 优势: 直接分发, ...

  5. goroutine的设计与实现

    goroutine背后的系统知识 http://www.sizeofvoid.net/goroutine-under-the-hood/ 下周写完

  6. linux之mariadb的安装

    1.概述 mysql为关系型数据库. mysql的分支-- mysql (自己本身) -- 2008前后的被SUN收购 SUN之后又被oracle收购 系统集成--什么都干(- 套解决方案) mari ...

  7. Image Processing and Analysis_15_Image Registration: A Method for Registration of 3-D shapes——1992

    此主要讨论图像处理与分析.虽然计算机视觉部分的有些内容比如特 征提取等也可以归结到图像分析中来,但鉴于它们与计算机视觉的紧密联系,以 及它们的出处,没有把它们纳入到图像处理与分析中来.同样,这里面也有 ...

  8. 【Day5】2.反爬策略之代理IP

    import urllib.request as ur proxy_address = ur.urlopen('http://api.ip.data5u.com/dynamic/get.html?or ...

  9. Python使用selenium模拟点击,进入下一页(三)

    嗯,昨天呢,我们已经实现了自动输入百度然后搜索Cgrain,然后点击按钮,进入我的页面,在这里呢,有个问题 ActionChains(seleniumGoo).move_by_offset(-480, ...

  10. nginx添加模块记录

    查看现有nginx的编译参数: [root@iZbp1d0dkjhfmxnxp7wuhmZ nginx-1.12.2]# nginx -Vnginx version: nginx/1.12.2buil ...