清理ambari安装的hadoop集群

本文针对redhat或者centos

对于测试集群,如果通过ambari安装hadoop集群后,想重新再来一次的话,需要清理集群。

对于安装了很多hadoop组件的话,这个工作很繁琐。接下来是我整理的清理过程。

1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX

2,关闭ambari-server,ambari-agent

  1. ambari-server stop
  2. ambari-agent stop

3,卸载安装的软件

  1. yum remove hadoop_2* hdp-select* ranger_2* zookeeper* bigtop* atlas-metadata* ambari* postgresql spark*

以上命令可能不全,执行完一下命令后,再执行

  1. yum list | grep @HDP

查看是否还有没有卸载的,如果有,继续通过#yum remove XXX卸载

4,删除postgresql的数据

postgresql软件卸载后,其数据还保留在硬盘中,需要把这部分数据删除掉,如果不删除掉,重新安装ambari-server后,有可能还应用以前的安装数据,而这些数据时错误数据,所以需要删除掉。

  1. rm -rf /var/lib/pgsql

5,删除用户

ambari安装hadoop集群会创建一些用户,清除集群时有必要清除这些用户,并删除对应的文件夹。这样做可以避免集群运行时出现的文件访问权限错误的问题。

  1. userdel oozie
  2. userdel hive
  3. userdel ambari-qa
  4. userdel flume
  5. userdel hdfs
  6. userdel knox
  7. userdel storm
  8. userdel mapred
  9. userdel hbase
  10. userdel tez
  11. userdel zookeeper
  12. userdel kafka
  13. userdel falcon
  14. userdel sqoop
  15. userdel yarn
  16. userdel hcat
  17. userdel atlas
  18. userdel spark
  19. rm -rf /home/atlas
  20. rm -rf /home/accumulo
  21. rm -rf /home/hbase
  22. rm -rf /home/hive
  23. rm -rf /home/oozie
  24. rm -rf /home/storm
  25. rm -rf /home/yarn
  26. rm -rf /home/ambari-qa
  27. rm -rf /home/falcon
  28. rm -rf /home/hcat
  29. rm -rf /home/kafka
  30. rm -rf /home/mahout
  31. rm -rf /home/spark
  32. rm -rf /home/tez
  33. rm -rf /home/zookeeper
  34. rm -rf /home/flume
  35. rm -rf /home/hdfs
  36. rm -rf /home/knox
  37. rm -rf /home/mapred
  38. rm -rf /home/sqoop

6,删除ambari遗留数据

  1. rm -rf /var/lib/ambari*
  2. rm -rf /usr/lib/python2.6/site-packages/ambari_*
  3. rm -rf /usr/lib/python2.6/site-packages/resource_management
  4. rm -rf /usr/lib/ambari-*
  5. rm -rf /etc/ambari-*

7,删除其他hadoop组件遗留数据

  1. m -rf /etc/hadoop
  2. rm -rf /etc/hbase
  3. rm -rf /etc/hive
  4. rm -rf /etc/oozie
  5. rm -rf /etc/sqoop
  6. rm -rf /etc/zookeeper
  7. rm -rf /etc/flume
  8. rm -rf /etc/storm
  9. rm -rf /etc/hive-hcatalog
  10. rm -rf /etc/tez
  11. rm -rf /etc/falcon
  12. rm -rf /etc/knox
  13. rm -rf /etc/hive-webhcat
  14. rm -rf /etc/kafka
  15. rm -rf /etc/slider
  16. rm -rf /etc/storm-slider-client
  17. rm -rf /etc/spark
  18. rm -rf /var/run/spark
  19. rm -rf /var/run/hadoop
  20. rm -rf /var/run/hbase
  21. rm -rf /var/run/zookeeper
  22. rm -rf /var/run/flume
  23. rm -rf /var/run/storm
  24. rm -rf /var/run/webhcat
  25. rm -rf /var/run/hadoop-yarn
  26. rm -rf /var/run/hadoop-mapreduce
  27. rm -rf /var/run/kafka
  28. rm -rf /var/log/hadoop
  29. rm -rf /var/log/hbase
  30. rm -rf /var/log/flume
  31. rm -rf /var/log/storm
  32. rm -rf /var/log/hadoop-yarn
  33. rm -rf /var/log/hadoop-mapreduce
  34. rm -rf /var/log/knox
  35. rm -rf /usr/lib/flume
  36. rm -rf /usr/lib/storm
  37. rm -rf /var/lib/hive
  38. rm -rf /var/lib/oozie
  39. rm -rf /var/lib/flume
  40. rm -rf /var/lib/hadoop-hdfs
  41. rm -rf /var/lib/knox
  42. rm -rf /var/log/hive
  43. rm -rf /var/log/oozie
  44. rm -rf /var/log/zookeeper
  45. rm -rf /var/log/falcon
  46. rm -rf /var/log/webhcat
  47. rm -rf /var/log/spark
  48. rm -rf /var/tmp/oozie
  49. rm -rf /tmp/ambari-qa
  50. rm -rf /var/hadoop
  51. rm -rf /hadoop/falcon
  52. rm -rf /tmp/hadoop
  53. rm -rf /tmp/hadoop-hdfs
  54. rm -rf /usr/hdp
  55. rm -rf /usr/hadoop
  56. rm -rf /opt/hadoop
  57. rm -rf /tmp/hadoop
  58. rm -rf /var/hadoop
  59. rm -rf /hadoop
  60. userdel nagios
  61. userdel hive
  62. userdel ambari-qa
  63. userdel hbase
  64. userdel oozie
  65. userdel hcat
  66. userdel mapred
  67. userdel hdfs
  68. userdel rrdcached
  69. userdel zookeeper
  70. userdel sqoop
  71. userdel puppet
  72. 可以查看:http://www.cnblogs.com/cenyuhai/p/3287855.html
  73. userdel nagios
  74. userdel hive
  75. userdel ambari-qa
  76. userdel hbase
  77. userdel oozie
  78. userdel hcat
  79. userdel mapred
  80. userdel hdfs
  81. userdel rrdcached
  82. userdel zookeeper
  83. userdel sqoop
  84. userdel puppet
  85. userdel nagios
  86. userdel hive
  87. userdel ambari-qa
  88. userdel hbase
  89. userdel oozie
  90. userdel hcat
  91. userdel mapred
  92. userdel hdfs
  93. userdel rrdcached
  94. userdel zookeeper
  95. userdel sqoop
  96. userdel puppet
  97. userdel -r accumulo
  98. userdel -r ambari-qa
  99. userdel -r ams
  100. userdel -r falcon
  101. userdel -r flume
  102. userdel -r hbase
  103. userdel -r hcat
  104. userdel -r hdfs
  105. userdel -r hive
  106. userdel -r kafka
  107. userdel -r knox
  108. userdel -r mapred
  109. userdel -r oozie
  110. userdel -r ranger
  111. userdel -r spark
  112. userdel -r sqoop
  113. userdel -r storm
  114. userdel -r tez
  115. userdel -r yarn
  116. userdel -r zeppelin
  117. userdel -r zookeeper
  118. userdel -r kms
  119. userdel -r sqoop2
  120. userdel -r hue
  121. rm -rf /var/lib/hbase
  122. rm -rf /var/lib/hive
  123. rm -rf /var/lib/oozie
  124. rm -rf /var/lib/sqoop
  125. rm -rf /var/lib/zookeeper
  126. rm -rf /var/lib/hadoop-hdfs
  127. rm -rf /var/lib/hadoop-mapreduce

8,清理yum数据源

  1. #yum clean all

通过以上清理后,重新安装ambari和hadoop集群(包括HDFS,YARN+MapReduce2,Zookeeper,Ambari Metrics,Spark)成功。如果安装其他组件碰到由于未清理彻底而导致的问题,请留言指出需要清理的数据,本人会补全该文档。

然后后续的重新搭建的方式,可以参考ambari2.6.0搭建文档。

卸载Ambari集群的更多相关文章

  1. Ambari集群移动现有复制到另外地方或更改ip地址,导致各项服务组件上为黄色问号代表心跳丢失的解决方案(图文详解)(博主推荐)

    前言 最近,是在做集群搬移工作,大家肯定会遇到如下的场景. (1) 比如,你新购买的电脑,初步者学习使用Ambari集群.从旧电脑复制到新电脑这边来. (2) 比如,你公司Ambari集群的ip,因业 ...

  2. Ambari集群里操作时典型权限问题put: `/home/bigdata/1.txt': No such file or directory的解决方案(图文详解)

    不多说,直接上干货! 问题详情 明明put该有的文件在,可是怎么提示的是文件找不到的错误呢? 我就纳闷了put: `/home/bigdata/1.txt': No such file or dire ...

  3. 给Ambari集群里安装可视化分析利器工具Hue步骤(图文详解)

    扩展博客 以下,是我在手动的CDH版本平台下,安装Hue. CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz) ...

  4. 给ambari集群里的kafka安装基于web的kafka管理工具Kafka-manager(图文详解)

    不多说,直接上干货! 参考博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8.0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口 ...

  5. Ambari 集群时间同步配置教程

    本文原始地址:https://sitoi.cn/posts/27560.html 步骤 在时间同步主节点创建 ntp.conf 文件 在时间同步从节点上创建 ntp.conf 文件 修改所有节点时区 ...

  6. Hadoop - Ambari集群管理剖析

    1.Overview Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台,可以快速帮助搭建Hadoop及相关以来组件的平台,管理集群方便.这篇博客记录Ambari的相关问题和注意 ...

  7. Ambari集群的搭建(离线安装)

    我们先克隆几台机器 我们打开克隆出来的机器 我们先把主机名修改一下 我们把主机名改成am2 下一步我们来配置网卡 把原来的eth0的注释掉,把现在的eth1改成eth0,同时把mac地址记下来 保存退 ...

  8. 给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解)

    不多说,直接上干货! Impala和Hive的关系(详解) 扩展博客 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 参考 horton ...

  9. nagios新增监控集群、卸载监控集群批量操作

    1.一定要找应用侧确认每台节点上需要监控的进程,不要盲目以为所有hadoop集群的zk.journal啥的都一样,切记! 2.被监控节点只需要安装nagios-plugin和nrpe,依赖需要安装xi ...

随机推荐

  1. 安装Nvida 显示环境

    查看是否能正确加载nvidia 驱动 在终端输入 (glxinfo 需要安装mesa-utils) 如果可以正确加载了nvidia驱动 那么在输入的内容中可以看到NVIDIA 字样 如果GPU是Int ...

  2. 一:项目简介(node express vue elementui axios)

    一:项目基本构造 ** 项目一共有 16 个页面,是一个电商网销项目,自己在网上的某网上找的一个要做的网站的设计图: 页面主要包括:  登录页 -- 注册页 -- 首页 -- 产品列表页 -- 产品详 ...

  3. 报错/Warning: You should not use <Route component> and <Route children> in the same route; <Route component> will be ignored

    这个报错在以下情形会出现 第一种 <Switch> <Route exact path="/home/index" component={HomeIndex} / ...

  4. SublimeText 3 常见快捷键

      ·F12 跳转至预定义 ·F11 全屏模式 ·Ctrl+A 本文全选 ·Ctrl+F 打开底部搜索框,查找关键字. ·Ctrl+D 本文件选中光标选中的单词 ·Ctrl+L 选中光标所在一行 ·C ...

  5. Input system (输入子系统)

    Input system (输入子系统) 以前写一些输入设备(键盘,鼠标等)的驱动都是字符设备,混杂设备处理的,linux开源社区的大神门看到了这大量的输入设备如此分散不堪,就想有木有一种机制,可以对 ...

  6. 解决Centos /boot过小无法更新内核

    Centos7默认安装时,/boot目录设置只有150M左右,这样编译几个版本的内核/boot空间就不够用了.报错大致如下: Disk Requirements: At least 3MB more ...

  7. IIS搭建ASP站点

    1. 进入控制面板悬着打开或者关闭Windows功能. 2. 手工选择需要的功能进行安装. 3. 打开运行Internet信息服务(IIS)管理工具. 4. 展开左侧栏看到“Default Web S ...

  8. BZOJ 3308 毒瘤结论 网络流

    结论:在答案集合中的数其质因数最多有两个 且有两个的话一个>n1/2一个<n1/2 这样我们就可以把所有质数筛出来 弄成二分图 左边是<n1/2右边是>n1/2的 所以先把单个 ...

  9. springboot中使用cache和redis

    知识点:springboot中使用cache和redis (1)springboot中,整合了cache,我们只需要,在入口类上加 @EnableCaching 即可开启缓存 例如:在service层 ...

  10. PAT乙级1044

    题目链接 https://pintia.cn/problem-sets/994805260223102976/problems/994805279328157696 题解 需要注意的几个点: 题目有指 ...