1. 这个bug确实恶心的不要不要的。我一开始以为是我自己打开方式(毕竟不熟悉搭建流程,别人怎么做,我照着做)
    1. 我照着视频或者博客编写hdfs-site.xml(dfs.ha.fencing.methods)
    1. 但是一直再start-dfs.sh 后(DFSZKFailoverController进程没有启动)
    2. 在stop-dfs.sh后提示(no zkfc to stop)
  • 我一开始当然顺势去看日志(程序员不看日志处理,还能干什么?)
    1. 因为在start-dfs.sh看到
看到zkfc的日志在$HADOOP_HOME/log下的hadoop-root-zkfc-package.out,那log就估计也在这里了。
    1. 一开始没有调试经验,一进去看使用vim $HADOOP_HOME/log/hadoop-root-zkfc-package.log
      1. 看到的是
        1. 以为没有什么日志可看,就草草把vim关闭。
    • 看到没有头绪,只好去百度,谷歌。发现有不少都是问这个问题。但是没有一个是真正解决的文章(正因为这样,我才写而已)
      1. 寻找了一个下午+一个晚上,没有解决!
    • 又回到起点,去看日志吧。不过我当时不是使用vim,而是使用了cat(不建议用在文本太大的话,你会后悔的。不过也是因为我这个愚蠢的动作给我解决bug的思路),
如果你一直启动不了,最后肯定是能看到这个异常的。
    1. 然后回去查看那个hadoop四个重要配置文件core-site.xml,hdfs-site.xml,yarn-site.xml,map-site.xml(slaves也算,只是压根没有配这个属性而已)
      1. 由于我是在start-dfs.sh才能调起DFSZKFailoverController
        1. 所以不关yarn-site.xml,map-site.xml的事
      2. 只好去看core-site.xml,hdfs-site.xml
        1. 分别查看,只有hdfs-site.xml存在这样的"sshfence",但是有排版格式(换行了)
      3. 我果断把排版格式去掉,变成
同步给其他集群,再启动start-dfs.sh
    1. 就出现了DFSZKFailoverController进程
 
 
  1. 总结:
    1. 他喵自己,为了懒去复制别人github的配置代码(https://github.com/xiongbeer/MyHadoopConf/tree/master/clustConf)。而导致自己浪费一天时间。这个不是重点。
    2. 重点在分析上,没有具体看日志具体多少行,就草率把日志关闭了。这是不可取的

原文:http://note.youdao.com/noteshare?id=05807db5f3367ad35da34c110a0bfa16&sub=3745E626E40844BEA1AE3A3ECD6AD058

hadoop HA (no zkfc to stop) DFSZKFailoverController进程没有启动的更多相关文章

  1. Hadoop完全分布式环境下,DataNode进程正常启动,但是网页上不显示DataNode节点

    Hadoop完全分布式环境下,上传文件到hdfs上时报错: // :: WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ip ...

  2. hadoop HA分布式集群搭建

    概述 hadoop2中NameNode可以有多个(目前只支持2个).每一个都有相同的职能.一个是active状态的,一个是standby状态的.当集群运行时,只有active状态的NameNode是正 ...

  3. 1、hadoop HA分布式集群搭建

    概述 hadoop2中NameNode可以有多个(目前只支持2个).每一个都有相同的职能.一个是active状态的,一个是standby状态的.当集群运行时,只有active状态的NameNode是正 ...

  4. hadoop ha zkfc 异常自动切换机制和hdfs 没有空间问题解决

    在我搭建hadoop ha 后,我启动了各个功能,但是发现hadoop hdfs 没法使用,在web 页面也显示hdfs 可用空间为零,并且自动备份机制无法使用,本人也不理解,然后就是指定hdfs t ...

  5. 【Hadoop故障处理】在高可用(HA)配置下,8088端口无法访问,resourcemanager进程无法启动问题

    [故障背景] 8088网页打不开,因8088是yarn平台的端口,所以我从yarn开始排查,首先到各个机器上使用jps命令查看yarn的各个节点是否启动,发现虽然有nodemanager进程,但是主节 ...

  6. 启动Hadoop HA Hbase zookeeper spark

    服务器角色 服务器 192.168.58.180 192.168.58.181 192.168.58.182 192.168.58.183 Name CentOSMaster Slvae1 Slave ...

  7. Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)

    声明:作者原创,转载注明出处. 作者:帅气陈吃苹果 一.服务器环境 主机名 IP 用户名 密码 安装目录 master188 192.168.29.188 hadoop hadoop /home/ha ...

  8. 基于zookeeper的高可用Hadoop HA集群安装

    (1)hadoop2.7.1源码编译 http://aperise.iteye.com/blog/2246856 (2)hadoop2.7.1安装准备 http://aperise.iteye.com ...

  9. Hadoop(HA)分布式集群部署

    Hadoop(HA)分布式集群部署和单节点namenode部署其实一样,只是配置文件的不同罢了. 这篇就讲解hadoop双namenode的部署,实现高可用. 系统环境: OS: CentOS 6.8 ...

随机推荐

  1. oracle中to_timestamp和to_date什么区别

    date类型是Oracle常用的日期型变量,时间间隔是秒.两个日期型相减得到是两个时间的间隔,注意单位是“天”. timestamp是DATE类型的扩展,可以精确到小数秒(fractional_sec ...

  2. atom那些事儿

    基于electron(Electron 的底层基于Chromium 和node.js)

  3. Redis自学笔记:1.简介

    博主教材:李子骅.人民邮电出版社.<redis入门指南> 博主操作系统系统:虚拟机Ubuntu16.04 博主redis版本:3.0.6 第1章:简介 redis是一个开源的.高性能的.基 ...

  4. Python2048小游戏demo

    # -*- coding:UTF-8 -*- #! /usr/bin/python3 import random v = [[0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, ...

  5. 使用ssm框架实现简单网页注册功能

    1.注册Spring配置文件,在web应用启动时创建Spring容器(注册listener). <!-- 注册spring配置文件 --> <context-param> &l ...

  6. C++ STL中哈希表Map 与 hash_map 介绍

    0 为什么需要hash_map 用过map吧?map提供一个很常用的功能,那就是提供key-value的存储和查找功能.例如,我要记录一个人名和相应的存储,而且随时增加,要快速查找和修改: 岳不群-华 ...

  7. .net 4.0 中的特性总结(四):Tuple类型

    Tuple是具有指定数量和顺序的值的一种数据结构.针对这种数据结构,.Net4.0中提供了一组Tuple类型,具体如下: Tuple   Tuple<T>   Tuple<T1, T ...

  8. 1. Spring 简介以及关于 Eclipse 的 Spring Tool Suite 插件安装

    今天开始学 Spring 了,就先来认识一下什么是 Spring 吧. 1. 首先,Spring 是一个框架,而且是开源的. 2. Spring 为简化企业级应用开发而生.使用 Spring 可以使简 ...

  9. mybatis查询到count(*)返回值

    resultType="int" <select id="num_List_" parameterType=" xxx" result ...

  10. windows配置java运行环境

    配置jdk环境    https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html 配置tomcat环境      https://j ...