hadoop 单节点安装成功了之后,心情那是叫一个激动.不过后来不知道为什么系统相当的慢.于是就把系统重启了.但是不妙的是namenode各种无法启动. 原来的配置: core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configur…

最近,公司由于断电导致的服务器关机,等到来电了,重启集群发现Namenode无法启动,查看原因是由于无法加在faimage文件,在查看一下Namenode的磁盘挂在情况(df -h命令查看),发现磁盘并有挂在上,于是执行mount -a命令 出现mount: /dev/sdb1 already mounted or /mnt/hdb busy.于是百度一下解决了.解决方法如下: 在挂载硬盘分区的时候,会出现mount: /dev/sdd1 already mounted or /data3 bu…

如果datanode连接不上namenode,导致datanode无法启动. 问题:  ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host 原因:没关闭防火墙 操作:root 权限敲入命令 chkconfig --leve…

场景回顾: 测试集群节点分配:35,36是namenode且开启HA,37,38,39即作为datanode,又作为journalnode. 某时间 38节点磁盘爆满,集群中hdfs及依赖的服务全部宕掉. 之后虽然将38节点清除一部分多余数据,但集群服务仍然不正常:namenode启动的时候两个都是standby,几分钟后自动关闭:datanode正常:journal正常:zkfc正常 调查过程: 查看namenode日志,显示一直在尝试连接journal,并显示 2017-08-14 17:0…

一般namenode只格式化一次,重新格式化不仅会导致之前的数据都不可用,而且datanode也会无法启动.在datanode日志中会有类似如下的报错信息: java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode clusterID = CID-7f25bc20-e822-4b15-9063-4da48884cb60; datanode clusterID = CID-911d3bd8…

关于Ubuntu运行级别.开机启动脚本的说明 目录简介 1.1介绍Ubuntu下面的自启动脚本目录 1.2 Linux操作系统运行级别的概念 1.3关于操作系统自启脚本的启动顺序 1.4    Linux操作系统运行级别的概念 1.5 自启和关闭自启服务 1.6 对于init [number]命令 Content: 1.1 介绍Ubuntu操作系统关于自启动脚本的几个目录 其中rc0.d~rc.6.d文件夹下分别对应的是操作系统0-6级运行的状态下需要执行的脚本.此外还有rcS.d文件夹和rc.…

原因:在root账户(非hadoop账户)下操作hadoop会导致很大的问题 首先运行bin/start-all.sh发现namenode没有启动 只有它们 9428 DataNode 9712 JobTracker 9626 SecondaryNameNode 9983 Jps 9915 TaskTracker 遇到问题要学会翻看日志 cd /usr/local/hadoop/logs 发现日志下面有这个文件 hadoop-hadoop-namenode-ubuntu.log.2014-07-…

每次将hadoop重新启动之后我们查看进程就会发现,namenode成功启动,然而datanode却不能重新启动,格式化以后也不行,百思不得其解,最后在终于在厦门大学的一篇博客里面找到了解决的方法,我们来看看我的core-site.xml文件: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://iZ285jwm58wZ:8020</value> <…

Ubuntu的默认开机的runlevel是2,可以用runlevel来查看当前的默认运行级别. debian系(ubuntu是基于debian)的Linux一直是用runlevel 2来默认启动,并且runlevel定义也与redhat有区别.debian的runlevel级别定义如下: 0 – Halt,关机模式 1 – Single,单用户模式 2 - Full multi-user with display manager (GUI) 3 - Full multi-user with di…

安装hadoop集群时,启动集群,发现master节点的namenode没有启动成功.这一般都是没有格式格式化namenode的缘故.格式化一下就可以,格式化namenode的命令:在hadoop安装文件夹的bin下输入./hadoop namenode -format. 有时hadoop集群非首次启动时也无法启动namenode,而格式化以后,namenode能够启动了.可是datanode又无法启动,这时仅仅须要删除全部slave节点的data/curren文件夹下的VERSION文件,然后…