hadoop启动namenode日志报这个错,首先说怎么看日志
hadoop启动namenode日志报这个错,首先说怎么看日志,
启动namenode会有这个,ubuntu: starting namenode, logging to /home/xiaoye/hadoop/logs/hadoop-xiaoye-namenode-ubuntu.out
这是hadoop启动时会自动帮助写日志,并告诉我们日志的目录,我直接tail -200 /home/xiaoye/hadoop/logs/hadoop-xiaoye-namenode-ubuntu.out 看日志后200行,可是出现的结果是:
xiaoye@ubuntu:~$ tail -200 hadoop/logs/hadoop-xiaoye-namenode-ubuntu.out
ulimit -a for user xiaoye
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 3645
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 3645
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
应该不是这个日志啊,看着不对劲。
于是改成 tail -200 hadoop/logs/hadoop-xiaoye-namenode-ubuntu.log
这个命令,就可以看到出现这个错,NameNode has nsId 229502726 but storage has nsId 695608861
解决办法:原因分析:
是多次格式化namenode导致版本不一致,直接的办法是直接删掉hadoop/hadoop/目录下的data和name目录下的所有文件,然后重新格式化,重新启动。但是这样明显是不提倡的。
这里解决办法是改文件的内容,根据提示,把/hadoop/hadoop/name/current目录下的VERSION文件的namespaceID修改成报错信息中storage的id值。
xiaoye@ubuntu:~$ cd hadoop/hadoop/name/current
xiaoye@ubuntu:~/hadoop/hadoop/name/current$ ls
edits_0000000000000000001-0000000000000000001 fsimage_0000000000000000000.md5
edits_inprogress_0000000000000000002 seen_txid
fsimage_0000000000000000000 VERSION
xiaoye@ubuntu:~/hadoop/hadoop/name/current$ vim VERSION
xiaoye@ubuntu:~/hadoop/hadoop/name/current$
#Fri Mar 30 00:14:41 PDT 2018
namespaceID=695608861
clusterID=CID-657e9540-2de9-43a2-bf91-199a4334b05a
cTime=0
storageType=NAME_NODE
blockpoolID=BP-583631310-127.0.1.1-1522394081528
layoutVersion=-59
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
"VERSION" 7L, 200C
在重新启动namenode
./hadoop/sbin/hadoop-daemons.sh start namenode
这时namenode还是没有启动成功,与是重复上面步骤,日志出现新的错误。
home/xiaoye/hadoop/journal/ns: NameNode has clusterId 'CID-b824b399-e941-4982-a618-745373
9d3d55' but storage has clusterId 'CID-657e9540-2de9-43a2-bf91-199a4334b05a'
于是还是修改上面的VERSION文件,把clusterId的值改成 storage的值,即可
---------------------
作者:小爷欣欣
来源:CSDN
原文:https://blog.csdn.net/csdnliuxin123524/article/details/79785042
版权声明:本文为博主原创文章,转载请附上博文链接!
hadoop启动namenode日志报这个错,首先说怎么看日志的更多相关文章
- hadoop启动时,报ssh: Could not resolve hostname xxx: Name or service not known
本文转载自:http://blog.csdn.net/wodewutai17quiet/article/details/76795951 问题:hadoop启动时,报ssh: Could not re ...
- hadoop启动守护进程报JAVA_HOME is not set and could not be found
hadoop启动守护进程 sbin/start-dfs.sh 报如下错误:JAVA_HOME is not set and could not be found 解决办法(JAVA_HOME修改为具体 ...
- 解决HDFS无法启动namenode,报错Premature EOF from inputStream;Failed to load FSImage file, see error(s) above for more info
一.情况描述 启动hadoop后发现无法打开hdfs web界面,50070打不开,于是jps发现少了一个namenode: 查看日志信息,发现如下报错: 2022-01-03 23:54:10,99 ...
- 启动hadoop,没有启动namenode进程。log4j:ERROR setFile(null,true) call faild.
启动hadoop,没有启动namenode进程.log4j:ERROR setFile(null,true) call faild. 解决办法: cd /home/hadoop/hadoop-en ...
- hadoop 启动的时候datanode报错 Problem connecting to server
刚配置好的hadoop,namenode可以正常开启,但是datanode却不停的报错,并且不能正常启动: 2014-05-04 10:43:33,970 WARNorg.apache.hadoop. ...
- hadoop启动报错处理
1. hadoop启动报错 1.1. 问题1 util.NativeCodeLoader: Unable to load native-hadoop library for your ...
- 使用root配置的hadoop并启动会出现报错
1.使用root配置的hadoop并启动会出现报错 错误: Starting namenodes on [master] ERROR: Attempting to op ...
- 【docker】【redis】2.docker上设置redis集群---Redis Cluster部署【集群服务】【解决在docker中redis启动后,状态为Restarting,日志报错:Configured to not listen anywhere, exiting.问题】【Waiting for the cluster to join...问题】
参考地址:https://www.cnblogs.com/zhoujinyi/p/6477133.html https://www.cnblogs.com/cxbhakim/p/9151720.htm ...
- hadoop启动报错:localhost: ssh: Could not resolve hostname localhost
hadoop启动journalnode时报错:localhost: ssh: Could not resolve hostname localhost: Temporary failure in na ...
随机推荐
- 使用Redis构建全局并发锁
谈起Redis的用途,小伙伴们都会说使用它作为缓存,目前很多公司都用Redis作为缓存,但是使用Redis仅仅作为缓存未免太大材小用了.深究Redis的原理后你会发现它有很多用途,在很多场景下能够使用 ...
- sql语句表连接删除
DELETE 表1,表2FROM 表1 LEFT JOIN 表2 ON 表1.id=表2.id WHERE 表1.id=需要删除的ID
- 【软件工程】分布式版本控制系统Git的安装与使用
作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2097 远端库地址:https://github.com/Richa ...
- 20172328 暑假作业 之 实现安卓小程序Enjoy-all
20172328 暑假作业 之 实现安卓小程序Enjoy-all 项目介绍 项目名称: Enjoy - all 项目简介: 本项目基于Java语言和Anroid Studio软件,实现了简单的冒泡.屏 ...
- less那些事儿
1.计算函数 less写法要特殊处理一下,否则会被识别成calc(60%); /* css */ width: calc(100% - 40px); / * less */ width : calc( ...
- H5实现全屏与F11全屏
最近做项目用到全屏,现总结一下全屏: 1.局部全屏:H5全屏和F11有区别,在这种情况下判断全屏只需要通过H5全屏属性,无论全屏后有无滚动条都可判断. /** * [isFullscreen 判断浏览 ...
- DataTable数据存储问题
需求: 我想要实现这样一个效果:用户可以在表中通过右键新建行.删除行(这两个后面再写),编辑数据后进行保存.这里保存需要做一个区分,就是新增的和修改的.他们的区别就是新增的主键为空,而修改的因为原本就 ...
- VS开发入门二: VS 里提示图标的含义
VS里面的 我们写代码的过程中,有智能提示可以看到前面的小图标,初学者可以判断是什么意思哟. 1.以下是常用的几个图标 2.其他参考图标: 事件 结构 接口 枚举项 模块 映射项 内部 ...
- QQ机器人
先说下整体思路1.首先要借助一个QQ 插件,用来接收消息 发送消息2.要用个QQ 小号,这个QQ 你不能用来登,因为他相当于那个机器人3.要借助大神开发的SDK ,就是别人写的底层交互 ,我们只需要关 ...
- python3 文件读写操作中的文件指针seek()使用
python中可以使用seek()移动文件指针到指定位置,然后读/写.通常配合 r+ .w+.a+ 模式,在此三种模式下,seek指针移动只能从头开始移动,即seek(x,0) . 模式 默认 写方式 ...