Hadoop调试记录(1)
错误
ERROR: Can't get master address from ZooKeeper; znode data == null
解决
关闭hadoop,发现stop-all.sh后几个进程并没有关闭,提示no namenode to close。恍然觉得原来每次关hadoop都没有关成功,这进程该是很久以前的了。所以原因是hadoop节点的连接出现问题。
有几点需要注意:
(1) 用户权限。kevin用户需要被赋予权限(chmod或者chown,一个是赋予权限,一个是将文件的所有者给指定用户),以后要注意用kevin去操作,不要随便就切换到root。linux下的用户权限是一个大问题,要好好研究,很多出错都是权限上的问题导致permission denied或者path/file not found;
(2) kill进程。以进程1128为例,如果#kill -pid 1128无效,可尝试kill 9 1128。另,进程分为系统进程和用户进程,有些进程需要启用其的用户或者root去kill。
正常kill掉几个进程之后,重开hadoop,除了datanode其他的进程都开了。查看datanode的log发现以下问题:
错误
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-kevin/dfs/data: namenode namespaceID = 1234548942; datanode namespaceID = 1169818695
解决
将datanode的namespaceID修改为namenode的namespaceID。命令hadoop namenode -format不能经常使用,清空次数多了namenode的namespaceID就会修改了,造成其与datanode的namespaceID不匹配。
错误
java.io.IOException: Cannot create directory 导致namenode启动失败
解决
无法创建目录的原因,一是目录错了,二是目录对了但没有权限。
检查目录是否出错,若没有则是权限问题。
首先,在hadoop目录下新建几个文件夹
~/hadoop$ mkdir tmp //存放临时文件
~/hadoop$ mkdir hdfs //hdfs的主目录
~/hadoop$ mkdir hdfs/name
~/hadoop$ mkdir hdfs/data
接下来对以上每个文件夹都做chown命令,最好再做一次chmod命令,如下(暂时不熟悉这两个命令的用法,所以都做一次比较保险)。原因:即便之前当前用户(如kevin)对hadoop文件夹及其子文件夹是有“写”权限的,但其子文件夹并不包括后来新建的文件夹,所以kevin是对新建的文件夹没有写权限,导致以上错误。
1 # 将该目录及其子目录的所有者赋给kevin
2 chown -R kevin:kevin ~/usr/hadoop/hadoop/tmp
3 # 赋给当前用户写的权限(这里是的路径是整个hadoop目录)
4 sudo chmod -R a+w ~/usr/hadoop/hadoop
接下来对hadoop/conf下三个配置文件重新做基本配置:
core-site.xml: Core配置项
hdfs-site.xml: HDFS配置项
mapred-site.xml:MapReduce配置项,包括jobtracker和tasktracker
core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>~/usr/hadoop/hadoop/tmp</value>
</property>
</configuration>
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>~/usr/hadoop/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>~/usr/hadoop/hadoop/hdfs/data</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
错误
HMaster进程无法启动/秒退/消失
FATAL [ubuntu:16020.activeMasterManager] master.HMaster: Unhandled exception. Starting shutdown.java.io.IOException: Failed on local exception: java.io.IOException: Broken pipe; Host Details : local host is: "ubuntu/127.0.1.1"; destination host is: "localhost":9000;
master无法构建,原因是在dfs中没有implementation
localhost: Exception in thread "main" org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41)
解决
版本问题。此处hadoop版本是1.2.1,hbase的版本是1.0.0。以下为版本匹配表:
从上图可知,hbase-1.0.X可以确定支持的只有hadoop-2.X.X系列。所谓支持即互相间协议、方法是匹配的,不会出现“我调用你的方法,而你没有这个方法的问题”。删了之前的hbase,装了0.98的hbase(这张图中是不含有hadoop-1.2.1这个版本的,网上有人测试过0.98与1.2.1兼容很好)。重新配置了hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</configuration>
启动hbase,进程全部启动且非常稳定。打开shell,输入list,成功运行。至此完成了对hbase启动问题的全部调试。
总结:要勤于思考,遇到问题最权威的方法是自己动手查看Log,自己分析。网上的意见有可取的成分,也会有大量片面的、甚至错误的言论,要理智辨别。
最重要的一点,不要放弃。遇到太困难的问题解决不了,不妨搁置一下,几天之后头脑清晰了重新来看,会有奇效。
Hadoop调试记录(1)的更多相关文章
- Hadoop调试记录(2)
自从上次调通hbase后很久没有碰hadoop了,今日想写一个mapreduce的小程序.于是先运行了下自带的wordcount示例程序,却报错了. 信息如下: kevin@ubuntu:~/usr/ ...
- SPI 核软件调试记录
SPI 核软件调试记录 1.首先说说int SpiFlashWaitForFlashReady(void)这一函数,基本上其它函数在执行的时候,都会事先执行一次此函数. 因为此函数的作用主要是用 ...
- Video Timing Controller v6.1软件调试记录
Video Timing Controller v6.1软件调试记录 GUI配置: . case XVTC_VMODE_PAL: //576i@50 { TimingPtr->Interlace ...
- Video Test Pattern Generator(7.0)软件调试记录
Video Test Pattern Generator(7.0)软件调试记录 . XVidC_VideoMode XVIDC_VM_576_50_I = XVIDC_VM_720x576_50_I ...
- hadoop学习记录1 初始hadoop
起因 因为工作需要用到,所以需要学习hadoop,所以记录这篇文章,主要分享自己快速搭建hadoop环境与运行一个demo 搭建环境 网上搭建hadoop环境的例子我看蛮多的.但是我看都比较复杂,要求 ...
- MA82G5D16AS16 主频调试记录
MA82G5D16AS16 主频调试记录 当 SCKS 设置 为 MCKDO / 128 时 MCU 的电流为 0.58mA,100UF 电容可以维持 0.5S,大概可以满足. 但是需要注意外围的线路 ...
- Apusic中间件结合MyEclipse进行远程调试记录
Apusic中间件结合MyEclipse进行远程调试记录. 在金蝶域中正常部署应用. 启动金蝶中间件时使用"startapusic -ds"命令. 在MyEclipse的Run-- ...
- http://stblog.baidu-tech.com/?p=1684) coredump调试记录 - PHP篇 原创: 扶墙 贝壳产品技术 今天
http://stblog.baidu-tech.com/?p=1684) coredump调试记录 - PHP篇 原创: 扶墙 贝壳产品技术 今天
- 基于freescale i.Mx6(ARM)的阿里云oss调试记录
交叉编译阿里OSS调试记录 1.1 开通oss服务 具体参考以下链接: https://help.aliyun.com/document_detail/31884.html?spm=a2c4g.111 ...
随机推荐
- 高性能内存队列Disruptor--原理分析
1.起源 Disruptor最初由lmax.com开发,2010年在Qcon公开发表,并于2011年开源,其官网定义为:"High Performance Inter-Thread ...
- Error response:/usr/bin/tf_serving_entrypoint.sh: line 3: 6 Illegal instruction (core dumped) ...
用docker部署tensorflow-serving:gpu时,参照官方文档:https://tensorflow.google.cn/tfx/serving/docker 本应该是很简单的部署,没 ...
- angular -——组件样式修改不成功
angular组件样式修改不成功! 自己定义的css可以成功 组件的不行 style在模板字符串里 直接没有 class 是显示的 但是样式不生效 加上面 即可,为什么?我也不太清楚.有知道答案的请回 ...
- 添加谷歌拓展程序 vue.js devtools过程中的问题
在用vue做项目过程中,需要用到vue.js devtools,在从github上面clone下来代码,然后再npm install ,过程报错,然后更新npm包也是会有问题,以下是install的问 ...
- 使用java短信验证
package cn.geekss.util; import java.io.BufferedReader;import java.io.InputStreamReader;import java.i ...
- Android 版的多合一Office应用也正式向iOS开放了
导读 在 Android 版的多合一 Office 应用「偷跑」不久后(官方证实上线时间比计划要早),为 iOS 准备的版本现在终于也结束 beta 测试正式上线了. 和只提供「有限」平板支持的 An ...
- Django中update和save()同时作用
数据更新操作,对单条记录,可以使用save或者是update两种方式. save() 默认保存后会看到sql语句中更新了所有字段,而save的值是之前获取时候的字段值,是缓存下来的,并不一定最新,可能 ...
- 工作5年了还说不清bean生命周期?大厂offer怎么可能给你!
第一,这绝对是一个面试高频题. 比第一还重要的第二,这绝对是一个让人爱恨交加的面试题.为什么这么说?我觉得可以从三个方面来说: 先说会不会.看过源码的人,这个不难:没看过源码的人,无论是学.硬背.还是 ...
- BrowserSync(前端利器—保存代码后,自动刷新浏览器)
摘要 Browsersync能让浏览器实时.快速响应您的文件更改(HTML.JavaScript.CSS.Sass.Less.PHP.Python等)并自动刷新页面.更重要的是 Browsersync ...
- 通过js自动判断移动终端设备(ios\android等)
当用户用移动设备扫描一个二维码是,将扫描后的链接链接到一个页面,该页面只包含判断移动终端设备的js,判断好后自动跳转到对应的链接 或下载对应的内容. html代码如下: <script> ...