为更好了解各种故障,可以修改数据块的大小和提升NameNode的日志级别 <property> <name>dfs.block.size</name> <value>4194304</value> </property> <property> <name>dfs.namenode.logging.level</name> <value>all</value> </pro…

1.关于DataNode 错误信息解析 错误内容 java.io.IOException: Incompatible clusterIDs -b89c-43f90751214b; datanode clusterID = CID-fe4d7495--4bc2-9f03-5bdade0be587 原因及处理方法 原因: 由于多次 format 导致, NameNode 节点 clusterID值与DataNode 节点clusterID 值不相等. 处理方法: . 修改 DataNode 节点的…

4883 -- process information unavailable 解决办法: 进入tmp目录, cd /tmp 删除该目录下 名称为hsperfdata_{username}的文件夹 然后jps,清净了.…

一.几个可能会用到的属性值 1.mapred.map.tasks.speculative.execution和mapred.reduce.tasks.speculative.execution 这两个属性可以决定Map任务和Reduce任务是否开启推测式执行策略.推测式执行策略在Hadoop中用来应对执行缓慢的任务所造成的瓶颈,但是对代码缺陷所导致的任务执行过慢,推测执行是一种反向的作用,应当避免,而Hadoop默认是开启推测式执行的. 2.mapred.job.reuse.jvm.num.ta…

部署hadoop-ha QJM架构过程我就不说了,参考 我的博客:hadoop-ha QJM架构部署故障一:    namenode 报错日志如下: WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Remote journal 10.168.35.127:8485 failed to write txns 71760508-71760510. Will try to write to this JN again…

1.查登录权限 如果文件服务器没有为用户授权,那么用户自然就不能远程登录服务器系统了,为此笔者决定先仔细检查一下文件服务器系统是否为自己使用的登录账号,授予了远程登录权限.在进行这种检查时,笔者先是在文件服务器本地以系统管理员身份登录进去,依次单击该系统的“开始”/“程序”/“管理工具”/“服务器管理器”命令,打开文件服务器系统的管理器控制台界面;从该界面左侧显示区域中依次单击“服务器管理”.“服务器摘要”选项,再单击对应选项设置区域中的“配置远程桌面”按钮,进入文件服务器系统的远程桌面配置对话…

特别说明 本文是已读书籍的学习笔记和内容摘要,原文内容有少部分改动,并添加一些相关信息,但总体不影响原文表达. <DevOps入门与实践> :本书结合实例详细介绍了在开发现场引入DevOps的具体流程. - ISBN: 978-7-115-51256-7 - https://www.ituring.com.cn/book/2407 个人简评 适合已有实践经验的实施人员,对已有知识和技能做结构性梳理. 适合对DevOps欠缺了解的人员,能够建立起基本的概念. 缺憾是,因为外文书籍翻译引入存在时间…

一.HDFS出现的背景 随着社会的进步,需要处理数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是却不方便管理和维护—>因此,迫切需要一种系统来管理多台机器上的文件,于是就产生了分布式文件管理系统,英文名成为DFS(Distributed File System). 那么,什么是分布式文件系统?简而言之,就是一种允许文件通过网络在多台主机上分享的文件系统,可以让多个机器上的多个用户分享文件和存储空间.它最大的特点是“通透性”,DFS让实际上是通过网络来…

nodemanager进程解决:http://blog.csdn.net/baiyangfu_love/article/details/13504849 编译安装:http://blog.csdn.net/ilovemilk/article/details/44465487 hadoop默认不提供64位的版本,需要自己编译安装 故障:http://blog.csdn.net/u014595668/article/details/52040810 hadoop2.6.2 native架包:http…

hadoop集群的机器数业界(国内)最大的在5000左右,是什么限制了集群的规模呢?有好几个原因. 1. namenode的内存大小限制 2. 机器故障概率随着机器数目增大而增大,通常一份数据存储在hdfs集群时保存3份拷贝,因此需要估算故障概率. 两个问题: 问题1. hdfs的数据存在10000块硬盘,每份数据都保存3份拷贝,请问在12小时以内3块或3块以上硬盘损坏的概率是多少? 解答: 每块2T硬盘在12小时内损坏的概率为p=(年损坏率 为3%-8%)/(365*24/12) = 1e-4…