namenode 问题小记】的更多相关文章

问题1:namenode进程故障 Namenode挂掉,Namenode gc日志里面YGC报错promotion failed 现象描述 NameNode进程挂掉,Namenode gc日志里面YGC报错promotion failed. 可能原因 Young gc的时候,需要复制eden区和from区内的对象到to区,如果此时to区满了,就会使用悲观策略复制到old区,而此时old区也满了,就会报promotion failed. 定位思路 GC参数设置不合理 进程内存分配过少 处理方式 方…
Paste.deploy 与 WSGI, keystone 小记 名词解释: Paste.deploy 是一个WSGI工具包,用于更方便的管理WSGI应用, 可以通过配置文件,将WSGI应用加载起来. keystone 是 openstack的各模块之间调用时候采取的认证,主要方式是在WSGI接口下增加filter,对调用者做身份验证. Paste.deploy 详细介绍: paste.deploy 通过 loadapp(configPath)来启动WSGI应用, 其中configPath 包含…
MySql  简单 小记 以备查看 1.sql概述 1.什么是sql? 2.sql发展过程? 3.sql标准与方言的关系? 4.常用数据库? 5.MySql数据库安装? 2.关键概念 表结构----------->类的属性 一行------------->一个对象 3.建库代码 1.create database 数据库名 2.带字符集 3.带校验规则 collate 验证规则 create database 数据库名 character set utf8 collate utf8_gener…
使用shell脚本,一键启动hadoop中的NameNode和DataNode.分为普通版和装逼版.装逼版较普通版多了很多判断和信息提示,当然主要还是为了我联系shell脚本而写的. 如果想实现复用,请注意: 1.将HADOOP_HOME改为自己的hadoop安装路径. 2.脚本的权限不低于700 如果复用装逼版在满足上面的条件后,还需要注意 1.properties和act.sh必须在同一个文件夹中 2.确保该文件夹以及脚本的权限不惜与700 普通版一键启动/关闭/重启NameNode和Dat…
Git简~介 Git是一个分布式版本控制系统,其他的版本控制系统我只用过SVN,但用的时间不长.大家都知道,分布式的好处多多,而且分布式已经包含了集中式的几乎所有功能.Linus创造Git的传奇经历就不再赘述,直接记录git命令吧! 文章会尽量按照使用git的顺序来记录,不定时的更新,版面可能会较为杂乱. 你的计算机上是否有Git? windows版本的安装: Git下载 ,下载之后双击安装即可. 仓库怎么创建? 仓库(repository),即是一个项目,你要对这个项目进行版本管理.使用如下命…
先启动所有的zookeeper zkServer.sh start 在所有节点上启动JournalNode: sbin/hadoop-daemon.sh start journalnode 格式化第一个NameNode bin/hdfs namenode –format 启动第一个的NameNode sbin/hadoop-daemon.sh start namenode 在第二个NameNode上同步元数据 bin/hdfs namenode -bootstrapStandby 启动第二个Na…
广州PostgreSQL用户会技术交流会小记 2015-9-19 今天去了广州PostgreSQL用户会组织的技术交流会 分别有两个session 第一个讲师介绍了他公司使用PostgreSQL-X2的情况 第二个讲师介绍了PostgreSQL里面的一些执行计划分析 我个人比较关注第一个session,因为涉及到真正的应用案例 网上有对PostgreSQL-X2的简短介绍,我先转载过来 转载:http://francs3.blog.163.com/blog/static/405767272012…
接前文 分布式存储-HDFS 架构解析,我们总体分析了 HDFS 架构的主要构成组件包括:NameNode.DataNode 和 Client.本文首先进一步解析 HDFS NameNode 的设计和实现要点. 元数据持久化 NameNode 将所有元信息以特定的数据结构组织存放在内存中,对于 namespace 和 replication factor 的信息会进行持久化,而映射关系则不会持久化.因为映射关系是通过 DataNode 启动后定时汇报上来,即使 NameNode 重启后内存信息丢…
     一直以来的自我感觉:自己是个记性偏弱的人.反正从小读书就喜欢做笔记(可自己的字写得巨丑无比,尼玛不科学呀),抄书这事儿真的就常发生俺的身上. 因为那时经常要背诵课文之类,反正为了怕自己忘记,所以一边抄书一边背书.延伸到现在就变成做读书笔记,把书中喜欢的段落和句子都记录下来,偶尔穿插自己的感受,所以读书小记是我的最爱,不过只有好书才值得这么做(遇到一本好书本身就是件幸福的事情,且读且珍惜).      PS:我会告诉你其实笔记在某些关键时刻就变身为“小超”木 :)        在未婚之…
博客原文:hackershell 之前在准备中级课程PPT,整理了下HA的基本内容,并且感谢松哥为我们提供了HA不会切的问题,以至于之后刚好出现的NameNode宕机,能够快速解决. NameNode的HA可以个人认为简单分为共享editLog机制和ZKFC对NameNode状态的控制 在此之前,我先提几个问题: 一般导致NameNode切换的原因 ZKFC的作用是什么?如何判断一个NN是否健康 NameNode HA是如何实现的? NameNode因为断电导致不能切换的原理,怎样进行恢复 一般…