Configuring HDFS High Availability
Configuring HDFS High Availability
原文请訪问 http://blog.csdn.net/ashic/article/details/47024617,突袭新闻小灵儿,linux公社,各种爬虫狗。在这里问候你们全家
Configuring HDFS High Availability
我们能够通过Clouder Manager来配置你的CDH4 Cluster来实现HDFS的HA
一、SecondaryNameNode能否够在NameNode宕机时接管,成为新的“NameNode”?
答案是否定的
NameNode
首先我们须要了解,NameNode负责管理文件系统的namespace,维护整个文件系统的文件文件夹树。及这些文件的索引文件夹。
这些信息以两种形式存储在本地文件系统中:
1.命名空间镜像(fsimage)
2.编辑日志(edit-logs)
须要注意的是,这些信息不是永久保存的,NameNode会在每次系统启动时动态地重建这些信息
SecondaryNameNode
从元数据节点并非元数据节点出现故障时候的备用节点,它和元数据节点负责不同的事情
其主要功能就是周期性将元数据节点的命名空间镜像文件和改动日志合并,以防日志文件过大
合并过后的命名空间镜像文件也在从元数据节点保存了一份。以防元数据节点失败的时候。能够恢复
二、配置HDFS HA(採用QJM)
HDFS HA架构中,由两个NameNode组成 —— Active NameNode 和 Standby NameNode
仅仅有一个NameNode能够处于Active状态
为了让Standby Node与Active Node保持同步,这两个Node都与一组称为JNS的互相独立的进程保持通信(Journal Nodes)。当Active Node上更新了namespace,它将记录改动日志发送给JNS的多数派。
Standby noes将会从JNS中读取这些edits,并持续关注它们对日志的变更。Standby Node将日志变更应用在自己的namespace中。当failover发生时,Standby将会在提升自己为Active之前。确保可以从JNS中读取全部的edits-log;即在failover发生之前,Standy持有的namespace应该与Active保持全然同步。
三、配置HA
1.Enabling High Availability with Quorum-based Storage
1.1点击-服务,选择HDFS
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
1.2点击-实例
1.3点击-启用High Availability
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
1.4下一个页面显示了有资格作为Standby NameNode和JournalNodes的主机
a.选择 启用基于Quorum存储的High Availability为High Availability类型
b.选择你要作为Standby NameNode的主机.Standby NameNode和Active NameNode不能够再一台主机上,而且要和Active NameNode拥有同样的硬件配置
c.选择奇数数量的host作为JournalNodes.JournalNodes应部署在与NameNode具有相似硬件配置的主机上。建议在Active NameNode和Standby NameNode分别部署一个JournalNode,并在一个与它们具有相似硬件配置的主机不是第三个JournalNode.
d.点击-继续
1.5在接下来出现的界面,为每一个JournalNode指定JournalNode编辑文件夹
a.你仅仅须要为每一个JournalNode指定一个文件夹。文件夹的名称不必统一
b.指定的文件夹由于空文件夹,而且有合适的权限
c.假设文件夹不为空,Clouder Manager不会删除这些内容;however, in that case the data should be in sync across the edits directories of the JournalNodes and should have the same version data as the NameNodes.
1.6点击-继续
假设你须要使用Hive,Impala或者Hue。你还须要运行以下的操作步骤
2.Post Setup Steps for Hue and Hive
不论你使用 Quorum-based storage 还是 NFS-mounted shared edits directory。你都是按以下的步骤进行配置来启用HA
2.1Configuring Hue to work with High Availability
2.1.1点击-服务。选择HDFS
2.1.2点击-实例
2.1.3点击-加入
2.1.4在接下来的页面,在HttpFS这一列中选择一个主机来安装HttpFS role。然后点击-继续
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
2.1.5返回实例页面,选择你刚才选择将要安装HttpFS role的主机
2.1.6点击-已选定的操作-点击启动
2.1.7当启动命令运行完成后,点击-服务-选择Hue
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
2.1.8点击-配置-查看和编辑
2.1.9在接下来出现的界面中。选择-服务范围,找到HDFS Web界面角色-选择之前选择的HttpFS role主机。然后点击保存更改
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
2.1.10重新启动Hue服务,是配置生效
3.Updating the Hive Metastore for HDFS High Availability
3.1点击-服务,选择Hive
3.2点击-操作-停止
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
3.3备份你的Hive数据库
3.4点击-操作-更新Hive metastore NameNode
3.5点击-操作-启动
3.6启动Hue和Impla,假设你之前关闭了
四、启用 Automatic Failover
注意:启动或禁用 Automatic Failover会关闭HDFS服务 和 基于HDFS的服务!
1.点击-服务。选择HDFS
2.点击-实例
3.点击-启用自己主动故障转移
启动故障自己主动转移成功
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
Configuring HDFS High Availability的更多相关文章
- HDFS Federation与HDFS High Availability详解
HDFS Federation NameNode在内存中保存文件系统中每个文件和每个数据块的引用关系,这意味着对于一个拥有大量文件的超大集群来说,内存将成为限制系统横向扩展的瓶颈.在2.0发行版本系列 ...
- [HDFS Manual] CH4 HDFS High Availability Using the Quorum Journal Manager
HDFS High Availability Using the Quorum Journal Manager HDFS High Availability Using the Quorum Jour ...
- HDFS High Availability(HA)高可用配置
高可用性(英语:high availability,缩写为 HA) IT术语,指系统无中断地执行其功能的能力,代表系统的可用性程度.是进行系统设计时的准则之一. 高可用性系统意味着系统服务可以更长时间 ...
- HDFS High Availability Using the Quorum Journal Manager
http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.htm ...
- hadoop2.x HDFS HA linux环境搭建
HDFS High Availability Using the Quorum Journal Manager 准备3台机器可以更多 NN DN ZK ZKFC JN RM DM n ...
- hadoop 的HDFS 的 standby namenode无法启动事故处理
standby namenode无法启动 现象:线上使用的2.5.0-cdh5.3.2版本Hadoop,开启了了NameNode HA,HA采用QJM方式.hadoop的集群的namenode的sta ...
- HDFS NameNode HA 部署文档
简介: HDFS High Availability Using the Quorum Journal Manager Hadoop 2.x 中,HDFS 组件有三个角色:NameNode.DataN ...
- 第6章 HDFS HA配置
目录 6.1 hdfs-site.xml文件配置 6.2 core-site.xml文件配置 6.3 启动与测试 6.4 结合ZooKeeper进行自动故障转移 在Hadoop 2.0.0之前,一个H ...
- hadoop权威指南(第四版)要点翻译(4)——Chapter 3. The HDFS(1-4)
Filesystems that manage the storage across a network of machines are called distributed filesystems. ...
随机推荐
- 分享实用的JavaScript代码库
1 var keyCodeMap = { 2 8: 'Backspace', 3 9: 'Tab', 4 13: 'Enter', 5 16: 'Shift', 6 17: 'Ctrl', 7 18: ...
- Python爬虫个人记录(三)爬取妹子图
这此教程可能会比较简洁,具体细节可参考我的第一篇教程: Python爬虫个人记录(一)豆瓣250 Python爬虫个人记录(二)fishc爬虫 一.目的分析 获取煎蛋妹子图并下载 http://jan ...
- 装饰 Markdown
利用 Font Awesome 提升 Markdown 的表现能力 Font Awesome 是一个字体和图标工具包,包含人物.动物.建筑.商业.品牌等等各种主题丰富的图标符号,可以通过相应的语法添加 ...
- 简单介绍下python中函数的基础语法
python 函数 定义 函数是指将一组语句的集合通过一个名字(函数名)封装起来,要想执行这个函数,只需调用其函数名即可. 特性 减少代码重复 使程序变得可扩展 使程序变得易于维护 函数的创建 pyt ...
- luogu4595 [COCI2011-2012#5] POPLOCAVANJE 后缀自动机
看着就像后缀自动机.... 然后搜了一下,网上一大把的\(AC\)自动机 嗯...... 不管了,打一个试试 然后就过了\(QAQ\) 我们考虑对于每个点\(i\)求出它往前最长能匹配的子串的长度 可 ...
- 【推导】【数学期望】【冒泡排序】Petrozavodsk Winter Training Camp 2018 Day 5: Grand Prix of Korea, Sunday, February 4, 2018 Problem C. Earthquake
题意:两地之间有n条不相交路径,第i条路径由a[i]座桥组成,每座桥有一个损坏概率,让你确定一个对所有桥的检测顺序,使得检测所需的总期望次数最小. 首先,显然检测的时候,是一条路径一条路径地检测,跳跃 ...
- hdu 4435 第37届ACM/ICPC天津现场赛E题
转载请注明出处,谢谢http://blog.csdn.net/ACM_cxlove?viewmode=contents by---cxlove 题目:给出N个城市,从1开始需要遍历所有点,选择一 ...
- 认识javascript中的作用域和上下文
javascript中的作用域(scope)和上下文(context)是这门语言的独到之处,这部分归功于他们带来的灵活性.每个函数有不同的变量上下文和作用域.这些概念是javascript中一些强大的 ...
- bzoj 3262
题意:给你一些三维上的点,对于每个点,统计三个坐标都小于等于该点的点数. 如果点的范围在300以内,可以用三维树状数组搞,但这题坐标范围太大. 考虑将所有点按照x坐标排序,从左到右,相当于在一个二维平 ...
- Shell 学习笔记之运算符
基本运算符 算术运算符 val = expr 2 + 2 需要注意的是 表达式和运算符之间需要有空格(比如2 + 2,不能是2+2) 两边最外面的字符是`,在esc键下面,不是引号哦 乘号* 前面必须 ...