Hadoop入门学习笔记-第二天 (HDFS:NodeName高可用集群配置)
说明:
hdfs:nn单点故障,压力过大,内存受限,扩展受阻。
hdfs ha :主备切换方式解决单点故障
hdfs Federation联邦:解决鸭梨过大。支持水平扩展,每个nn分管一部分目录,所有nn共享dn资源。
使用JN集群保证数据一致性,使用zk集群解决主备切换
1.若使用主备节点,常常存在的问题:强一致性,若一致性。
强一致性(同步):nn主节点必须等到nn副本返回成功后,才能向客户端返回成功。主和副本之间可能会有如网络延迟、阻塞等问题,就造成了nn的不可用,违背了HA初衷。
弱一致性(异步):采用异步方式,nn主无需等待nn副本返回成功,则会有nn副本数据同步失败,造成两个nn数据不一致。
2.JN(journalnode)集群:为了解决nn一致性,将使用jn 保持数据一致。namenode 的元数据通过这个集群共享。
当Active节点执行任何名称空间修改时,它会将修改记录持久地记录到大多数这些JN中。待机节点能够从JN读取编辑,并且不断观察它们对编辑日志的更改。
当备用节点看到编辑时,它会将它们应用到自己的命名空间。这可确保在发生故障转移之前完全同步命名空间状态,保证两个nn数据最终的一致性。
3.ZK集群:解决nn主备自动切换,当nn主节点挂掉,通过zk自动将nn副本升级为主节点。
准备三台zk服务器,安装zk并启动服务集群,比较简单,不知道的网上百度
nameNode 高 可 用 配置
1.配置高可用服务名称
编辑hdfs-site.xml
<!--配置ns 名称-->
<property>
<name>dfs.nameservices</name>
<value>cluster1</value>
<description>提供服务的NS逻辑名称</description>
</property>
2.配置jn集群
2.1 编辑hdfs-site.xml 配置jn服务器列表及共享目录位置 dfs.namenode.shared.edits.dir
<!--(配置值最后的/cluster作为存储的根路径,多个HA可公用服务器进行数据存储,节约服务器成本。因此每个HA服务的根路径不能一样,便于区分。)这个目录类似与共享目录,jn主要实现作用,数据共享,保持数据一致性-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://nameNode10.com:8485;dataNode20.com:8485;dataNode30.com:8485/cluster</value>
</property>
2.2指定 jn 物理储存路径 dfs.journalnode.edits.dir
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/software/data/hadoop/data/tmp/journal</value>
<description>指定 jn 物理储存路径 dfs.journalnode.edits.dir</description>
</property>
3.3启动hdfs服务,分别在三台机器执行jps 验证服务是否启动成功
2.zk和集群配置
编辑hdfs-site.xml
1.指定nn服务器服务器列表(实际应用中根据zk自动切换主备)
<!--指定nna(NameNodeActive)和nns(NameNodeStandby)-->
<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>nn10,nn40</value>
<description>指定nn列表</description>
</property>
2.侦听的每个NameNode的RPC地址。
<property>
<name>dfs.namenode.rpc-address.cluster1.nn10</name>
<value>nameNode10.com:8020</value>
<description>侦听的每个NameNode的RPC地址</description>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster1.nn40</name>
<value>nameNode40.com:8020</value>
</property>
3.侦听的每个NameNode的http地址。(如果启用https,还需要配置https)
<property>
<name>dfs.namenode.http-address.cluster1.nn10</name>
<value>nameNode10.com:9870</value>
<description>侦听的每个NameNode的http地址</description>
</property>
<property>
<name>dfs.namenode.http-address.cluster1.nn40</name>
<value>nameNode40.com:9870</value>
</property>
4.确定主节点配置(对于第一次调用,它同时调用所有名称节点以确定活动的名称节点,之后便直接调用主节点) dfs.client.failover.proxy.provider.[nameservice ID]
<!---确定主节点配置(对于第一次调用时确认-->
<property>
<name>dfs.client.failover.proxy.provider.cluster1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
5.配置免密方式(shell和sshfence)路径填写,你.ssh 位置目录文件
<!--配置免密方式(shell和sshfence)路径填写,你.ssh 位置目录文件--->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
6.其他配置
<!-- 故障自动切换状态-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!--数据存放目录-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/software/data/hadoop/data/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/software/data/hadoop/data/dfs/data</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.journalnode.http-address</name>
<value>0.0.0.0:8480</value>
</property>
<property>
<name>dfs.journalnode.rpc-address</name>
<value>0.0.0.0:8485</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>nameNode10.com:2181,dataNode20.com:2181,nameNode40.com:2181</value>
</property>
3.配置core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/software/data/hadoop/temp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>nameNode10.com:2181,nameNode40.com:2181,dataNode20.com:2181</value>
</property>
zk格式化:hdfs zkfc -formatZK
手动激活nn:hdfs haadmin -transitionToActive -forcemanual nn10
单步启动流程
分别在三台机器上启动 journalnode
/opt/hadoop/sbin/hadoop-daemon.sh start journalnode
//在第一台机器上进行格式化namenode (删除之前的文件)
[hadoop@bigdata11 opt]$ hdfs namenode -format
//在第一台启动namenode
[hadoop@bigdata11 ~]$ /opt/hadoop/sbin/hadoop-daemon.sh start namenode
//在第二个namenode节点上执行bootstarpStandby
[hadoop@bigdata12 opt]$ hdfs namenode -bootstrapStandby
Hadoop入门学习笔记-第二天 (HDFS:NodeName高可用集群配置)的更多相关文章
- Hadoop入门学习笔记-第三天(Yarn高可用集群配置及计算案例)
什么是mapreduce 首先让我们来重温一下 hadoop 的四大组件:HDFS:分布式存储系统MapReduce:分布式计算系统YARN: hadoop 的资源调度系统Common: 以上三大组件 ...
- Redis总结(五)缓存雪崩和缓存穿透等问题 Web API系列(三)统一异常处理 C#总结(一)AutoResetEvent的使用介绍(用AutoResetEvent实现同步) C#总结(二)事件Event 介绍总结 C#总结(三)DataGridView增加全选列 Web API系列(二)接口安全和参数校验 RabbitMQ学习系列(六): RabbitMQ 高可用集群
Redis总结(五)缓存雪崩和缓存穿透等问题 前面讲过一些redis 缓存的使用和数据持久化.感兴趣的朋友可以看看之前的文章,http://www.cnblogs.com/zhangweizhon ...
- Hadoop(25)-高可用集群配置,HDFS-HA和YARN-HA
一. HA概述 1. 所谓HA(High Available),即高可用(7*24小时不中断服务). 2. 实现高可用最关键的策略是消除单点故障.HA严格来说应该分成各个组件的HA机制:HDFS的HA ...
- 入门大数据---基于Zookeeper搭建Spark高可用集群
一.集群规划 这里搭建一个 3 节点的 Spark 集群,其中三台主机上均部署 Worker 服务.同时为了保证高可用,除了在 hadoop001 上部署主 Master 服务外,还在 hadoop0 ...
- MongoDB 学习笔记(三) MongoDB (replica set) 集群配置
MongoDB Replica Sets的结构类似于以集群,完全可以把他当成一个集群,因为他确实与集群实现的作用是一样的:如果其中一个节点出现故障,其他的节点会马上将业务接管过来.而无需停机操作 Mo ...
- RabbitMQ学习系列(六): RabbitMQ 高可用集群
前面讲过一些RabbitMQ的安装和用法,也说了说RabbitMQ在一般的业务场景下如何使用.不知道的可以看我前面的博客,http://www.cnblogs.com/zhangweizhong/ca ...
- 入门大数据---基于Zookeeper搭建Kafka高可用集群
一.Zookeeper集群搭建 为保证集群高可用,Zookeeper 集群的节点数最好是奇数,最少有三个节点,所以这里搭建一个三个节点的集群. 1.1 下载 & 解压 下载对应版本 Zooke ...
- Hadoop高可用集群
1.简介 若HDFS集群中只配置了一个NameNode,那么当该NameNode所在的节点宕机,则整个HDFS就不能进行文件的上传和下载. 若YARN集群中只配置了一个ResourceManager, ...
- Hadoop入门学习笔记---part4
紧接着<Hadoop入门学习笔记---part3>中的继续了解如何用java在程序中操作HDFS. 众所周知,对文件的操作无非是创建,查看,下载,删除.下面我们就开始应用java程序进行操 ...
随机推荐
- springboot项目war包部署及出现的问题Failed to bind properties under 'mybatis.configuration.mapped-statements[0].
1.修改pom文件 修改打包方式 为war: 添加tomcat使用范围,provided的意思即在发布的时候有外部提供,内置的tomcat就不会打包进去 <groupId>com.scho ...
- break与continue用法注意事项
break 中断循环执行,跳出循环 注意,break只能中断自己所在的循环,一般用在内层循环,但是不能中断外层循环中的代码. continue 跳到循环的下一轮继续执行,结束自己所在循环体代码,继续自 ...
- python初学(二)
1.输入一个整数列表L,判断L中是否存在相同的数字: (1)若存在,输出YES,否则输出NO: (2)若存在,输出YES,同时输出相同的数字:否则输出NO. l=list(input()) print ...
- 小程序—银行、券商们下一代APP的进阶方向
传统金融机构们的App——尤其以手机银行.手机证券为最,发展到今天,已经产生一系列的问题:从用户角度看,体验普遍不好.高度同质化:从业务运营角度看,几乎没有什么“运营”的抓手:从IT角度看,投入产出比 ...
- CSS属性中的display属性浅谈;
首先我们要知道什么是块级元素和行内元素有什么区别: 承接上篇文章:(浅谈HTML和body标签) 块级元素:浏览器解析为独占一行的元素(例如:div.table.ul等.),浏览器会在该元素的前后显示 ...
- Maven+JSP+Servlet+JDBC+Redis+Mysql实现的黑马旅游网
项目简介 项目来源于:https://gitee.com/haoshunyu/travel 本系统是基于Maven+JSP+Servlet+JdbcTemplate+Redis+Mysql实现的旅游网 ...
- [PHP] 调用微博API 发微博OAuth2.0
在实际测试中出现很多问题, 第一就是按照文档调用ACCESS_TOKEN的时候费老劲啦,因为是编辑线上的,有好多中文空格,没有看出来!整了好久! 第二个就是在调用api发微博的时候出现乱码!必须把发送 ...
- 关于对vue-router的优化(详尽版)
这两天总结了关于vue-router优化的几点技法,做个笔记 在基于vue的移动端app中,通过vue-router可以便捷的进入某一路由或回退到上一路由,但是若不对vue-router做相关优化处理 ...
- PHP 语法字符串函数 strcmp、strlen 使用及实现
说明 这里基于 php7.2.5 进行测试,php7 之后内部结构变化应该不是太大,但与 php5.X 有差别. 函数分类 用户自定义函数 say(); function say() { echo & ...
- 学Python的你必须要知道,这十个Python常用库
想知道Python取得如此巨大成功的原因吗?只要看看Python提供的大量库就知道了 包括原生库和第三方库. 不过,有这么多Python库,有些库得不到应有的关注也就不足为奇了. 此外,只在一个领域里 ...