配置HDFS的HA
配置前准备：
-- 配置hadoop
-- 配置ZooKeeper，传送门：https://www.cnblogs.com/zhqin/p/11906106.html
安装配置好hadoop和ZooKeeper之后，接下来开始正式配置HA：
1、在/opt下创建ha文件夹
sudo mkdir ha
2、更改ha文件夹所有者
sudo chown admin:admin ha
3、将之前配置安装的hadoop文件夹拷贝到刚创建的ha文件夹下
cp -r module/hadoop-2.7.2/ ha/
4、然后进入到刚拷贝过去的ha文件夹下的hadoop文件夹，将之前集群运行产生的data和logs文件夹删除
rm -rf data/ logs/
5、进入etc/haoop/ 文件夹下
/opt/ha/hadoop-2.7.2/etc/hadoop
6、修改core-site.xml
<configuration>
<!-- 把两个NameNode）的地址组装成一个集群mycluster -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/ha/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>
7、配置hdfs-site.xml
<configuration>
<!-- 完全分布式集群名称 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- 集群中NameNode节点都有哪些 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hadoop102:9000</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hadoop103:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hadoop102:50070</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hadoop103:50070</value>
</property>
<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
</property>
<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh无秘钥登录-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/atguigu/.ssh/id_rsa</value>
</property>
<!-- 声明journalnode服务器存储目录-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/ha/hadoop-2.7.2/data/jn</value>
</property>
<!-- 关闭权限检查-->
<property>
<name>dfs.permissions.enable</name>
<value>false</value>
</property>
<!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
</configuration>
8、分发ha文件夹
sudo xsync /opt/ha/
其实到目前为止，手动切换的HA已经配置完成。
接下来继续配置自动切换(自动故障转移)的HA，也就是ZooKeeper。
9、进入配置文件的文件夹下，修改hdfs-site.xml,vim /opt/ha/hadoop-2.7.2/etc/hadoop/hdfs-site.xml在原有的配置基础上追加如下内容：
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
10、修改core-site.xml，在core-site.xml最后追加如下内容：
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>
11、同步三台机器的配置文件
xsync /opt/ha/hadoop-2.7.2/etc/hadoop/
到此配置完成，接下来开始第一次启动前的各种准备工作。
12、启动JournalNode
/opt/ha/hadoop-2.7.2/sbin/hadoop-daemons.sh start journalnode
13、格式化namenode(注意，执行该命令需等待上条命令执行之后稍等片刻，因为JournalNode节点启动稍微需要些时间，而HDFS是建立在这个节点之上的)
/opt/ha/hadoop-2.7.2/bin/hdfs namenode -format
14、启动namenode
/opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start namenode
此时执行jpsall应该有的进程是：
----------- hadoop102 -----------
10178 NameNode
10014 JournalNode
----------- hadoop103 -----------
12740 JournalNode
----------- hadoop104 -----------
12521 JournalNode
这样的结果的话代表目前执行正确
15、在hadoop103机器上执行：
/opt/ha/hadoop-2.7.2/bin/hdfs namenode -bootstrapStandby
16、然后在hadoop103上启动namenode
/opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start namenode
这个时候执行jpsall应该是三个jn两个nn，如下所示：
----------- hadoop102 -----------
10178 NameNode
10014 JournalNode
----------- hadoop103 -----------
12740 JournalNode
12981 NameNode
----------- hadoop104 -----------
12521 JournalNode
17、启动ZooKeeper集群
在所有机器同时发送命令：
$ZOOKEEPER_HOME/bin/zkServer.sh start
可以通过命令：$ZOOKEEPER_HOME/bin/zkServer.sh start查看ZooKeeper各个节点的状态。
18、需要格式化一下Zkfc需要在ZooKeeper中用到的数据信息。
/opt/ha/hadoop-2.7.2/bin/hdfs zkfc -formatZK
19、在配置了namenode节点的机器上启动zkfc
在hadoop102和hadoop103分别执行：
/opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start zkfc
此时执行jpsall，显示结果应该为：
----------- hadoop102 -----------
10432 QuorumPeerMain
10178 NameNode
10650 DFSZKFailoverController
10014 JournalNode
----------- hadoop103 -----------
13363 DFSZKFailoverController
12740 JournalNode
12981 NameNode
13151 QuorumPeerMain
----------- hadoop104 -----------
12772 QuorumPeerMain
12521 JournalNode
20、然后启动数据节点datanode，切换到hadoop102
/opt/ha/hadoop-2.7.2/sbin/hadoop-daemons.sh start datanode
这个时候执行jpsall
----------- hadoop102 -----------
10432 QuorumPeerMain
10817 DataNode
10178 NameNode
10650 DFSZKFailoverController
10014 JournalNode
----------- hadoop103 -----------
13665 DataNode
13363 DFSZKFailoverController
12740 JournalNode
12981 NameNode
13151 QuorumPeerMain
----------- hadoop104 -----------
12772 QuorumPeerMain
13092 DataNode
12521 JournalNode
21、至此，已经配置完成。
以后启动的话就一条启动命令即可：
/opt/ha/hadoop-2.7.2/sbin/start-dfs.sh
关闭同理：
/opt/ha/hadoop-2.7.2/sbin/stop-dfs.sh
配置HDFS的HA的更多相关文章
- 【Hadoop 分布式部署 十：配置HDFS 的HA、启动HA中的各个守护进程】
官方参考 配置 地址 :http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabili ...
- hbase配置hdfs的HA之后需要修改的路径
hbase-site.xml中配置了hdfs的一个路径 <property> <name>hbase.rootdir</name> <value>hdf ...
- HDFS NameNode HA 部署文档
简介: HDFS High Availability Using the Quorum Journal Manager Hadoop 2.x 中,HDFS 组件有三个角色:NameNode.DataN ...
- Hadoop 2、配置HDFS HA (高可用)
前提条件 先搭建 http://www.cnblogs.com/raphael5200/p/5152004.html 的环境,然后在其基础上进行修改 一.安装Zookeeper 由于环境有限,所以在仅 ...
- 第九章 搭建Hadoop 2.2.0版本HDFS的HA配置
Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作.在hadoop1时代,只有一个NameNode.如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了.这是 ...
- 3.配置HDFS HA
安装zookeeper下载zookeeper编辑zookeeper配置文件创建myid文件启动zookeeper配置HDFS HA配置手动HA配置自动HA启动HDFS HA namenode负责管理整 ...
- 使用QJM实现HDFS的HA配置
使用QJM实现HDFS的HA配置 1.背景 hadoop 2.0.0之前,namenode存在单点故障问题(SPOF,single point of failure),如果主机或进程不可用时,整个集群 ...
- hdfs的HA集群搭建的相关配置
前期准备就不详细说了 .修改Linux主机名 .修改IP .修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机.阿里云主机等) /etc/ ...
- Hadoop 2.7.4 HDFS+YRAN HA部署
实验环境 主机名称 IP地址 角色 统一安装目录 统一安装用户 sht-sgmhadoopnn-01 172.16.101.55 namenode,resourcemanager /usr/local ...
随机推荐
- 通配符的匹配很全面, 但无法找到元素 'dubbo:application' 的声明 解决办法
直接升级dubbo的版本到2.6.4 下面的是我的项目的pom.xml配置的依赖 <dependency> <groupId>com.alibab ...
- 根据租户id获取部门树状结构有父子结构的数据list
/** * 根据租户id获取部门树状结构 * @param tenantId * @return */ @GetMapping("getDeptTreeList") public ...
- 算法（Java实现）—— 贪心算法
贪心算法 应用场景-集合覆盖问题 假设在下面需要付费的广播台,以及广播台新型号可以覆盖的地区,如何选择最少的广播台,让所有地区都可以接收到信号 广播台 覆盖地区 k1 北京.上海.天津 k2 广州.北 ...
- [Machine Learning] 多变量线性回归(Linear Regression with Multiple Variable)-特征缩放-正规方程
我们从上一篇博客中知道了关于单变量线性回归的相关问题,例如:什么是回归,什么是代价函数,什么是梯度下降法. 本节我们讲一下多变量线性回归.依然拿房价来举例,现在我们对房价模型增加更多的特征,例如房间数 ...
- JavaScript 函数节流和函数去抖
概念 函数防抖(debounce) 当调用动作过n毫秒后,才会执行该动作,若在这n毫秒内又调用此动作则将重新计算执行时间 函数节流(throttle) 预先设定一个执行周期,当调用动作的时刻大于等于执 ...
- CRM、DMP、CDP概念解析
CRM.DMP.CDP,都是什么鬼?有什么区别差异?别说你都懂 摘自https://maxket.com/crm-dmp-cdp/ 如果您不想多花人生中宝贵的十分钟,那么不用多考虑了,上CDP吧.如果 ...
- 第四章节 BJROBOT 线速度校正 【ROS全开源阿克曼转向智能网联无人驾驶车】
BJROBOT 线速度校正 1.把小车平放在地板上,用卷尺作为测量刻度,选取车头或者车尾处作为小车的起点, 打开资料里的虚拟机,打开一个终端 ssh 过去主控端启动 roslaunch znjro ...
- spring boot 部署到tomcat
网上很多文章描述过,当我按步骤做时会抛各种错误,最后记录下我的做法(成功发布到本地 Tomcat9 ): 1.将项目的启动类Application.java继承SpringBootServletIni ...
- hive中一般取top n时，row_number(),rank,dense_ran()常用三个函数
一. 分区函数Partition By与row_number().rank().dense_rank()的用法(获取分组(分区)中前几条记录) 一.数据准备 --1.创建学生成绩表 id int, ...
- JAVA编程环境与基本数据类型
<JAVA编程环境与基本数据类型> 随笔目录 # <JAVA编程环境与基本数据类型> 随笔目录 - Java小实例 java的编程环境 java数据类型 Java小实例 jav ...