zookeeper简易配置及hadoop高可用安装
zookeeper介绍
是一个分布式服务的协调服务,集群半数以上可用(一般配置为奇数台),
快速选举机制:当集群中leader挂掉,所有小弟会投票选举出新的leader。
快速同步数据:zk将会存储小量用于服务做协调的数据。
标准文件系统用于存储大量数据;而zk存储小量协调数据
标准文件系统文件就是文件,目录就是目录;zk中文件既是目录。
1.zookeeper的安装与启动
解压并配置环境变量
配置./conf/zoo.cfg
tickTime=2000 zk中时间单元
initLimit=5 小弟连接老大的超时时间
syncLimit=2 同步数据的超时时间
dataDir=/home/zkdata
clientPort=2181
server.100=hadoop01:2888:3888
server.200=hadoop02:2888:3888
server.300=hadoop03:2888:3888
100(x)是server的id,2888是各个服务的通信端口,3888选举端口
分发到每一台服务器中
创建数据目录,并创建myid文件
mkdir /home/zkdata
echo 100 > /home/zkdata/myid
启动zk的服务:
zkServer.sh status/start/stop [./conf/zoo.cfg]
连接zk的集群:
zkCli.sh [-server hadoop02:2181]
2.zk的简单使用
增 : create /name 'sand' 创建永久节点
create -s /name 'sand' 创建临时顺序节点
create -e /name 'sand' 创建临时节点
get该节点信息:ephemeralOwne不为0 则是临时节点,其值为SessionID
删: delete /name 删除无子节点的节点
rmr /name/sex 递归删除
改: set /name 'me' 更新节点
查: ls /name/ 查看name节点下节点信息
get /name 查看name节点数据
3.hadoop高可用配置
参照官网完成集群XML文件配置
第一次hdfs的高可用流程:
先启动zk集群(格式化zkfc之前必须要启动zk集群)
zkServer.sh start
启动journalnode集群: (不启动namenode无法格式化)
hadoop-daemons.sh start journalnode
选择一台namenode进行格式化,然后并启动
hdfs namenode -format
hadoop-daemon.sh start namenode
再在另一台namenode的服务器上进行拉去元数据操作(手动远程copy)
hdfs namenode -bootstrapStandby
格式化zkfc
hdsf zkfc -formatZK
启动hdfs的模块:
start-dfs.sh
测试是否自动切换namenode:
zookeeper简易配置及hadoop高可用安装的更多相关文章
- hadoop高可用安装和原理详解
本篇主要从hdfs的namenode和resourcemanager的高可用进行安装和原理的阐述. 一.HA安装 1.基本环境准备 1.1.1.centos7虚拟机安装,详情见VMware安装Cent ...
- Hadoop 高可用(HA)的自动容灾配置
参考链接 Hadoop 完全分布式安装 ZooKeeper 集群的安装部署 0. 说明 在 Hadoop 完全分布式安装 & ZooKeeper 集群的安装部署的基础之上进行 Hadoop 高 ...
- hadoop 2.7.1 高可用安装部署
hadoop集群规划 目标:创建2个NameNode,做高可用,一个NameNode挂掉,另一个能够启动:一个运行Yarn,3台DataNode,3台Zookeeper集群,做高可用. 在hadoop ...
- 基于 ZooKeeper 搭建 Hadoop 高可用集群
一.高可用简介 二.集群规划 三.前置条件 四.集群配置 五.启动集群 六.查看集群 七.集群的二次启动 一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS ...
- Hadoop 学习之路(八)—— 基于ZooKeeper搭建Hadoop高可用集群
一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求 ...
- Hadoop 系列(八)—— 基于 ZooKeeper 搭建 Hadoop 高可用集群
一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求 ...
- RabbitMQ集群安装配置+HAproxy+Keepalived高可用
RabbitMQ集群安装配置+HAproxy+Keepalived高可用 转自:https://www.linuxidc.com/Linux/2016-10/136492.htm rabbitmq 集 ...
- HADOOP高可用机制
HADOOP高可用机制 HA运作机制 什么是HA HADOOP如何实现HA HDFS-HA详解 HA集群搭建 目标: 掌握分布式系统中HA机制的思想 掌握HADOOP内置HA的运作机制 掌握HADOO ...
- 六十一.常用组件 、 Kafka集群 、 Hadoop高可用
1.Zookeeper安装搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色 1.1 安装Zookeeper1)编辑/etc/hosts ,所有集群主机可以相互 pin ...
随机推荐
- 初识Qt图片显示、平移及旋转
1.新建一个Qt Gui应用,项目名称为myPicture,基类选择为QMainWindow,类名设置为MainWindow. 2.在mainwindow.h头文件中添加void paintEvent ...
- CAN总线布线规范
CAN总线布线规范 摘要:今天的CAN总线已从汽车电子慢慢渗透入工业自动化,医疗,铁路等众多领域.据我们的数据统计,客户在使用CAN总线时约80%的问题均是由总线布局布线不合理导致,今天我们就来扒一扒 ...
- zdump 命令查看时区和夏令时
zdump -v 时区名称1. 查看中国PRC时区的2007年的时区规则# zdump -v PRC | grep 2009PRC Mon Sep 17 06:03:55 2007 UTC = Mon ...
- 【C++0x】表达式之类型(decltype)
C++0x引入了新的关键字decltype,它是一个操作符,用来取得表达式的类型,主要在泛型编程中使用.这里,简单介绍一下语法规则. 语法形式:decltype (expression)其中,这里 ...
- SQL基础语法的单表操作 select|insert|update|delete(增删改查) 简单使用
以下案列以此表举例 1.select(查询) select简单的查询分为两种 注:字段也就是表结构中的列的名称 第一种: select 字段名 from 表名 此种查询只列出你所需要查询的字段, ...
- 腾讯云Mac图床插件
背景 随着博客越写越多,难免会遇到需要插入图片来说明的情况. 图床选择 首先调研了市面上的图床服务,本着稳定长期的目标,过滤掉了打一枪换一个地方的野鸡小网站,剩余比较靠谱的优缺点如下. 图床 优点 缺 ...
- R语言学习笔记(十九):字符串处理中预定义字符组(表格介绍)
R中预定义的字符组 代码 含义说明 [:digit:]或\\d 数字; [0-9] [^[:digit:]]或\\D 非数字; 等价于[^0-9] [:lower:] 小写字母; [a-z] [:up ...
- 在myeclipse等IDE中添加本地的dtd与schema约束文件
*针对没有网络无法正确引入dtd而使用不了提示的问题 (配置完后重启IDE) window->perferences- > 搜索xml c 找到xml catalog 右边点击 a ...
- Asp调用存储过程,command.CreateParameter 参数值的类型说明
Asp调用存储过程,command.CreateParameter 参数值的类型说明 Asp调用各种存储过程,包括带参数,无参数,输入输出参数,带返回值等. 1,调用没有参数的存储过程 <% s ...
- [JOISC2018]道路建设 LCT
[JOISC2018]道路建设 LOJ传送门 考的时候打的大暴力,其实想到了LCT,但是思路有点没转过来.就算想到了估计也不能切,我没有在考场写LCT的自信... 其实这题不是让你直接用LCT维护答案 ...