详解分布式应用程序协调服务Zookeeper
主从结构:HDFS、Yarn、HBase、storm、spark、zookeeper都存在单点故障问题
hadoop1.x没有解决方案
hadoop2.x利用zookeeper实现HA
zookeeper是开源的分布式应用程序协调服务,是Google chubby的开源实现
zookeeper相当于一个数据库,可以实现HA,zookeeper的功能:配置管理、集群管理、分布式锁
zookeeper的体系结构:leader和follower
zookeeper集群本身具有leader选举功能(解决单点故障问题,因此zookeeper集群至少需要三台)和数据同步功能(保证数据的安全性),
选举端口号:3888,同步端口号:2888
zookeeper也支持单点部署,不存在leader选举功能(paxos协议)和数据同步功能(zab协议),状态:standalone(单独的、独立的)
paxos协议的核心思想:当多数server写成功,则任务数据写成功。如果有3个server,则两个写成功即可。
安装和配置zookeeper:
安装zookeeper:tar -zxvf zookeeper-3.4.10.tar.gz -C ~/training
配置zookeeper:配置ZOOKEEPER_HOME环境变量:
vim ~/.bash_profile
export ZOOKEEPER_HOME=/root/training/zookeeper-3.4.10
export PATH=$ZOOKEEPER_HOME/bin:$PATH
source ~/.bash_profile
zookeeper的核心配置文件:conf/zoo.cfg 使用cp zoo_sample.cfg zoo.cfg得到zoo.cfg
zookeeper的安装模式:
1、单点模式:一台机器,不存在leader选举功能和数据同步功能 状态:standalone
修改配置文件zoo.cfg:
1、指定zookeeper中数据保存的目录:
dataDir=/root/training/zookeeper-3.4.10/tmp
2、指定zookeeper的主机是谁:
server.1=bigdata11:2888:3888
3、指定server.1的myid:1
2、集群模式:至少三台机器以上 具有leader选举功能和数据同步功能 状态:一个leader,多个follower
1、在bigdata12上安装和配置zookeeper:
安装zookeeper:tar -zxvf zookeeper-3.4.10.tar.gz -C ~/training
配置zookeeper:配置ZOOKEEPER_HOME环境变量:
ZOOKEEPER_HOME=/root/training/zookeeper-3.4.10
PATH=$ZOOKEEPER_HOME/bin:$PAHT
2、修改配置文件zoo.cfg:
1、指定zookeeper中数据保存的目录:
dataDir=/root/training/zookeeper-3.4.10/tmp
2、指定zookeeper的主机:
server.1=bigdata12:2888:3888
server.2=bigdata13:2888:3888
server.3=bigdata14:2888:3888
3、指定server.1的myid:1
3、把bigdata12上的zookeeper复制到其他节点上:
scp -r zookeeper-3.4.10 root@bigdata12:/root/training
scp -r zookeeper-3.4.10 root@bigdata13:/root/training
scp -r zookeeper-3.4.10 root@bigdata14:/root/training
4、修改bigdata13和bigdata14上的myid文件:
5、在每个节点上启动zookeeper:zkServer.sh start
zookeeper的数据模型:
zookeeper的数据模型类似于Linux文件系统,呈树形结构,每个目录称作一个z节点,每个z节点上可以存储少量数据,默认1M
启动zookeeper:zkServer.sh start
停止zookeeper:zkServer.sh stop
查看zookeeper的状态:zkServer.sh status
启动zookeeper的客户端命令行工具:zkCli.sh
zookeeper的客户端命令行工具端口号:2181
在zookeeper中创建节点添加数据:create /mydata helloworld
在zookeeper中查看节点:get /mydata
作者:李金泽AllenLi,清华大学在读硕士,研究方向:大数据和人工智能
详解分布式应用程序协调服务Zookeeper的更多相关文章
- 分布式应用程序协调服务 ZooKeeper
1.简介: ZooKeeper 是一个分布的.开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题.统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等,简化分布式应用协调 ...
- ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功 ...
- hadoop之 Zookeeper 分布式应用程序协调服务
(1) Zookeeper 在 Hadoop 集群中的作用 Zookeeper 是分布式管理协作框架,Zookeeper 集群用来保证 Hadoop 集群的高可用,(高可用的含义是:集群中就算有一部分 ...
- 分布式协调服务Zookeeper
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功 ...
- zookeeper--为分布式应用提供协调服务
1.概述 zookeeper是一个开源的.分布式的.为分布式应用提供协调服务的Apache项目 zookeeper的工作机制 zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服 ...
- 分布式协调服务Zookeeper扫盲篇
分布式协调服务Zookeeper扫盲篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 身为运维工程师对kubernetes(k8s)可能比较熟,那么etcd(go语言实现)分布式协 ...
- 搞懂分布式技术3:初探分布式协调服务zookeeper
搞懂分布式技术3:初探分布式协调服务zookeeper 1.Zookeepr是什么 Zookeeper是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布/订阅,负载均衡, ...
- 分布式协调服务Zookeeper集群搭建
分布式协调服务Zookeeper集群搭建 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.安装jdk环境 1>.操作环境 [root@node101.yinzhengjie ...
- 分布式协调服务Zookeeper集群之ACL篇
分布式协调服务Zookeeper集群之ACL篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.zookeeper ACL相关知识概览 1>.zookeeper官方文档(h ...
随机推荐
- CSS参考手册
CSS 属性 CSS 属性组: 动画 背景 边框和轮廓 盒(框) 颜色 内容分页媒体 定位 可伸缩框 字体 生成内容 网格 超链接 行框 列表 外边距 Marquee 多列 内边距 分页媒体 定位 打 ...
- Vue.js之生命周期
有时候,我们需要在实例创建过程中进行一些初始化的工作,以帮助我们完成项目中更复杂更丰富的需求开发,针对这样的需求,Vue提供给我们一系列的钩子函数. vue生命周期 beforeCreate 在实例初 ...
- JSON.parse()与JSON.stringify()高级用法
JSON.parse()与JSON.stringify是将JSON对象与字符串互相转换的方法,它们还有一些参数可以让我们在实际应用中更加方便,现在介绍一下它们的高级用法 JSON.parse() JS ...
- JS性能优化 之 FOR循环
FOR 循环我们用的真的是太多了,但你是否关注过它的优化写法呢?记录下: 1. 最最常规写法,没有任何不妥 for (var i = 0; i < 10; i++) { // do someth ...
- [基础架构]PeopleSoft Web Server 重要文件说明
我们都知道PeopleSoft是由几个不同的服务组成的,他们在PeopleSoft体系结构中扮演着自己的角色.这些服务具有不同的文件结构并包含重要的可执行文件和配置文件. 以下是Peoplesoft体 ...
- MySQL数据库封装和分页查询
1.数据库封装 <?php //我用的数据库名是housedb class DBDA {public $host="localhost";public $uid=" ...
- python学习笔记之——python面向对象
Python是一门面向对象语言. 1.面向对象技术介绍 类(Class): 用来描述具有相同的属性和方法的对象的集合.它定义了该集合中每个对象所共有的属性和方法.对象是类的实例. 类变量:类变量在整个 ...
- SQLServer 2008(R2)如何开启数据库的远程连接
SQL Server 2008 R2如何开启数据库的远程连接 by:授客 QQ:1033553122 SQL Server 2008默认是不允许远程连接的,如果想要在本地用SSMS连接远程服务器上的S ...
- Apache2启动错误Could not reliably determine the server's fully qualified domain name
错误情况: AH00558: apache2: Could not reliably determine the server's fully qualified domain name, using ...
- 【爬坑】运行 Hadoop 的 MapReduce 示例卡住了
1. 问题说明 在以伪分布式模式运行 Hadoop 自带的 MapReduce 示例,卡在了 Running job ,如图所示 2. 解决过程 查看日志没得到有用的信息 再次确认配置信息没有错误信息 ...