Zookeeper分布式过程协同技术 - 概念及基础

Zookeeper是什么?

  • Zookeeper是一种分布式过程协同技术,其所提供的客户端API功能强大,其中包括:
  • 保障强一致性。有序性和持久性。
  • 实现通用的同步原语的能力。
  • 在实际分布式系统中,并发往往导致不正确的行为。Zookeeper提供了一种简单的并发处理机制。

关于Zookeeper名字的来源

Zookeeper由雅虎研究院开发,开发团队原来想使用动物命名项目,在讨论时大家觉得分布式系统就像一个动物园,胡乱且难以管理,而Zookeeper就是将这一切变得可控。遂起名为Zookeeper,意为动物园管理员。

Zookeeper使用场景

  • 命名服务

命名服务是指通过路径名称来获取服务的地址。首先zookeeper创建一个全局路径,服务方在全局路径下写入服务的地址(或者名称),服务消费方在启动后watch全局路径的数据和变化。注意,这里的节点均为临时节点,在服务连接中断或者宕机时,通过临时节点消失能够通知订阅方感知变化。

  • 配置管理

服务分布部署在不同的机器上,将全局的配置信息存放于zookeeper的节点下,客户端通过订阅节点的数据变化获取到配置信息。当节点中的配置信息发生变化时,客户端可以通过watch节点发送的消息感知,从而修改服务本地的配置管理信息。

  • 集群管理

当有新机器加入集群时,由新机器的客户端在指定的目录下新建临时节点,服务注册管理端通过订阅指定目录的变化,收到了新增节点的通知后,将新机器加入集群服务的列表。当机器退出集群或者宕机时,临时节点将会被删除,同样可以通知服务注册管理端,有机器退出了集群。

  • 分布式锁

zookeeper的分布式锁可以分为2种,保持独占或者控制时序。

对于保持独占来说,可以把一个节点看做是一把锁,通过创建节点的方式来抢占锁资源。如果创建节点成功,客户端也就持有了这把锁,如果创建失败,则订阅节点的变化,如果收到节点删除消息,再次尝试创建节点来抢占锁资源。

对于控制时序来说,通过在指定目录下创建临时有序节点,编号最小的节点首先持有锁资源,每个后续节点都订阅前一个节点。拥有锁资源的客户端在操作完毕后,删除自己创建的节点。后续节点收到前置节点的删除通知后,即获取了锁资源,可以进行业务操作。

Zookeeper基础

Zookeeper通过节点(znode)来实现原语的功能,并不直接暴露原语。Znode指Zookeeper操作和维护一个小型的数据节点,类似于文件系统的层级树状结构进行管理。

图:Zookeeper数据结构示例

·  /作为跟目录节点,根节点下有/workers和/tasks两个字节点。

· /workers节点作为父节点,其下的每一个znode子节点用于保存系统中的可用worker,节点中保存着worker子节点的元数据信息。

· /tasks节点作为父节点,其下每个znode子节点用于保存一个代执行的任务,节点中保存着任务的详细数据。

API概念

ZookeeperAPI提供了以下方法来实现地znode的控制。

create /path data

  创建一个名为/path的znode节点,并包含数据data。

delete /path

  删除名为/path的znode。

exists /path

  检查是否存在名为/path的节点。

setData /path data

  设置名为/path的znode节点的数据为data。

getData /path

  返回名为/path节点的数据信息。

getChildren /path

  返回所有/path节点的所有子节点列表。

Znode类型

在新建znode时,需要指定该节点类型,不同的类型决定了znode节点的行为方式,Zookeeper提供了4种不同的znode类型。

持久节点和临时节点

znode节点可以是持久(persistent)节点,还可以是临时(ephemeral)节点。持久的znode,如/path,只能通过delete来进行删除。临时的znode与之相反,当创建的客户端崩溃或者关闭了与Zookeeper的连接时,这个节点就会被删除。

持久znode是一种非常有用的znode,可以通过持久类型znode为应用保存一些数据,即使znode的创建者不再属于应用系统时,数据也可以保存下来而不丢失。例如,在主-从模式中,需要保存从节点的任务分配情况,即使分配任务的主节点已经崩溃了。

一个临时znode,在以下两种情况会被删除:

  1. 当创建该znode的客户端的会话因超时或主动关闭而中止时。
  2. 当某个客户端(不一定是创建者)主动删除该节点时。

注:因为临时的znode在其创建者的会话过期时被删除,所以我们现在不允许临时节点拥有子节点。

有序节点

一个有序znode节点被分配唯一一个单调递增的整数。当创建有序节点时,一个序号会被追加到路径之后。例如,客户端创建一个有序znode节点,其路径为/tasks/task-,那么该znode节点为/tasks/task-1。有序znode通过提供了创建具有唯一名称的znode的简单方式。同时也通过这种方式可以直观地查看znode的创建顺序。

Znode一共有四种:持久节点、临时节点、持久有序节点,临时有序节点。

监视与通知

Zookeeper提供基于通知的机制提供对节点的监视能力。客户端向Zookeeper注册需要接收通知的znode,通过对znode的设置监视点(watch)来接收通知。监视点是一个单次触发的操作,每次设置只会触发一次。为了接收多个通知,客户端必须在每次通知后设置新的监视点。在设置新监视点前客户端会先读取znode中的数据,所以不同担心会错过状态的变化。

Zookeeper可以定义不同类型的通知,如监控znode的数据变化、监控znode子节点的变化、监控znode的创建或删除。

Zookeeper分布式过程协同技术 - 概念及基础的更多相关文章

  1. Zookeeper分布式过程协同技术 - 群首选举

    Zookeeper分布式过程协同技术 - 群首选举 群首概念 群首为集群中服务器选择出来的一个服务器,并被集群认可.设置群首目的在与对客户端所发起的状态变更请求进行排序,包括:create.setDa ...

  2. Zookeeper分布式过程协同技术 - 部署及设置

    Zookeeper分布式过程协同技术 -  部署及设置 Zookeeper支持单机模式.伪集群模式.集群模式三种部署方式.演示部署环境为CentOS.jdk版本为1.8.Zookeeper版本为3.4 ...

  3. ZooKeeper分布式过程协同技术详解1——ZooKeeper的概念和基础

    简介 分布式系统和应用,不仅能提供更强的计算能力,还能为我们提供更好的容灾性和扩展性. ZooKeeper是Google的Chubby项目的开源实现,它曾经作为Hadoop的子项目,在大数据领域得到广 ...

  4. ZooKeeper分布式过程协同技术详解2——了解ZooKeeper

    这个服务如何实现这些协作方面的原语? ZooKeeper基础

  5. Zookeeper基础教程(五):C#实现Zookeeper分布式锁

    分布式锁 互联网初期,我们系统一般都是单点部署,也就是在一台服务器完成系统的部署,后期随着用户量的增加,服务器的压力也越来越大,响应速度越来越慢,甚至出现服务器崩溃的情况. 为解决服务器压力太大,响应 ...

  6. 从游击队到正规军(三):基于Go的马蜂窝旅游网分布式IM系统技术实践

    本文由马蜂窝技术团队电商交易基础平台研发工程师"Anti Walker"原创分享. 一.引言 即时通讯(IM)功能对于电商平台来说非常重要,特别是旅游电商. 从商品复杂性来看,一个 ...

  7. Zookeeper——分布式一致性协议及Zookeeper Leader选举原理

    文章目录 一.引言 二.从ACID到CAP/BASE 三.分布式一致性协议 1. 2PC和3PC 2PC 发起事务请求 事务提交/回滚 3PC canCommit preCommit doCommit ...

  8. Java 网络编程---分布式文件协同编辑器设计与实现

    目录: 第一部分:Java网络编程知识 (一)简单的Http请求 一般浏览网页时,使用的时Ip地址,而IP(Internet Protocol,互联网协议)目前主要是IPv4和IPv6. IP地址是一 ...

  9. [转载] zookeeper 分布式锁服务

    转载自http://www.cnblogs.com/shanyou/archive/2012/09/22/2697818.html 分布式锁服务在大家的项目中或许用的不多,因为大家都把排他放在数据库那 ...

随机推荐

  1. 01 . Nginx简介及部署

    Nginx简介 Nginx(发音同engine x)是一个异步框架的 Web 服务器,也可以用作反向代理,负载平衡器 和 HTTP 缓存.该软件由 Igor Sysoev 创建,并于2004年首次公开 ...

  2. 学习使用pyquery解析器爬小说

    一.背景:个人喜欢在网上看小说,但是,在浏览器中阅读小说不是很方便,喜欢找到小说的txt版下载到手机上阅读,但是有些小说不太好找txt版本,考虑自己从网页上爬一爬,自己搞定小说的txt版本.正好学习一 ...

  3. Spring Cloud 系列之 Apollo 配置中心(一)

    背景 随着程序功能的日益复杂,程序的配置日益增多:各种功能的开关.参数的配置.服务器的地址等等. 对程序配置的期望值也越来越高:配置修改后实时生效,灰度发布,分环境.分集群管理配置,完善的权限.审核机 ...

  4. Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

    hive运行查询语句时报错: Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement ...

  5. Jmeter(七) - 从入门到精通 - 建立数据库测试计划实战<MySQL数据库>(详解教程)

    1.简介 在实际工作中,我们经常会听到数据库的性能和稳定性等等,这些有时候也需要测试工程师去评估和测试,上一篇文章宏哥主要介绍了jmeter连接和创建数据库测试计划的过程,宏哥在文中通过示例和代码非常 ...

  6. 蓝桥杯 算法提高 11-1实现strcmp函数 (JAVA方法)

    蓝桥杯 算法提高 11-1实现strcmp函数 (JAVA方法) 首先这不是一个多难的题,但是网上的我没怎么找到有Java的代码,基本全都是c语言的,小编是个小白,如果有不对的地方请联系小编 问题描述 ...

  7. Java实现 蓝桥杯 算法提高 分解质因数(暴力)

    试题 算法提高 分解质因数 问题描述 给定一个正整数n,尝试对其分解质因数 输入格式 仅一行,一个正整数,表示待分解的质因数 输出格式 仅一行,从小到大依次输出其质因数,相邻的数用空格隔开 样例输入 ...

  8. Java实现蓝桥杯历届试题高僧斗法

    历届试题 高僧斗法 时间限制:1.0s 内存限制:256.0MB 提交此题 锦囊1 锦囊2 问题描述 古时丧葬活动中经常请高僧做法事.仪式结束后,有时会有"高僧斗法"的趣味节目,以 ...

  9. Java实现 蓝桥杯 算法提高 矩阵相乘

    算法提高 矩阵相乘 时间限制:1.0s 内存限制:256.0MB 问题描述 小明最近在为线性代数而头疼,线性代数确实很抽象(也很无聊),可惜他的老师正在讲这矩阵乘法这一段内容. 当然,小明上课打瞌睡也 ...

  10. java实现第六届蓝桥杯四阶幻方

    四阶幻方 把1~16的数字填入4x4的方格中,使得行.列以 及两个对角线的和都相等,满足这样的特征时称 为:四阶幻方. 四阶幻方可能有很多方案.如果固定左上角为1 ,请计算一共有多少种方案. 比如: ...