官网上已经给出了zk的几种典型应用场景,原话是这么说的:

It exposes a simple set of primitives that distributed applications can build upon to implement higher level services for synchronization, configuration maintenance, and groups and naming.

它提供了一组简单的原语,让分布式应用可以实现更高层次的服务,比如同步、配置维护、命名服务等等。除了官方提到的这些用途之外,它还可以实现分布式锁、分布式协调通知、集群选主等功能。这里把几个重要的功能列出来,一起学习一下。

分布式锁

当多个进程需要同时访问一个共享资源的时候,为保证一致性或者是减少资源使用压力,可以只允许获取锁的进程访问。锁分为共享锁和排它锁两类。

排它锁

同一个时间只允许一个进程访问共享资源,锁释放后,其他等待进程能够得到通知。

1.调用zk的create方法,创建一个临时节点/lock,多个进程只会有一个创建成功。创建成功的进程获取锁,执行后续逻辑。

2.未创建成功的进程对该锁创建监听,获取锁的进程宕机或者正常结束后,一旦锁释放,马上进入抢锁动作。

当然,有些场景只需要一个进程抢到锁就行,比如redis里某个缓存值失效了,只应该有一个进程去查询数据写入缓存,避免发生击穿,这个时候就需要排它锁。

共享锁

对一个共享资源做读写操作,读写必须按照获取锁的顺序进行,避免写覆盖和读取脏数据。通过zk的临时序列节点实现。

/
├── /host1-R-000000001
├── /host2-R-000000002
├── /host3-W-000000003
├── /host4-R-000000004
├── /host5-R-000000005
├── /host6-R-000000006
└── /host7-W-000000007

多个事务读写时,按照上面的方式创建共享锁,R表示读,W表示写。

读请求在比自己序号小的最后一个写节点上注册监听,锁释放后可以读。

写请求在比自己序号小的最后一个节点上注册监听,锁释放后可以写。

命名服务

把服务名称、地址等信息放在zk节点中,需要的时候去取。比如,微服务的注册中心可以用zk实现,但是zk是cp模型,可能会短暂地停止服务,注册中心使用euraka这样的ap模型更好。

配置中心

依然是基于watcher来实现。发布者把数据发布到 ZooKeeper 的一个或一系列的节点上,供订阅者进行数据订阅,达到动态获取数据的目的。

前面说过,zk存储数据是kb级的数量级。那么配置中心中存储的数据具备这么几个特征:每条配置信息数据量小、配置会动态更新、多个服务共享同一配置信息。

实现步骤如下:

1.使用set命令把配置信息写入持久化znode中

2.应用启动时,读取znode里的配置信息,并增加watcher

3.使用set命令更新配置时,应用回调函数读取新的配置信息并更新参数

集群选主

大数据里很多技术在实现高可用的时候,都是通过zk来实现节点主备的。

实现步骤如下:

1.多个节点在zk创建同一个临时znode,谁创建成功了,谁就是主节点(active)

2.没创建成功的是备节点(standby),在znode上注册watcher

3.主节点宕机时,临时znode消失,zk通过watcher事件通知备节点抢主

其他

除了上述最核心的用法外,zk还可以通过简单的代码实现很多功能,等待着聪明的你去发现。

大数据学习(22)—— ZooKeeper能做些什么的更多相关文章

  1. 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

    引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...

  2. 大数据学习系列之五 ----- Hive整合HBase图文详解

    引言 在上一篇 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 和之前的大数据学习系列之二 ----- HBase环境搭建(单机) 中成功搭建了Hive和HBase的环 ...

  3. 大数据学习系列之六 ----- Hadoop+Spark环境搭建

    引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合 ...

  4. 大数据学习:storm流式计算

    Storm是一个分布式的.高容错的实时计算系统.Storm适用的场景: 1.Storm可以用来用来处理源源不断的消息,并将处理之后的结果保存到持久化介质中. 2.由于Storm的处理组件都是分布式的, ...

  5. 大数据学习之Hadoop快速入门

    1.Hadoop生态概况 Hadoop是一个由Apache基金会所开发的分布式系统集成架构,用户可以在不了解分布式底层细节情况下,开发分布式程序,充分利用集群的威力来进行高速运算与存储,具有可靠.高效 ...

  6. 大数据学习(一) | 初识 Hadoop

    作者: seriouszyx 首发地址:https://seriouszyx.top/ 代码均可在 Github 上找到(求Star) 最近想要了解一些前沿技术,不能一门心思眼中只有 web,因为我目 ...

  7. 大数据学习笔记——Java篇之集合框架(ArrayList)

    Java集合框架学习笔记 1. Java集合框架中各接口或子类的继承以及实现关系图: 2. 数组和集合类的区别整理: 数组: 1. 长度是固定的 2. 既可以存放基本数据类型又可以存放引用数据类型 3 ...

  8. 大数据学习路线,来qun里分享干货,

    一.Linux lucene: 全文检索引擎的架构 solr: 基于lucene的全文搜索服务器,实现了可配置.可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面. 推荐一个大数据学习群 ...

  9. 大数据篇:Zookeeper

    Zookeeper 1 Zookeeper概念 Zookeeper是什么 是一个基于观察者设计模式的分布式服务管理框架,它负责和管理需要关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Z ...

  10. 大数据学习(16)—— HBase环境搭建和基本操作

    部署规划 HBase全称叫Hadoop Database,它的数据存储在HDFS上.我们的实验环境依然基于上个主题Hive的配置,参考大数据学习(11)-- Hive元数据服务模式搭建. 在此基础上, ...

随机推荐

  1. 老公 今晚还玩“丝袜哥”Swagger 么?

    大家都知道Swagger是一个常用的Spring Boot接口文档生成工具,但是我们今天再介绍另外一个无需额外注解的 Spring Boot API文档生成神器,非常方便好用! JApiDocs是一个 ...

  2. Django-Auth模块之auth_user表

    一.Auth模块之auth_user表 在创建Django项目之后直接执行数据迁移命令会自动生成许多表. Django在启动之后就可以直接访问admin路由,需要输入用户名和密码,数据参考的就是aut ...

  3. Java 读取Word表格中的文本和图片

    本文通过Java程序来展示如何读取Word表格,包括读取表格中的文本和图片.下面是具体实现的步骤和方法. 1. 程序环境准备 代码编译工具:IntelliJ IDEA Jdk版本:1.8.0 测试文档 ...

  4. python导入模块--案例

    1 导入模块 1.1 问题 本案例要求先编写一个star模块,主要要求如下: 建立工作目录 ~/bin/ 创建模块文件 ~/bin/star.py 模块中创建pstar函数,实现打印50个星号的功能 ...

  5. zset如何解决内部链表查找效率低下

    zset作为有序集合,内部基于跳表或者说索引的方式实现了数据的快速查找.解决了链表查询效率低下的痛点 前言 紧接前文我们学习了Redis中Hash结构.在里面我们梳理了字典这个重要的内部结构并分析了h ...

  6. 数据连接池JNDI

    数据库连接有很多中方式,JDBC数据库的连接方式,前边我们已经介绍过了,而开发中我们经常使用的是DataBaseConnectionPool(数据库连接池,DBCP).数据库连接池到底是什么?它比jd ...

  7. buu crackRTF

    一.无壳,拖入ida,静态编译一下 整体逻辑还是很清晰,这里我的盲区是那个加密函数,是md5,没看出来,内存地址看错了,之前用黑盒动调一下,发现猜不出来,看某位wp发现有的老哥,直接sha1爆破的,狠 ...

  8. tr 字符转换命令

    tr:可以用来删除一段信息当中的文字,或者是进行文字信息的替换 语法:tr [parameter] set1 ...参数: -d:删除信息当中的set1这个字符 -s:替换掉重复的字符 举例: 将la ...

  9. Luogu P2754 星际转移问题

    Luogu P2754 星际转移问题 思路 首先,对于地球能否到达月球的问题,考虑使用并查集维护. 对于每艘飞船能够到达的站点,放进一个集合里,若两艘飞船的集合有交集,那么就合并两个集合,最后只要地球 ...

  10. AspNetCore&MassTransit Courier实现分布式事务

    在之前的一篇博文中,CAP框架可以方便我们实现非实时.异步场景下的最终一致性,而有些用例总是无法避免的需要在实时.同步场景下进行,可以借助Saga事务来解决这一困扰.在一些博文和仓库中也搜寻到了.Ne ...