kafka与zookeeper读写分析
kafka的读写都通过leader完成,而zookeeper只有写要通过leader而读可以通过任意follower,我觉得造成这种差异的原因还是在于使用场景。
kafka的设计目标是实现一个高吞吐的消息处理系统,其一个重要特性就是需要保证数据一致性和有序性。如果所有Replica都可以同时读写,那么在数据同步上的开销就比较大,而只有Leader一个进行读写,其他Replica只需要pull数据,这样可以比较有效的实现数据的一致性和有序性。
而zookeeper设计核心是提供分布式场景下协调服务和服务发现,若设计读写都通过Leader完成,那么整个集群的可伸缩性较差,没法在保证一致性的前提下,通过扩展多个follower来提高集群提供服务的能力。而如果设计为可以通过任意follower都提供读服务,那么就可以通过提供更多的follower满足client读取zookeeper中存储状态的能力。另外,只有Leader可以进行写,类似kafka一样,也是避免同步数据上的困难。
kafka与zookeeper读写分析的更多相关文章
- Kafka日志段读写分析
		引子 之所以写这篇文章是因为之前面试时候被面试官问到(倒)了,面试官说:"你说你对Kafka比较熟?看过源码? 那说说kafka日志段如何读写的吧?" 我心里默默的说了句 &quo ... 
- Kafka 和 ZooKeeper 的分布式消息队列分析
		1. Kafka 总体架构 基于 Kafka-ZooKeeper 的分布式消息队列系统总体架构如下: 如上图所示,一个典型的 Kafka 体系架构包括若干 Producer(消息生产者),若干 bro ... 
- java企业架构 spring mvc +mybatis + KafKa+Flume+Zookeeper
		声明:该框架面向企业,是大型互联网分布式企业架构,后期会介绍linux上部署高可用集群项目. 项目基础功能截图(自提供了最小部分) 平台简介 Jeesz是一个分布式的框架,提供 ... 
- ActiveMQ、RabbitMQ、RocketMQ、Kafka四种消息中间件分析介绍
		ActiveMQ.RabbitMQ.RocketMQ.Kafka四种消息中间件分析介绍 我们从四种消息中间件的介绍到基本使用,以及高可用,消息重复性,消息丢失,消息顺序性能方面进行分析介绍! 一.消息 ... 
- Kafka之工作流程分析
		Kafka之工作流程分析 kafka核心组成 一.Kafka生产过程分析 1.1 写入方式 producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(pa ... 
- ELK+Kafka集群日志分析系统
		ELK+Kafka集群分析系统部署 因为是自己本地写好的word文档复制进来的.格式有些出入还望体谅.如有错误请回复.谢谢! 一. 系统介绍 2 二. 版本说明 3 三. 服务部署 3 1) JDK部 ... 
- Kafka Producer相关代码分析【转】
		来源:https://www.zybuluo.com/jewes/note/63925 @jewes 2015-01-17 20:36 字数 1967 阅读 1093 Kafka Producer相关 ... 
- kafka知识体系-kafka设计和原理分析-kafka leader选举
		kafka leader选举 一条消息只有被ISR中的所有follower都从leader复制过去才会被认为已提交.这样就避免了部分数据被写进了leader,还没来得及被任何follower复制就宕机 ... 
- kafka与zookeeper
		kafka简介 kafka (官网地址:http://kafka.apache.org)是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率. 下载地址:http://kafka.apache.or ... 
随机推荐
- PossibleOrders TopCoder - 1643
			传送门 分析 先用并查集将所有相等元素连为一个,得到不同的元素共cnt种,之后我们的任务便转化为将这些元素分为k组(k≤cnt),所以我们不难得出dp式:dpij=dpi-1j-1*j+dpi-1j* ... 
- Luogu 4001 [BJOI2006]狼抓兔子
			BZOJ 1001…… 并不会这个trick,所以笔记要详细一点. 前置知识 : 平面图转对偶图 传送门 听说直接$Dinic$就好了,还跑得比正解快…… 首先我们按照平面图的定义,把网格图中所 ... 
- Luogu 4514 上帝造题的七分钟
			二维差分+树状数组. 定义差分数组$d_{i, j} = a_{i, j} + a_{i - 1, j - 1} - a_{i, j - 1} - a_{i - 1, j}$,有$a_{i, j} = ... 
- Entity Framework Tutorial Basics(8):Types of Entity in Entity Framework
			Types of Entity in Entity Framework: We created EDM for existing database in the previous section. A ... 
- scala中枚举
			scala没有从语法的角度来支持枚举,而是通过定义了一个接口Enumeration来支持的 object ExecutorState extends Enumeration{ type Executo ... 
- android studio中使用recyclerview小白篇(一)
			本人就是小白,昨天在使用listview时,看到说有更好的控件出来了,在V7包中,需要SDK21及以上,那就试着用用吧,今天试了一天,终于弄的能简单使用了,分享一下. 怎么导入这个recycleyvi ... 
- 818. Race Car
			Your car starts at position 0 and speed +1 on an infinite number line. (Your car can go into negati ... 
- Summer Holiday 强连通
			Problem Description To see a World in a Grain of Sand And a Heaven in a Wild Flower, Hold Infinity i ... 
- django 基础框架学习 (三)
			Django框架基础-03数据库新增数据 1.save⽅法 >>> from datetime import date >>> f ... 
- centos下yum搭建安装linux+apache+mysql+php环境教程
			我们利用linux系统中yum安装Apache+MySQL+PHP是非常的简单哦,只需要几步就可以完成,具体如下: 一.脚本YUM源安装: 1.yum install wget ... 
