[转帖]Kafka可靠性之HW与Leader Epoch

【[转帖]Kafka可靠性之HW与Leader Epoch】的更多相关文章

Kafka设计解析（二十一）Kafka水位(high watermark)与leader epoch的讨论

转载自 huxihx,原文链接 Kafka水位(high watermark)与leader epoch的讨论本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的.简单来说,0.11之前副本备份机制主要依赖水位(或水印)的概念,而0.11采用了leader epoch来标识备份进度.后面我们会详细讨论两种机制的差异.不过首先先做一些基本的名词含义解析. 水位或水印(watermark)一词,也可称为高水位(high watermark),通常被用在流式处理领域…

Kafka水位(high watermark)与leader epoch的讨论

~~~这是一篇有点长的文章,希望不会令你昏昏欲睡~~~ 本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的.简单来说,0.11之前副本备份机制主要依赖水位(或水印)的概念,而0.11采用了leader epoch来标识备份进度.后面我们会详细讨论两种机制的差异.不过首先先做一些基本的名词含义解析. 水位或水印(watermark)一词,也可称为高水位(high watermark),通常被用在流式处理领域(比如Apache Flink.Apache Spark…

kafka入门之broker-水印和leader epoch

每个kafka副本对象都持有2个重要的属性:日志末端位移LEO,高水印HW Kafka对leader副本和follower副本的LEO更新机制是不同的,后面我们会详细讨论. Kafka对leader副本和follower副本的hw值更新机制也是不同的. 消费者无法消费分区leader副本上那些位移大于分区hw的消息.分区hw就是leader副本的hw值. 关于LEO 2套follower副本LEO属性:一套LEO值保存在follower副本所在broker的缓存上:另一套LEO值保存在leade…

RabbitMQ和Kafka可靠性

RabbitMQ和Kafka可靠性 https://www.cnblogs.com/haolujun/p/9641840.html 我们通过前文知道,RabbitMQ的队列分为master queue和mirror queue,mirror queue 在master queue宕机之后,会被提升为master queue,如下图所示. 队列A的consumer在消费的时候,机器宕机,此时客户端和服务端分别做如下动作: 服务端:把mirror queue提升为master queue 客户端:连…

kafka数据一致性（HW只能保证副本之间的数据一致性，并不能保证数据不丢失ack或者不重复。）

数据一致性问题:消费一致性和存储一致性例如:一个leader 写入 10条数据,2个follower(都在ISR中),F1.F2都有可能被选为Leader,例如选F2 .后面Leader又活了.可能造成每个副本数据不一致 F1 8条 F2 9条 LEO:每个副本的最后一个offset.例如 F1的LEO为8, F2的LEO为9 HW(High Watermark):所有副本中最小的LEO. LEO:指的是每个副本最大的 offset; HW:指的是消费者能见到的最大的 offset,I…

leader epoch

更多内容,前往 IT-BLOG leader epoch 代表 Leader 的纪元信息(epoch),初始值为0.每当 Leader 变更一次,leader epoch 的值就会加1,相当于为 Leader 增设了一个版本号.每个副本中还会增设一个矢量 <LeaderEpoch >= StartOffset>,其中 StartOffset 表示当前 LeaderEpoch 下写入的第一条消息的偏移量. 假设有两个节点A 和 B,B是 leader节点,里面的数据如图:A发生重启之后,…

Kafka中的HW、LEO、LSO等分别代表什么？

HW . LEO 等概念和上一篇文章所说的 ISR有着紧密的关系,如果不了解 ISR 可以先看下ISR相关的介绍. HW (High Watermark)俗称高水位,它标识了一个特定的消息偏移量(offset),消费者只能拉取到这个offset之前的消息. 下图表示一个日志文件,这个日志文件中只有9条消息,第一条消息的offset(LogStartOffset)为0,最有一条消息的offset为8,offset为9的消息使用虚线表示的,代表下一条待写入的消息.日志文件的 HW 为6,表示消费者只…