Kafka中的消费者Offset

消费者位移

每个 consumer 实例都会为它消费的分区维护属于自己的位置信息来记录当前消费了多少条消息。这在 Kafka 中有一个特有的术语：位移(offset)。

相比较将offset保存在服务器端(broker)，这样虽然简单，但是有如下的问题：

1. broker变成了有状态的，增加了同步成本，影响伸缩性。

2. 需要引入应答机制来确定消费成功。

3. 由于需要保存众多consumer的offset，可能需要引入复杂的数据结构，对资源有一定的浪费。

在Kafka中，消费者组(Consumer Group)负责管理分发消费消息，因此将offset保存在消费者组中是比较合适的选择。其数据格式只需要是特定格式的整形数据即可。

offset 对于 consumer 非常重要，因为它是实现消息交付语义保证(message delivery semantic)的基石。

消息交付语义即最多一次、最少一次、精确一次。

位移提交

consumer客户端需要定期地向Kafka集群汇报自己消费数据的进度，这一过程被称为位移提交(offset commit)。位移提交这件事情对于 consumer 而言非常重要，它不仅表征了consumer 端的消费进度，同时也直接决定了 consumer 端的消费语义保证。

新版的Kafka由topic管理提交的位移，该topic是__consumer_offsets。默认是有50个分区，编号从0到49。

每个位移提交请求都会往__consumer_offsets 对应分区上追加写入一条消息。消息的 key 是group.id、topic和分区的元组，而 value就是位移值。

提交方式

默认情况下，consumer是自动提交位移的，自动提交间隔是5秒。这就是说若不做特定的设置，consumer程序在后台自动提交位移。通过设置auto.commit.interval.ms参数可以控制自动提交的间隔。

手动位移提交就是用户自行确定消息何时被真正处理完并可以提交位移。在一个典型的 consumer 应用场景中，用户需要对 poll 方法返回的消息集合中的消息执行业务级的处理。用户想要确保只有消息被真正处理完成后再提交位移。如果使用自动位移提交则无法保证这种时序性，因此在这种情况下必须使用手动提交位移。设置使用手动提交位移非常简单，仅仅需要在构建 KafkaConsumer 时设置enable.auto.commit=false，然后调用 commitSync 或commitAsync方法即可。

两者的区别与优劣如下：

参考

书籍：<<Apache Kafka实战>>