kafka offset存储

存储方式

方式	方式来源	存储位置
自动提交	kafka	kafka
异步提交	kafka	kafka
checkpoint	spark streaming	hdfs
hbase存储	程序开发	hbase
zookeeper存储	程序开发	zookeeper： /consumers/[groupId] /offsets/topic/[partitionId]
redis存储	程序开发	redis

以上，kafka本身的自动提交和异步提交受kafka本身稳定性影响较大；考虑到系统升级等影响，checkpoint不太稳定；zookeeper的存储与zookeeper服务频繁交互，影响zookeeper稳定性；redis存储易获取，但是对历史offset的存储不友好。使用hbase来存储offset较稳定，且可以存储多种信息，为避免延迟，可以让hbase仅存储一段时间内的offset，目前暂定30天，可根据topic\spark应用的多少进行调整。

hbase存储offset

1. 存储30天数据，设置表的TTL为2592000=30*24*60*60
2. 表结构设计
   • 列族 > i
   • rowkey > topic|消费者组名|时间戳
   • 列名 > partitionID/fromOffsetVal/utilOffsetVal

缺点

连接hbase并更新offset时，会有几秒的耗时，不太友好。