storm-kafka组件中KafkaOffsetMetric相关统计指标说明

storm-kafka组件中KafkaOffsetMetric相关统计指标说明

storm-kafka是storm提供的一个读取kakfa的组件，用于从kafka队列中消费数据。KafkaOffsetMetric是storm-kafka中关于消费状态的Metric。本文将介绍KafkaOffsetMetric中的各个指标。

下面是kafka-spout 关于KafkaOffsetMetric 相关指标的示例：

{
    partition_3/latestTimeOffset=631044351,
    totalLatestTimeOffset=1031834482,
    totalSpoutLag=0,
    totalLatestEmittedOffset=1031834482,
    totalEarliestTimeOffset=1031834482,
    partition_3/latestEmittedOffset=631044351,
    partition_1/latestEmittedOffset=400790131,
    partition_3/earliestTimeOffset=631044351,
    partition_1/latestTimeOffset=400790131,
    partition_3/spoutLag=0,
    partition_1/earliestTimeOffset=400790131,
    partition_1/spoutLag=0
}

1.每个partition的消费状态相关指标

partition_3/latestTimeOffset=631044351,   #该分区最新的offset，
partition_3/latestEmittedOffset=631044351,#该分区最新的消费的offst
partition_3/earliestTimeOffset=631044351, #该分区最早的offset，
partition_3/spoutLag=0,                   #该分区消费的延迟：spoutLag= latestTimeOffset - latestEmittedOffset；

2. 整体的消费状态相关指标

totalLatestTimeOffset=1031834482,          #totalLatestTimeOffset += latestTimeOffset;          一个topic所有分区最新的offset值之和。
totalLatestEmittedOffset=1031834482,     #totalLatestEmittedOffset += latestEmittedOffset;  一个topic所有分区最新的消费的offset值之和。
totalEarliestTimeOffset=1031834482,        #totalEarliestTimeOffset += earliestTimeOffset;       一个topic所有分区最早的offset值之和。
totalSpoutLag=0,                                       #totalSpoutLag += spoutLag;                                  该topic消费的延迟