Kafka监控必备——Kafka-Eagle 2.0.2正式发布

对于经常使用Kafka的同学，拥有一个炫酷又实用的监控系统是非常有必要的。可以实时的监控数据流的情况，了解实时数据流的变化。

Kafka Eagle

Kafka Eagle是一个监控系统，监控Kafka群集以及偏移量，消费者等等。

通过Kafka Eagle可以看到当前的消费者组，对于每个组，他们正在使用的主题以及该组在每个主题中的偏移量，消费积压等等。这对于了解消息队列消费的速度以及消息队列消息写入的速度非常的有用。可以帮助我们调试Kafka生产者和消费者，也可以对Kafka系统的整体运作情况有一个宏观的认识。

支持的Kafka版本：0.8.2.x，0.9.x，0.10.x，0.11.x，1.x，2.x

支持的系统：Mac OS X，Linux，Windows

JDK： JDK8+

自从Kafka Eagle开源以来，也得到了迅速的发展，目前GitHub的Star已经突破1.5K

下面我们来了解一下Kafka Eagle的核心功能。

功能展示

大屏支持

炫酷的大屏展示，生产者消费者情况，消息积压情况。

报警支持

自定义报警阈值，触发报警

报警消息情况

除了支持email警报外，Kafka Eagle还支持即时消息警报，例如DingDing和WeChat。

消费者组列表和活动图

消费者组的情况

主题列表明细

每个主题的具体情况

消费者与生产者图表

特色功能

偏移量

Kafka的偏移量存储位置发生过变化，这一直是监控的一大难题。

• Kafka0.8.2之前的版本，偏移量存储于Zookeeper中。
• 0.10.0以后的Kafka版本默认建议在Kafka主题（__consumer_offsets）中。

这两种Kafka Eagle都支持，Kafka Eagle支持多个偏移量存储路径。如果将它们存储在Zookeeper和Kafka中，则可以像这样配置它们。

# Set kafka cluster alias
kafka.eagle.zk.cluster.alias=cluster1,cluster2

# Set kafka cluster zookeeper address
cluster1.zk.list=xdn1:2181,xdn2:2181,xdn3:2181
cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181

# Set kafka cluster offset storage path
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zookeeper

Kafka SQL

可以使用SQL语法查询Kafka消息

select * from ke_p3_r2 where `partition` in (0,1,2) limit 10

更多Flink，Kafka等实时大数据分析相关技术博文，科技资讯，欢迎关注实时流式计算 公众号后台回复 “电子书” 下载300页Flink实战电子书