[转帖]可直接拿来用的kafka+prometheus+grafana监控告警配置

kafka配置jmx_exporter

点击：https://github.com/prometheus/jmx_exporter，选择下面的jar包下载：

将下载好的这个agent jar包上传到kafka的broker节点所在服务器上，每个broker都需要，比如上传到如下路径：

/opt/agent/jmx_prometheus_javaagent-0.16.1.jar

修改kafka启动脚本: bin/kafka-server-start.sh，增加java agent配置如下：

JMX_EXPORTER_OPTS="-javaagent:/opt/agent/jmx_prometheus_javaagent-0.16.1.jar=9095:/opt/agent/kafka_broker.yml"





export KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS $JMX_EXPORTER_OPTS"

这两行代码可以添加在脚本首部。

这里指定了9095作为端口，jmx_exporter用到的kafka_broker.yml 配置如下：https://github.com/xxd763795151/kafka-exporter/blob/main/kafka_broker.yml

将kafka每个broker都这样配置，重启kafka。

Prometheus配置

修改prometheus的配置prometheus.yml，增加如下配置：

  - job_name: 'kafka'





    metrics_path: /metrics





    static_configs:





    - targets: ['kafka1:9095', 'kafka2:9095', 'kafka3:9095']





      labels:





         env: "test"

p.s. 注意job_name不要修改，值就是"kafka"，要不我下面的grafana不能直接用，还需要每个面板依次修改。

Grafana配置

下面的Grafana面板我已经配置好，可以直接拿来用，之后可以根据需要增加或删除相关面板：https://github.com/xxd763795151/kafka-exporter/blob/main/grafana.json

贴几个截图：

 

消息积压

在kafka的broker端无法直接获取消息积压等指标信息，这些数据在消费端上，我们也不太可能去连接所有的消费端获取监控信息。

所以，我单独写了一个kafka-exporter可以获取消息积压的监控指标：https://github.com/xxd763795151/kafka-exporter

点击这个链接进入github仓库后，根据说明进行部署并配置启动后，然后在prometheus.yml增加如下配置：

  - job_name: 'kafka-exporter'





    metrics_path: /prometheus





    static_configs:





    - targets: ['kafka-expoter-host:9097']





      labels:





         env: "test"

上面的grafana配置里已经包含了消息积压的面板：

 如果后续有其它指标在jmx里不提供，也可以继续补充kafka-exporter，刮取更多需要的metrics。

告警

最新的配置代码会提交在这里： https://github.com/xxd763795151/kafka-exporter/blob/main/kafka_alert.yml

示例如下：

groups:





  - name: Kafka测试集群告警





    rules:





      - alert: "kafka集群，出现脑裂"





        expr: sum(kafka_controller_kafkacontroller_activecontrollercount{env="test"}) by (env) > 1





        for: 0m





        labels:





          severity: warning





        annotations:





          description: '激活状态的控制器数量为{{$value}}，集群可能出现脑裂'





          summary: '{{$labels.env}} 集群出现脑裂，请检查集群之前的网络'





      - alert: "kafka集群没有活跃的控制器"





        expr: sum(kafka_controller_kafkacontroller_activecontrollercount{env="test"}) by (env) < 1





        for: 0m





        labels:





          severity: warning





        annotations:





          description: '激活状态的控制器数量为{{$value}}，没有活跃的控制器'





          summary: '{{$labels.env}} 集群没有活跃的控制器，集群可能无法正常管理'





      - alert: "kafka节点挂了"





        expr: count(kafka_server_replicamanager_leadercount{env="test"}) by (env) < 3





        for: 0m





        labels:





          severity: warning





        annotations:





          description: '{{$labels.env}} 集群的节点挂了，当前可用节点：{{$value}}'





          summary: '{{$labels.env}} 集群的节点挂了'





      - alert: "kafka集群出现leader不在首选副本上的分区"





        expr: sum(kafka_controller_kafkacontroller_preferredreplicaimbalancecount{env="test"}) by (env) > 0





        for: 1m





        labels:





          severity: warning





        annotations:





          description: '{{$labels.env}} 集群出现leader不在首选副本上的分区，数量：{{$value}}'





          summary: '{{$labels.env}} 集群出现leader不在首选副本上的分区，分区副本负载不均衡，考虑使用kafka-preferred-replica-election脚本校正'





      - alert: "kafka集群离线分区数量大于0"





        expr: sum(kafka_controller_kafkacontroller_offlinepartitionscount{env="test"}) by (env) > 0





        for: 0m





        labels:





          severity: warning





        annotations:





          description: '{{$labels.env}} 集群离线分区数量大于0，数量：{{$value}}'





          summary: '{{$labels.env}} 集群离线分区数量大于0'





      - alert: "kafka集群未保持同步的分区数大于0"





        expr: sum(kafka_server_replicamanager_underreplicatedpartitions{env="test"}) by (env) > 0





        for: 0m





        labels:





          severity: warning





        annotations:





          description: '{{$labels.env}} 集群未保持同步的分区数大于0，数量：{{$value}}'





          summary: '{{$labels.env}} 集群未保持同步的分区数大于0，可能丢失消息'





      - alert: "kafka节点所在主机的CPU使用率过高"





        expr: irate(process_cpu_seconds_total{env="test"}[5m])*100 > 50





        for: 10s





        labels:





          severity: warning





        annotations:





          description: '{{$labels.env}} 集群CPU使用率过高，主机：{{$labels.instance}}，当前CPU使用率：{{$value}}'





          summary: '{{$labels.env}} 集群CPU使用率过高'





      - alert: "kafka节点YCG太频繁"





        expr: jvm_gc_collection_seconds_count{env="test", gc=~'.*Young.*'} - jvm_gc_collection_seconds_count{env="test", gc=~'.*Young.*'} offset 1m > 30





        for: 0s





        labels:





          severity: warning





        annotations:





          description: '{{$labels.env}} 集群节点YCG太频繁，主机：{{$labels.instance}}，最近1分钟YGC次数：{{$value}}'





          summary: '{{$labels.env}} 集群节点YCG太频繁'





      - alert: "kafka集群消息积压告警"





        expr: sum(consumer_lag{env="test"}) by (groupId, topic, env) > 20000





        for: 30s





        labels:





          severity: warning





        annotations:





          description: '{{$labels.env}} 集群出现消息积压，消费组：{{$labels.groupId}}，topic：{{$labels.topic}}，当前积压值：{{$value}}'





          summary: '{{$labels.env}} 集群出现消息积压'





      - alert: "kafka集群网络处理繁忙"





        expr: kafka_network_socketserver_networkprocessoravgidlepercent{env="test"} < 0.3





        for: 0s





        labels:





          severity: warning





        annotations:





          description: '{{$labels.env}} 集群网络线程池不太空闲，可能网络处理压力太大，主机：{{$labels.instance}}，当前空闲值：{{$value}}'





          summary: '{{$labels.env}} 集群网络处理繁忙'





      - alert: "kafka集群IO处理繁忙"





        expr: kafka_server_kafkarequesthandlerpool_requesthandleravgidlepercent_total{env="test"} < 0.3





        for: 0s





        labels:





          severity: warning





        annotations:





          description: '{{$labels.env}} 集群IO线程池不太空闲，可能处理压力太大，需要调整线程数，主机：{{$labels.instance}}，当前空闲值：{{$value}}'





          summary: '{{$labels.env}} 集群IO处理繁忙'

末语

我从grafana 官方上搜索了几个dashboard，但指标实在太少。感谢从这篇博文里找到的grafana配置可以参考，提供了很多指标的面板，可以让我对着kafka官方监控jmx说明进行整理，让我在grafana面板的配置上，省了一半的功夫：

https://www.confluent.io/blog/monitor-kafka-clusters-with-prometheus-grafana-and-confluent/

文章知识点与官方知识档案匹配，可进一步学习相关知识

云原生入门技能树首页概览14554 人正在系统学习中