比Kafka Mangaer更优秀的开源监控工具-Kafka Eagle 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在Kafka的监控系统中有很多优秀的开源监控系统.比如Kafka-manager,open-faclcon,zabbix等主流监控工具均可直接监控kafka.Kafka集群性能监控可以从消息网络传输,消息传输流量,请求次数等指标来衡量集群性能.这些指标数据可以通过访问kafka集群的JMX接口获取. 由于Kafka Eagle监控系统核心模块采用java编程

1.概述 最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题,这里笔者特意整理了这些问题.并且希望通过这篇博客来解答这些同学的在使用Kafka Eagle的时候遇到的一些困惑,同时也给出一些定位分析Kafka Eagle异常的时的解决办法. 2.内容 2.1 背景 在使用Kafka Eagle监控系统之前,笔者简单的介绍一下这款工具的用途.Kafka Eagle监控系统是一款用来监控Kafka集群的工具,目前更新的版本是v1.2.3,支持管理多个Kafka集群.管理Kaf

1.概述 在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便的完成我们的工作.随着业务的复杂化,Group 和 Topic 的增加,此时我们使用 Kafka 提供的命令工具,已预感到力不从心,这时候 Kafka 的监控系统此刻便尤为显得重要,我们需要观察消费应用的详情. 监控系统业界有很多杰出的开源监控系统.我们在早期,有使用 KafkaMonitor 和

Kafka Eagle 1.概述 在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便的完成我们的工作.随着业务的复杂化,Group 和 Topic 的增加,此时我们使用 Kafka 提供的命令工具,已预感到力不从心,这时候 Kafka 的监控系统此刻便尤为显得重要,我们需要观察消费应用的详情. 监控系统业界有很多杰出的开源监控系统.我们在早期,有使用 Kaf

1.概述 在<Kafka 消息监控 - Kafka Eagle>一文中,简单的介绍了 Kafka Eagle这款监控工具的作用,截图预览,以及使用详情.今天笔者通过其源码来解读实现细节.目前该项目已托管于 Github 之上,作者编写了使用手册,告知使用者如何安装,部署,启动该系统.但对于实现的细节并未在参考手册中详细指出.这里,笔者通过本篇博文,来详细解读其实现细节.相关资料文献地址如下所示: Kafka Eagle 源码地址 Kafka Eagle 参考手册 Kafka Eagle 安装包

在线文档:https://ke.smartloli.org/ 作者博客:https://www.cnblogs.com/smartloli/p/9371904.html 源码地址:https://github.com/smartloli/kafka-eagle 源码编译:直接提供的脚本./build.sh或者直接执行脚本里面的命令mvn clean && mvn package -DskipTests 编译结果:kafka-eagle\kafka-eagle-web\target\kafk

原因: kafka.eagle.offset.storage配置有误 该配置的作用:# kafka offset storage -- Offset stored in a Kafka cluster, if stored in the zookeeper, you can not use this option 如果在ZK中存储offset,则不能使用该配置变量. 解决: 当offset存储在ZK中,不要配置kafka.eagle.offset.storage属性,不然界面consumer不显

概述 Kafka Eagle监控系统是一款用来监控Kafka集群的工具,目前更新的版本是v1.2.3,支持管理多个Kafka集群.管理Kafka主题(包含查看.删除.创建等).消费者组合消费者实例监控.消息阻塞告警.Kafka集群健康状态查看等. 安装与使用 1.下载 https://codeload.github.com/smartloli/kafka-eagle-bin/tar.gz/v1.2.7 2.安装 解压 tar -zxvf kafka-eagle-web-1.2.7-bin.tar

基于kafka: kafka_2.11-0.11.0.0.tgz kafka-eagle-bin-1.2.1.tar.gz 1.下载解压 tar -zxvf kafka-eagle-bin-1.2.1.tar.gz -C /home/cluster 2.配置 vim /home/cluster/kafka-eagle/conf/system-config.properties #zookeeper集群别名 可以多个 kafka.eagle.zk.cluster.alias=cluster1,cl

一.下载安装包  kafka-eagle-bin-1.2.4.tar.gz 百度云链接:链接:https://pan.baidu.com/s/1SNIkpsvs20A_Ljtx5PaMuA 密码:o4bi 二.设置全局变量,设置JDK的全局变量JAVA_HOME和本应用的KE_HOME # vim /etc/profile #———start export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAV

下载 地址:http://download.smartloli.org/ github:https://github.com/smartloli/kafka-eagle 环境 Windows: 安装JDK并配置JDK环境变量 KE_HOME=D:\Programs\kafka-eagle-web-1.2.0 Linux: 安装JDK并配置环境变量 export KE_HOME=/opt/kafka-eagle-web-1.2.0 export PATH=$PATH:$KE_HOME/bin ke

1.依赖包 <dependency>            <groupId>org.apache.kafka</groupId>            <artifactId>kafka_2.10</artifactId>            <version>0.8.1</version>        </dependency> 2.producer程序开发例子2.1 producer参数说明#指定ka

1.概述 Kafka Eagle是一款开源的Kafka集群监控系统,源代码托管在Github.目前Kafka Eagle已更新到V1.3.4版本,域名已经统一更新为http://www.kafka-eagle.org/,之前的下载地址和官网使用手册地址均已替换,例如http://download.smartloli.org/替换为http://download.kafka-eagle.org/,而使用手册地址http://ke.smartloli.org/替换为https://docs.kafk

Kafka Eagle 是一款开源的 Kafka 集群监控系统. 一.下载 https://download.kafka-eagle.org/ 二.安装 # 解压 .tar.gz -C /opt/ /kafka-eagle-web--bin.tar.gz -C /opt/ # 配置 vim /opt/kafka-eagle-web-/conf/system-config.properties system-config.properties 原文件 #######################

1.概述 最近有很多同学给笔者留言,说在安装Kafka Eagle的时候,会遇到一些问题,请教如何解决?今天笔者就在这里总结一下安装步骤,和一些安装的注意事项,以及解决方式. 2.内容 在安装Kafka Eagle之前,可能新接触的同学对Kafka Eagle不太了解,那我们现在简要介绍一下Kafka Eagle. 源代码地址:https://github.com/smartloli/kafka-eagle (感兴趣的同学可以关注一波) 2.1 Kafka Eagle是什么? Kafka Eag

1. Produer 1.1. 基本 Producer 首先使用 maven 构建相关依赖,这里我们服务器kafka 版本为 2.12-2.3.0,pom.xml 文件为: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/

1.概述 Kafka Eagle是一款用于管理Kafka的监控系统,且完全开源.当前Kafka Eagle发布了2.0.0版本.今天笔者就为大家来介绍一下2.0.0更新了哪些功能. 官网地址:http://www.kafka-eagle.org/ 开源地址:https://github.com/smartloli/kafka-eagle 2.内容 Kafka Eagle所包含的功能有数据面板.数据大屏.主题列表.消费者组.集群详情.监控中心.告警策略.系统管理等功能.那在Kafka Eagle

Kafka-Eagle简介 源代码地址:https://github.com/smartloli/kafka-eagle Kafka Eagle是什么 Kafka Eagle是一款用于监控和管理Apache Kafka的完全开源系统,目前托管在Github,由笔者和一些开源爱好者共同维护.它提供了完善的管理页面,很方面的去管理和可视化Kafka集群的一些信息,例如Broker详情.性能指标趋势.Topic集合.消费者信息等. 同时,兼容若干Kafka版本,例如0.8,0.9,...,以及截止到2

1.概述 最近有同学留言,Kafka Eagle的分布式模式功能怎么使用,如何部署安装?今天笔者就为大家来详细介绍一下Kafka Eagle的分布式模式功能的安装和使用. 2.内容 首先,这里我们需要说明一下,Kafka Eagle已经更名为EFAK(Eagle For Apache Kafka).感谢Apache Kafka PMC的认可,EFAK将继续提供和开发新功能,来满足Kafka集群和应用的相关监控和管理功能. 2.1 背景 当我们管理Kafka多集群或者一个规模较大的Kafka集群时

1.概述 最近有同学留言,关于Kafka Eagle的一些使用问题.今天笔者就为大家来详细介绍Kafka Eagle 3.0.1的功能以及使用方法. 2.内容 在3.0.1版本中,EFAK优化了分布式模式的服务性能,减少了磁盘IO和网络IO的操作次数,提升了内存和CPU的使用率.下面,我们就来看看3.0.1的相关功能. 2.1 基础环境 部署EFAK所需要的基础环境如下: 2.2.1 硬件和操作系统 操作系统:Linux系统即可(Ubuntu.CentOS等) JDK:JDK8以上 CPU:1核