Kafka-Eagle简介 源代码地址:https://github.com/smartloli/kafka-eagle Kafka Eagle是什么 Kafka Eagle是一款用于监控和管理Apache Kafka的完全开源系统,目前托管在Github,由笔者和一些开源爱好者共同维护.它提供了完善的管理页面,很方面的去管理和可视化Kafka集群的一些信息,例如Broker详情.性能指标趋势.Topic集合.消费者信息等. 同时,兼容若干Kafka版本,例如0.8,0.9,...,以及截止到2

1.概述 在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便的完成我们的工作.随着业务的复杂化,Group 和 Topic 的增加,此时我们使用 Kafka 提供的命令工具,已预感到力不从心,这时候 Kafka 的监控系统此刻便尤为显得重要,我们需要观察消费应用的详情. 监控系统业界有很多杰出的开源监控系统.我们在早期,有使用 KafkaMonitor 和

Kafka Eagle 1.概述 在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便的完成我们的工作.随着业务的复杂化,Group 和 Topic 的增加,此时我们使用 Kafka 提供的命令工具,已预感到力不从心,这时候 Kafka 的监控系统此刻便尤为显得重要,我们需要观察消费应用的详情. 监控系统业界有很多杰出的开源监控系统.我们在早期,有使用 Kaf

1.概述 Kafka Eagle是一款开源的Kafka集群监控系统,源代码托管在Github.目前Kafka Eagle已更新到V1.3.4版本,域名已经统一更新为http://www.kafka-eagle.org/,之前的下载地址和官网使用手册地址均已替换,例如http://download.smartloli.org/替换为http://download.kafka-eagle.org/,而使用手册地址http://ke.smartloli.org/替换为https://docs.kafk

启动zookeeper和Kafka之后,进入kafka目录(安装/启动kafka参考前面一章:https://www.cnblogs.com/cici20166/p/9425613.html) 1.创建Topic 1)运行命令: ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1 2181 是zookeeper 端口 图示为创建成

1.概述 最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题,这里笔者特意整理了这些问题.并且希望通过这篇博客来解答这些同学的在使用Kafka Eagle的时候遇到的一些困惑,同时也给出一些定位分析Kafka Eagle异常的时的解决办法. 2.内容 2.1 背景 在使用Kafka Eagle监控系统之前,笔者简单的介绍一下这款工具的用途.Kafka Eagle监控系统是一款用来监控Kafka集群的工具,目前更新的版本是v1.2.3,支持管理多个Kafka集群.管理Kaf

1.概述 最近有很多同学给笔者留言,说在安装Kafka Eagle的时候,会遇到一些问题,请教如何解决?今天笔者就在这里总结一下安装步骤,和一些安装的注意事项,以及解决方式. 2.内容 在安装Kafka Eagle之前,可能新接触的同学对Kafka Eagle不太了解,那我们现在简要介绍一下Kafka Eagle. 源代码地址:https://github.com/smartloli/kafka-eagle (感兴趣的同学可以关注一波) 2.1 Kafka Eagle是什么? Kafka Eag

1.概述 在<Kafka 消息监控 - Kafka Eagle>一文中,简单的介绍了 Kafka Eagle这款监控工具的作用,截图预览,以及使用详情.今天笔者通过其源码来解读实现细节.目前该项目已托管于 Github 之上,作者编写了使用手册,告知使用者如何安装,部署,启动该系统.但对于实现的细节并未在参考手册中详细指出.这里,笔者通过本篇博文,来详细解读其实现细节.相关资料文献地址如下所示: Kafka Eagle 源码地址 Kafka Eagle 参考手册 Kafka Eagle 安装包

在线文档:https://ke.smartloli.org/ 作者博客:https://www.cnblogs.com/smartloli/p/9371904.html 源码地址:https://github.com/smartloli/kafka-eagle 源码编译:直接提供的脚本./build.sh或者直接执行脚本里面的命令mvn clean && mvn package -DskipTests 编译结果:kafka-eagle\kafka-eagle-web\target\kafk

比Kafka Mangaer更优秀的开源监控工具-Kafka Eagle 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在Kafka的监控系统中有很多优秀的开源监控系统.比如Kafka-manager,open-faclcon,zabbix等主流监控工具均可直接监控kafka.Kafka集群性能监控可以从消息网络传输,消息传输流量,请求次数等指标来衡量集群性能.这些指标数据可以通过访问kafka集群的JMX接口获取. 由于Kafka Eagle监控系统核心模块采用java编程

概述 Kafka Eagle监控系统是一款用来监控Kafka集群的工具,目前更新的版本是v1.2.3,支持管理多个Kafka集群.管理Kafka主题(包含查看.删除.创建等).消费者组合消费者实例监控.消息阻塞告警.Kafka集群健康状态查看等. 安装与使用 1.下载 https://codeload.github.com/smartloli/kafka-eagle-bin/tar.gz/v1.2.7 2.安装 解压 tar -zxvf kafka-eagle-web-1.2.7-bin.tar

场景介绍 说起Kafka,许多使用者对它是又爱又恨.Kafka是一种分布式的.基于发布/订阅的消息系统,其极致体验让人欲罢不能,但操心的运维.复杂的安全策略.可靠性易用性的缺失等,仍需要使用者付出诸多的背后工作.即使你是Kafka老手,也难免会有上述同样的烦恼. 与其整日操心Kafka的部署,不如试试云上Kafka带给你的惊喜?目前国内主流的云服务厂商均提供了云上的Kafka服务,为应用系统提供异步的消息队列服务.通过高可用的消息缓冲队列,实现应用解耦.突发流量处理及与第三方的互通和集成,具有大

1.概述 Kafka Eagle是一款用于管理Kafka的监控系统,且完全开源.当前Kafka Eagle发布了2.0.0版本.今天笔者就为大家来介绍一下2.0.0更新了哪些功能. 官网地址:http://www.kafka-eagle.org/ 开源地址:https://github.com/smartloli/kafka-eagle 2.内容 Kafka Eagle所包含的功能有数据面板.数据大屏.主题列表.消费者组.集群详情.监控中心.告警策略.系统管理等功能.那在Kafka Eagle

1.概述 最近有同学留言,Kafka Eagle的分布式模式功能怎么使用,如何部署安装?今天笔者就为大家来详细介绍一下Kafka Eagle的分布式模式功能的安装和使用. 2.内容 首先,这里我们需要说明一下,Kafka Eagle已经更名为EFAK(Eagle For Apache Kafka).感谢Apache Kafka PMC的认可,EFAK将继续提供和开发新功能,来满足Kafka集群和应用的相关监控和管理功能. 2.1 背景 当我们管理Kafka多集群或者一个规模较大的Kafka集群时

8.1.常用命令 启动ZK服务 bin/zkServer.sh start 查看ZK服务状态 bin/zkServer.sh status 停止ZK服务 bin/zkServer.sh stop 重启ZK服务 bin/zkServer.sh restart 连接服务器 zkCli.sh -server 127.0.0.1:2181 8.2 客户端连接 运行 zkCli.sh –server <ip>进入命令行工具 在192.168.106.82服务器上连接到192.168.106.81服务器下

消息队列的好处: 消息队列(Message Queue) 消息: 网络中的两台计算机或者两个通讯设备之间传递的数据.例如说:文本.音乐.视频等内容. 队列:一种特殊的线性表(数据元素首尾相接),特殊之处在于只允许在首部删除元素和在尾部追加元素.入队.出队. 消息队列:顾名思义,消息+队列,保存消息的队列.消息的传输过程中的容器:主要提供生产.消费接口供外部调用做数据的存储和获取. 消息队列分类 MQ分类:点对点(P2P).发布订阅(Pub/Sub) 共同点:消息生产者生产消息发送到queue中,

kafka的log内容格式还不没怎么了解,想快速浏览消息内容的话,除了使用它自带的kafka-console-consumer.sh脚本,还可以直接去看log文件本身,不过内容里有部分二进制字符,通过命令看的话会有乱码. strings 命令可以过滤掉二进制编码,但默认它也会过滤掉中文字符,只留有英文字符.要用它的-e S参数可以同时过滤出中文或英文字符,但仍会包含了小部分的二进制编码,可以在通过iconv去掉一下,能大致看到消息内容: $ cat log-strings.sh #!/bin/b

基于kafka: kafka_2.11-0.11.0.0.tgz kafka-eagle-bin-1.2.1.tar.gz 1.下载解压 tar -zxvf kafka-eagle-bin-1.2.1.tar.gz -C /home/cluster 2.配置 vim /home/cluster/kafka-eagle/conf/system-config.properties #zookeeper集群别名 可以多个 kafka.eagle.zk.cluster.alias=cluster1,cl

kafka的log内容格式还不没怎么了解,想快速浏览消息内容的话,除了使用它自带的kafka-console-consumer.sh脚本,还可以直接去看log文件本身,不过内容里有部分二进制字符,通过命令看的话会有乱码. strings 命令可以过滤掉二进制编码,但默认它也会过滤掉中文字符,只留有英文字符.要用它的-e S参数可以同时过滤出中文或英文字符,但仍会包含了小部分的二进制编码,可以在通过iconv去掉一下,能大致看到消息内容: $ cat log-strings.sh #!/bin/b

下载 地址:http://download.smartloli.org/ github:https://github.com/smartloli/kafka-eagle 环境 Windows: 安装JDK并配置JDK环境变量 KE_HOME=D:\Programs\kafka-eagle-web-1.2.0 Linux: 安装JDK并配置环境变量 export KE_HOME=/opt/kafka-eagle-web-1.2.0 export PATH=$PATH:$KE_HOME/bin ke