kafka详解(04) - kafka监控 可视化工具

kafka详解(04) - kafka监控 可视化工具

Kafka监控Eagle

1）修改kafka启动命令

修改kafka-server-start.sh命令中

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

fi

为

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"

export JMX_PORT="9999"

fi

修改之后分发到其他节点

[hadoop@hadoop102 bin]$ scp kafka-server-start.sh hadoop103:/opt/module/kafka/bin/

[hadoop@hadoop102 bin]$ scp kafka-server-start.sh hadoop104:/opt/module/kafka/bin/

重启kafka集群

[hadoop@hadoop102 ~]$ mykafka.sh stop

[hadoop@hadoop102 ~]$ mykafka.sh start

2）上传压缩包kafka-eagle-bin-1.4.5.tar.gz到集群/opt/software目录

3）解压

[hadoop@hadoop102 software]$ tar -zxvf kafka-eagle-bin-1.4.5.tar.gz -C /opt/module/

4）进入到解压目录

[hadoop@hadoop102 software]$ cd /opt/module/kafka-eagle-bin-1.4.5/

[hadoop@hadoop102 kafka-eagle-bin-1.4.5]$ ll

total 73952

-rw-rw-r--. 1 hadoop hadoop 75722791 Mar 21 2020 kafka-eagle-web-1.4.5-bin.tar.gz

5）将kafka-eagle-web-1.4.5-bin.tar.gz解压至/opt/module

[hadoop@hadoop102 kafka-eagle-bin-1.4.5]$ tar -zxvf kafka-eagle-web-1.4.5-bin.tar.gz -C /opt/module/

6）修改名称

[hadoop@hadoop102 kafka-eagle-bin-1.4.5]$ cd /opt/module/

[hadoop@hadoop102 module]$ mv kafka-eagle-web-1.4.5/ eagle

7）给启动文件执行权限

[hadoop@hadoop102 module]$ cd eagle/bin/

[hadoop@hadoop102 bin]$ chmod 777 ke.sh

8）修改配置文件 conf/system-config.properties

[hadoop@hadoop102 bin]$ cd /opt/module/eagle/conf/

[hadoop@hadoop102 conf]$ vi system-config.properties

修改内容如下

######################################

# multi zookeeper&kafka cluster list

######################################

kafka.eagle.zk.cluster.alias=cluster1

cluster1.zk.list=hadoop102:2181,hadoop103:2181,hadoop104:2181

######################################

# kafka offset storage

######################################

cluster1.kafka.eagle.offset.storage=kafka

######################################

# enable kafka metrics

######################################

kafka.eagle.metrics.charts=true

kafka.eagle.sql.fix.error=false

######################################

# kafka jdbc driver address

######################################

kafka.eagle.driver=com.mysql.jdbc.Driver

kafka.eagle.url=jdbc:mysql://hadoop102:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull

kafka.eagle.username=root

kafka.eagle.password=123456

9）添加环境变量

[hadoop@hadoop102 conf]$ sudo vi /etc/profile

export KE_HOME=/opt/module/eagle

export PATH=$PATH:$KE_HOME/bin

使环境变量生效source /etc/profile

10）启动

注意：启动之前需要先启动ZK以及KAFKA

[hadoop@hadoop102 eagle]$ bin/ke.sh start

11）登录页面查看监控数据

浏览器中输入如下地址进入到登录界面：http://192.168.194.102:8048/ke

使用默认的用户名/密码（admin/123456）登录

kafka可视化管理平台kafka-console-ui

kafka-console-ui 是一款轻量级的kafka可视化管理平台，安装、配置特别简单，一般来说只需要配置一个kafka集群地址启动即可。

不是一个企业级的平台，目前看来只适合中、小型集群的管理，功能非常简单，没有国际化支持，全是中文展示。页面布局类似rocketmq-console。

这个工具目前主要是以管理功能为主，尽量摆脱繁琐的命令操作，所以没有相关监控指标数据的展示。

github地址：https://github.com/xxd763795151/kafka-console-ui

安装包下载：https://github.com/xxd763795151/kafka-console-ui/releases/download/v1.0.3/kafka-console-ui.zip

Windows中快速启动

解压缩下载好的zip安装包

进入bin目录（必须在bin目录下），双击执行start.bat启动

停止：直接关闭启动的命令行窗口即可

Linux中快速启动

将下载好的安装包上传到服务器中

# 解压缩

unzip kafka-console-ui.zip

# 进入解压缩后的目录

cd kafka-console-ui

# 启动

bin/start.sh

# 停止

bin/shutdown.sh

配置kafka集群并使用

启动完成后通过浏览器访问：http://hadoop102:7766

第一次启动，打开浏览器后，因为还没有配置kafka集群信息，所以页面右上角会有错误信息，比如：No Cluster Info或者是没有集群信息，请先切换集群之类的提示。

集群配置如下：

点击页面上方导航栏的 [运维] 菜单

点击集群管理下的 [集群切换] 按钮

在弹框里点击 [新增集群]

然后输入kafka集群名称（随便起个名字）和地址（IP:PORT），多个地址用逗号分隔

点击提交便增加成功了

增加成功可以看到会话框已经有这个集群信息，然后点击右侧的 [切换] 按钮，便切换该集群为当前集群

后续如果再增加其它集群，就可以按上面这个流程，如果想切换到哪个集群，点击切换按钮，便会切换到对应的集群，页面的右上角会显示当前是使用的哪个集群。

在新增集群的时候，除了集群地址还可以输入集群的其它属性配置，比如请求超时，ACL配置等。如果开启了ACL，切换到该集群的时候，导航栏上便会出现ACL菜单，支持进行相关操作