Kafka集群管理工具kafka-manager

一、kafka-manager简介

kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容：

• 管理多个集群
• 轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）
• 运行首选副本选举
• 使用选项生成分区分配以选择要使用的代理
• 运行分区重新分配（基于生成的分配）
• 使用可选主题配置创建主题（0.8.1.1具有与0.8.2+不同的配置）
• 删除主题（仅支持0.8.2+并记住在代理配​​置中设置delete.topic.enable = true）
• 主题列表现在指示标记为删除的主题（仅支持0.8.2+）
• 批量生成多个主题的分区分配，并可选择要使用的代理
• 批量运行重新分配多个主题的分区
• 将分区添加到现有主题
• 更新现有主题的配置

kafka-manager 项目地址：https://github.com/yahoo/kafka-manager

二、kafka-manager安装

1、下载并解压安装包

使用Git或者直接从Releases中下载，这里我们下载 2.0.0.2 版本：https://github.com/yahoo/kafka-manager/releases

$ wget https://github.com/yahoo/kafka-manager/archive/2.0.0.2.zip

2、sbt编译

1）yum安装sbt(因为kafka-manager需要sbt编译)

$ curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
$ sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/
$ sudo yum install sbt

修改仓库地址：（sbt 默认下载库文件很慢, 还时不时被打断），我们可以采用阿里云的镜像进行替代

$ mkdir ~/.sbt ; vim ~/.sbt/repositories  一定要严格按格式来，每行后面不要有空格

[repositories]
local
aliyun: http://maven.aliyun.com/nexus/content/groups/public/
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
sonatype-oss-releases
maven-central
sonatype-oss-snapshots

验证：检查sbt是否安装成功，查看命令输出，发现已经成功可以从maven.aliyun.com/nexus下载到依赖即表示成功

$ sbt -version

2）编译kafka-manager

$ ./sbt clean dist

3、修改配置文件

vim conf/application.conf  修改kafka-manager.zkhosts列表为自己的zk节点
   kafka-manager.zkhosts="node21:2181,node22:2181,node23:2181"

4、启动服务

启动顺序：zk集群--> kafka集群--> kafka-manager

kafka-manager 默认的端口是，可通过 -Dhttp.port 指定端口 ; -Dconfig.file=conf/application.conf 指定配置文件:

nohup /usr/local/kafka-manager-2.0.0.2/bin/kafka-manager -Dconfig.file=/usr/local/kafka-manager-2.0.0.2/conf/application.conf -Dhttp.port=8888 >/dev/null 2>&1 &

jps查看进程:

QuorumPeerMain -- ZooKeeper

Kafka -- Kafka

ProdServerStart -- kafka-manager