ambari安装集群下安装kafka manager

简介：

　　不想通过kafka shell来管理kafka已创建的topic信息，想通过管理页面来统一管理和查看kafka集群。所以选择了大部分人使用的kafka manager，我一共有一台主机master和三台节点slave1,slave2,slave3，一共有三个zookeeper server和三个kafka broker，分别在master，slave1，slave2。所以我把kafka manager安装在了slave3的服务器上面。

一、启动kafka的JMX端口的访问

至于JMX是什么，可以自己百度一下。启动JMX主要是为了kafka manger可以通过JMX端口来监听kafka的状态等。kafka启动的时候是没有启动JMX的，所以需要去修改kafka的启动脚本，来使kafka启动的时候启动JMX。

[root@master ~]# cd /usr/hdp/current/kafka-broker/bin/
[root@master ~]# vi kafka-server-start.sh
#添加下面标红的代码到指定位置
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    export JMX_PORT=""
fi  

上面的操作需要在三台kafka集群上都要操作，修改完以后通过页面，重启所有的kafka集群。然后再到master，slave1，slave2上查看9999端口是否启用

[root@master bin]# lsof -i:9999
COMMAND   PID  USER   FD   TYPE   DEVICE SIZE/OFF NODE NAME
java    55123 kafka   90u  IPv6 76911524      0t0  TCP *:distinct (LISTEN)

二、安装kafka manager

1、安装sbt编译环境

[root@master ~]# curl https://bintray.com/sbt/rpm/rpm |tee /etc/yum.repos.d/bintray-sbt-rpm.repo
[root@master ~]# yum install sbt

2、下载kafka-manager

访问网址https://github.com/yahoo/kafka-manager/releases下载最新版的kafka-manager，然后解压、编译。

[root@slave3 ~]# cd kafka-manager-1.3.3.17
[root@slave3 kafka-manager-1.3.3.17]# sbt clean dist

编译完以后，生成的包会在kafka-manager/target/universal 下面。生成的包只需要java环境就可以运行了，在部署的机器上不需要安装sbt。

3、复制编译好的压缩包,在需要部署的kafka机器上解压即可

[root@slave3 kafka-manager-1.3.3.17]# cp target/universal/kafka-manager-1.3.3.17.zip /usr/hdp/2.6.3.0-235/
[root@slave3 kafka-manager-1.3.3.17]# cd /usr/hdp/2.6.3.0-235/
[root@slave3 2.6.3.0-235]# unzip kafka-manager-1.3.3.17.zip

4、修改application.conf,把kafka-manager.zkhosts改为自己的zookeeper服务器地址

[root@slave3 2.6.3.0-235]# cd kafka-manager-1.3.3.17
[root@slave3 kafka-manager-1.3.3.17]# vi conf/application.conf
#修改的代码
kafka-manager.zkhosts="master:2181,slave1:2181,slave2:2181"

5、启动

[root@slave3 kafka-manager-1.3.3.17]# nohup bin/kafka-manager -Dconfig.file=conf/application.conf &

默认http端口是9000，可以通过命令行参数传递：./kafka-manager -Dhttp.port=9001

6、访问

访问地址 http://slave3:9000

创建kafka集群的名称，点击Add Cluster来进行创建，cluster name为kafka集群的别名自定义，zookeeper hosts填写master:2181,slave1:2181,slave2:2181。kafka version选择ambari版本里面相应的kafka版本。勾选具体配置是除开JMX with SSL不勾选，其余的全部勾选。

然后点击save就可以了。

7、在kafka manager里面删除topic的时候发现删除不了，但是topic的名称变成了红色。然后我修改了ambari里面kafka的delete.topic.enable的参数为true。然后就可以正常的删除topic了。至于刚才的还是红色test已经没法删除了，参考 https://blog.csdn.net/fengzheku/article/details/50585972 来对zookeeper上面的数据进行删除就可以了。