Kafka Manager

1.kafka Manager

1.上传压缩包kafka-manager-1.3.3.15.zip到集群

2.解压到/opt/module

3.修改配置文件conf/application.conf
kafka-manager.zkhosts="kafka-manager-zookeeper:2181"
修改为：
kafka-manager.zkhosts="hadoop101:2181,hadoop102:2181,hadoop103:2181"

4.启动kafka-manager
bin/kafka-manager

5.登录hadoop102:9000页面查看详细信息
[kris@hadoop101 software]$ unzip kafka-manager-1.3.3.15.zip -d /opt/module/
[kris@hadoop101 bin]$ chmod +x kafka-manager
[kris@hadoop101 bin]$ ./kafka-manager ##启动

9000端口号可能会冲突，也可以修改端口号

启动KafkaManager
[kris@hadoop101 kafka-manager]$
nohup bin/kafka-manager   -Dhttp.port= >/opt/module/kafka-manager-1.3.3.22/start.log >& &

添加集群：

集群信息：

添加主题；

重新获取平衡

分区数、节点数、Brokers Spread节点分布比例（如一共3个节点，主题占了3个节点所以分布比例是100%，如果有3个节点主题只占1个，则33% ）

Brokers Skew节点倾斜度、（1个Topic--3个分区--每个分区3个副本；如果某个节点上分区数>3个， 有节点超负荷了（有1个节点超负荷了即1/3=33%，两个节点超负荷了则2/3）

Brokers Leader Skew Leader的倾斜度，leader都在一个节点上，leader倾斜度）

起一个消费者

[kris@hadoop101 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic first

2. KafkaMonitor

局限性，offset在zk上可以使用

1.上传jar包KafkaOffsetMonitor-assembly-0.2.0.jar到集群

2.在/opt/module/下创建kafka-offset-console文件夹

3.将上传的jar包放入刚创建的目录下

4.在/opt/module/kafka-offset-console目录下创建启动脚本start_en.sh，内容如下：
java -cp就是执行下那个jar包；主方法所在的类的类名；zk地址；每隔10s刷新下库；
[kris@hadoop101 kafka-offset-console]$ vim start_en.sh
#!/bin/bash
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
     com.quantifind.kafka.offsetapp.OffsetGetterWeb \
     --zk 192.168.1.101:2181,192.168.1.102:2182,192.168.1.103:2181 \
     --port 8086 \
     --refresh 10.seconds \
     --retain 7.days 1>mobile-logs/stdout.log 2>mobile-logs/stderr.log &

[kris@hadoop101 kafka-offset-console]$ ll
总用量 56560
-rw-rw-r--. 1 kris kris 57910726 3月   1 21:23 KafkaOffsetMonitor-assembly-0.2.0.jar
-rw-rw-r--. 1 kris kris      375 3月   1 21:25 start_en.sh

5.在/opt/module/kafka-offset-console目录下创建mobile-logs文件夹
[kris@hadoop101 kafka-offset-console]$ mkdir /opt/module/kafka-offset-console/mobile-logs

[kris@hadoop101 kafka-offset-console]$ ll
总用量 56564
-rw-rw-r--. 1 kris kris 57910726 3月   1 21:23 KafkaOffsetMonitor-assembly-0.2.0.jar
drwxrwxr-x. 2 kris kris     4096 3月   1 21:26 mobile-logs
-rw-rw-r--. 1 kris kris      375 3月   1 21:25 start_en.sh
[kris@hadoop101 kafka-offset-console]$ ./start_en.sh
-bash: ./start_en.sh: 权限不够
[kris@hadoop101 kafka-offset-console]$ chmod +x start_en.sh
6.启动KafkaMonitor
[kris@hadoop101 kafka-offset-console]$ ./start_en.sh 

 

http://hadoop101:8086/#/

[kris@hadoop101 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop101: --topic first
>hello
>world
[kris@hadoop101 kafka]$ bin/kafka-console-consumer.sh --zookeeper hadoop101: --topic first
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
hello
world
java

主题生产到了longSize184的offset，目前消费到177，lag还有6个没有消费到；

lag有多少条消息没有被消费；到最后都被消费掉lag=0