kafka操作清单

1. 查看topic个数

./kafka-topics.sh --list --zookeeper dwtest-data2:,dwtest-data3:,dwtest-data4:

2. 查看topic的生产者与消费者消息

./kafka-topics.sh --describe --zookeeper dwtest-data2:,dwtest-data3:,dwtest-data4: --topic test

leader:负责处理消息的读和写，leader是从所有节点中随机选择的.
Replicas:列出了所有的副本节点，不管节点是否在服务中.
Lsr:是正在服务中的节点.

3. 生产者

bin/kafka-console-producer.sh --broker-list kafka1: --topic test
bin/kafka-console-producer.sh --broker-list 192.168.100.125: --topic DreamTopic1

4.消费者

# 旧版本方式
bin/kafka-console-consumer.sh --zookeeper 192.168.100.125: --topic test --from-beginning
bin/kafka-console-consumer.sh --zookeeper kafka1: --topic test --from-beginning
bin/kafka-console-consumer.sh --zookeeper 192.168.100.125: --topic DreamTopic1 --from-beginning

#新版本
bin/kafka-console-consumer.sh --bootstrap-server 10.15.201.83:9092 --topic test1 --from-beginning

5. 删除topic

方法一： 通过kafka命令行删除

 bin/kafka-topics.sh --delete --zookeeper master: --topic DreamTopic

如果删除后查看topic显示为:marked for deletion  则需要在每一台机器中的 config/server.properties 文件加入  delete.topic.enable=true，然后重启kafka

方法二： 删除zookeeper中的记录

删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录

删除zookeeper "/brokers/topics/"目录下相关topic节点

# 连接zookeeper
zkCli.sh -server localhost:2181
rmr /brokers/topics/topicname

6. 创建topic

bin/kafka-topics.sh --create --zookeeper localhost: --replication-factor  --partitions  --topic test

7.  将日志信息发送到kafka

$ tail -n  -f  /var/log/nginx/access.log | bin/kafka-console-producer.sh --broker-list localhost:,localhost:,localhost: --sync --topic zerg.hydra

8. 启动kafka脚本

#!/bin/sh
./bin/kafka-server-start.sh -daemon config/server.properties

更多操作可参考这里的博客