Kafka本地单实例安装

下载安装

从国内镜像站点下载并安装Kafka安装包，以下载并安装v3.2.3版本为例。

$ tar -xzf kafka_2.12-3.2.3.tgz
$ cd kafka_2.12-3.2.3

启动服务

如下命令均在Kafka安装目录${KAFKA_HOME}下执行。

启动ZooKeeper服务：

$ bin/zookeeper-server-start.sh config/zookeeper.properties

启动本地Kafka服务：

$ bin/kafka-server-start.sh config/server.properties

执行操作

查看Topic列表：

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

创建指定名称的Topic：

$ bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

查看指定Topic信息：

$ bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

为Topic指定分区数：

# 示例：给topic指定10个分区，默认为1个
$ ./bin/kafka-topics.sh --alter --bootstrap-server localhost:9092 --topic quickstart-events--partitions 10

在控制台往指定Topic写入Kafka消息：

$ bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
This is my first event
This is my second event

这种方式写入Kafka的消息字符个数不能超过最大值4095，否则报错。

如果消息字符个数大于最大值，则可以将消息先按行分隔写入文件，然后再通过Linux管道命令写入Kafka。

$ vim test_kafka_events.txt
This is my first event
This is my second event

$ cat test_kafka_events.txt | bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

在控制台读取指定Topic中的消息：

$ bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
This is my first event
This is my second event

查看消费者组详情：

$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testGroup

查看消费者组列表：

$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

Kafka相关完整文档详见：https://kafka.apache.org/documentation/ 。