Kafka在Linux下的安装和使用

Kafka简介

Tips：本文主要介绍在Linux系统中安装和使用Lafka的操作步骤。

安装Kafka

访问Kafka官网，下载安装包版本（https://kafka.apache.org/downloads），下载 kafka_2.12-3.3.2.tgz，前面的 2.12 是 Scala的版本号，后面的3.3.2是kafka的版本号。https://downloads.apache.org/kafka/3.3.2/kafka_2.12-3.3.2.tgz

下载后，按照命令进行安装：

cd /home/guozhong
wget https://downloads.apache.org/kafka/3.3.2/kafka_2.12-3.3.2.tgz
tar -zxvf kafka_2.12-3.3.2.tgz -C /opt/modules/app
cd /opt/modules/app
mv kafka_2.12-3.3.2  kafka
chown -R hadoop ./kafka

启动Kafka

安装完成后，首先要启动Kafka。登录Linux系统（本教程使用已经创建的hadoop用户），打开一个终端，输入命令启动Zookeeper服务：

cd /opt/modules/app/kafka
./bin/zookeeper-server-start.sh config/zookeeper.properties

注意：执行完上面的命令后，终端窗口会返回一堆信息，然后停止不动了，没有回到shell命令提示符状态，这时，不要误以为是程序任务死掉了，而是Zookeeper服务器已经启动了，正处于运行状态下。所以，千万不要关闭该终端窗口，一旦关闭，Zookeeper服务就停止了。

请另打开一个终端，然后输入以下命令启动kafka服务：

cd /opt/modules/app/kafka
./bin/kafka-server-start.sh config/server.properties

同样的，执行上面的命令后，终端窗口也返回一堆信息，然后就会停止不动，没有回到shell命令提示符状态，同样不要以为死机了，而是Kafka服务器已经启动，正处于运行状态。所以不要关闭终端窗口。否则，关闭后Kafka服务就停止了。

当然，要想kafka在后台运行，可以采用在结尾增加"&"的命令：

cd /opt/modules/app/kafka
./bin/kafka-server-start.sh config/server.properties &

这样，Kafka启动后就会在后台运行，即使关闭了终端窗口，服务也一直在运行。

查看当前启动的服务：

[root@hadoop01 kafka]# jps
2711 Kafka
4600 Jps
2255 QuorumPeerMain

创建Topic

再打开第三个终端，然后输入以下命令，创建一个自定义名称为“testsender”的Topic：（这2.12版本之后的创建方式，老版本的创建方式命令不同，可以查看️常见问题 说明）

./bin/kafka-topics.sh --create --topic testsender --bootstrap-server localhost:9092
Created topic testsender.

可执行如下命令，查看"testsender"的Topic是否已成功创建：

./bin/kafka-topics.sh --list --bootstrap-server localhost:9092
testsender

启动生产者和消费者

启动生产者发送消息：

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testsender
>hello
>123456

启动消费者接收消息：

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testsender --from-beginning

接收到消息:
hello
123456

️常见问题

解决zookeeper is not a recognized option问题

出现如下错误，这时不要慌

分析这个问题可能有两点：

第一点：当我们使用如下命令创建 topic 时，会报此错误。比如要创建一个名称为“testsender”的topic，当前安装的版本是2.12，这时我们要使用新版本的创建topic命令来执行，老版本是报以上错误的。

老版本的创建topic方式：

./bin/kafka-topics.sh --create --zookeeper localhost:2181
--replication-factor 1 --partitions 1
--topic testsender

我们采用新版本的创建topic方式：

./bin/kafka-topics.sh --create --topic testsender --bootstrap-server localhost:9092

第二点：如果采用新版本的创建方式还是报错，这时要考虑的问题多数在配置文件上，这个问题多数是因为：kafka 的配置文件和 zookeeper 的配置文件，我们都按照默认，并没有修改，这里可能需要修改就是这两个文件：kafka-server-start.sh 和 zookeeper-server-start.sh中默认的启动内存，初始值有点大，如果服务器的配置比较低的话，会报内存不足的错误，这个问题不太容易发现，这里我们可以把启动内存调小一点。

kafka-server-start.sh文件： Xms1G 调整为 Xms128M

默认：

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

EXTRA_ARGS=${EXTRA_ARGS-'-name kafkaServer -loggc'}

修改后：

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms128M"
fi

EXTRA_ARGS=${EXTRA_ARGS-'-name kafkaServer -loggc'}

zookeeper-server-start.sh文件：Xmx512M 调整为 Xms128M

默认：

if [ "x$KAFKA_LOG4J_OPTS" = "x" ]; then
    export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/log4j.properties"
fi

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M"
fi

EXTRA_ARGS=${EXTRA_ARGS-'-name zookeeper -loggc'}

修改为：

if [ "x$KAFKA_LOG4J_OPTS" = "x" ]; then
    export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/log4j.properties"
fi

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx512M -Xms128M"
fi

EXTRA_ARGS=${EXTRA_ARGS-'-name zookeeper -loggc'}

接下来重启服务，再试一下：

./bin/kafka-topics.sh --create --topic testsender --bootstrap-server localhost:9092
Created topic testsender.

参考资料

• https://dblab.xmu.edu.cn/blog/3956/