SpringBoot整合kafka(安装)

项目路径:https://github.com/zhaopeng01/springboot-study/tree/master/study_14

序言

Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用
在整合过程中注意SpringBoot版本是否与kafka版本兼容

安装kafka

在这里介绍的是mac安装,win兄弟们可以在下面地址下载

下载地址: http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz
安装

brew install kafka

　　

安装会依赖zookeeper。
注意：安装目录：/usr/local/Cellar/kafka/0.10.2.0
安装的配置文件位置

/usr/local/etc/kafka/server.properties
/usr/local/etc/kafka/zookeeper.properties

　　

启动zookeeper

zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties

　　

启动kafka

kafka-server-start /usr/local/etc/kafka/server.properties

　　

创建topic

让我们使用单个分区和只有一个副本创建一个名为“test”的主题

kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

　　注意：docker下面命令后面加上.sh，如kafka-topics.sh ；另外localhost用宿主机的ip地址

查看创建的topic

我们现在可以看到该主题，如果我们运行list topic命令：

kafka-topics --list --zookeeper localhost:2181

　　

发送一些消息

Kafka提供了一个命令行客户端，它将从文件或标准输入接收输入，并将其作为消息发送到Kafka集群。默认情况下，每行都将作为单独的消息发送。
运行生产者，然后在控制台中键入一些消息发送到服务器。

kafka-console-producer --broker-list localhost:9092 --topic test

　　

消费消息

Kafka还有一个命令行消费者，将消息转储到标准输出。

kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning

　　

然后也可以根据自己的业务逻辑需求去自定义一些其他的异常类,或者结合自己的逻辑去改造一些
删除topic

这里还是删除上面的test

删除kafka相关的数据目录

数据目录查看kafka配置：

server.properties -> log.dirs=/var/kafka/log/tmp
su rm -r /var/kafka/log/tmp/test*

　　

删除kafka topic

/home/kafka/bin/kafka-topics.sh --delete --zookeeper HadoopMaster:2181/kafka --topic test

　　

删除zookeeper相关的路径

打开zookeeper client

/home/ZooKeeper/bin/zkCli.sh

　　

执行下面的命令
把test替换成你要删除的topic
#删除topic test的consumer group，如果有消费记录的话

rmr /kafka/consumers/test-group
rmr /kafka/config/topics/test
rmr /kafka/brokers/topics/test
rmr /kafka/admin/delete_topics/test

　　

重启zookeeper和kafka可以用下面命令查看相关的topic还在不在：

/home/kafka/bin/kafka-topics.sh --list --zookeeper HadoopMaster:2181/kafka

　　

好的到这里本篇文章就先到此了,如果那里有不合适的地方还请大家多多指教,写这篇博的目的主要就是为了方便自己以后的一个回忆和朋友学习时的一个参考,希望为大家可以带来帮助 ~ ~&

虚心的去学习,自信的去工作~
---------------------
作者：Strugglein
来源：CSDN
原文：https://blog.csdn.net/Strugglein/article/details/86736753
版权声明：本文为博主原创文章，转载请附上博文链接！