kafka集群搭建记录

本文记录搭建kafka搭建过程。

一、硬件机器介绍

192.168.183.195 master-node

192.168.183.194 data-node1

192.168.183.196 data-node2

二、集群搭建

master-node操作如下：

下载kafka包

wget http://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz

解压

tar -zxvf  kafka_2.11-2.2.0.tgz  -C /usr/local

配置：

进入 /usr/local/kafka_2.11_2.2.0

vim config/server.properties

修改：

broker.id = 1      //分布式的部署，每个broker的id不能相同；

listeners=PLAINTEXT://master-node:9092 //这里的配置规范是listeners = listener_name://host_name:port，因此你要确定你的host_name，可以vim /etc/hostname看到

zookeeper.connect=master-node:2181,data-node1:2181,data-node2:2181 //zookeeper的连接地址，关于zookeeper集群的搭建可以查看https://www.cnblogs.com/ldsggv/p/11006184.html

到这里master-node机器配置完成，下面可以通过scp命令把/usr/local/kafka_2.11_2.2.0传输到其他俩台机器，如果当前用户没有足够权限，可以scp kafka的按照包，然后安装上面的步骤再一次操作。

启动：

在三台机器上，进入kafka安装目录，执行

bin/kafka-server-start.sh config/server.properties

此时集群已经启动；

验证：

一、打开zkCli.sh；

执行 ls /

可以看到：

可以进入到/brokers/ids查看brokers的id

二、官网例子

1、创建topic

bin/kafka-topics.sh --create --bootstrap-server master-node:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic

2、bin/kafka-topics.sh --describe --bootstrap-server master-node:9092 --topic my-replicated-topic   查看topic信息

3、启动生产者

bin/kafka-console-producer.sh --broker-list master-node:9092 --topic my-replicated-topic

可以输入一些测试信息

4、启动消费者

bin/kafka-console-consumer.sh --bootstrap-server master-node:9092 --from-beginning --topic my-replicated-topic

这里的--from-begining代表从最开始消息消费。

如果上面四个步骤顺利完成，那么kafka集群搭建完成，后续的配置，优化可以参考官网的配置说明。