搭建Kafka集群（3-broker）

Apache Kafka是一个分布式消息发布订阅系统，而Kafka环境往往是在集群中配置的。本篇就对配置3个broker的Kafka集群进行介绍。

Zookeeper集群

Kafka本身提供了启动了zookeeper的脚本和配置文件。

1. 修改配置文件

进入kafka主目录，编辑文件config/zookeeper.properties，配置如下：

tickTime= #心跳时间，毫秒
initLimit= #Follower在启动是需要在5个心跳时间内从Leader同步数据
syncLimit=   #超过两个心跳时间收不到Follower的效应，就认为此Follower已经下线
 
#zookeeper集群的三个服务器
server.=192.168.10.152::
server.=192.168.10.153::
server.=192.168.10.170::

在三个机器进行同样得配置，或者将配置文件传到集群中其他机器上。

2. 配置主机标识

在三台机器dataDir目录(zookeeper.properties配置)下，新建文件myid，写入相应标识

echo  > /tmp/zookeeper/myid #1为标识，在其他机器上改为2或3

3. 启动Zookeeper集群

逐渐启动三台机器的zookeeper构成一个集群，即在三台机器上运行

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties #-daemon以守护进程方式启动zookeeper

由于节点Zookeeper启动后，都会尝试连接其他节点，先启动的肯定连不上后启动的节点，因此，此时打印的异常可以忽略，当节点全部启动，集群在选出一个Leader后，异常就不会打印了。

检查Zookeeper有没有启动

netstat -apn | grep 

搭建Kafka broker集群

1. 修改配置文件

修改config/server.properties文件

broker.id=  #三个broker的id不能相同，因此改为不同的id
listeners=PLAINTEXT://192.168.10.152:9092 #服务器监听的地址，如果不配置从java.net.InetAddress.getCanonicalHostName()获得
host.name=192.168.10.152 #broker 机器ip
zookeeper.connect=192.168.10.152:,192.168.10.153:,192.168.10.170:

集群的其他机器也进行相应的配置

2. 启动Kafka服务

在三个机器上启动Kafka服务

bin/kafka-server-start.sh -daemon config/server.properties #-daemon以守护进程方式启动kafka server

检查服务是否启动

ps -aux | grep config/server

测试

1. 创建topic

在任意一台机器上创建topic

bin/kafka-topics.sh --create --zookeeper 192.168.10.152: --replication-factor  --partitions  --topic cluster-test 
#--zookeeper是集群列表，可以指定所有节点，也可以指定为部分列表
#--replication-factor 为复制数目，数据会自动同步到其他broker上，防止某个broker宕机数据丢失
#--partitions 一个topic可以切分成多个partition，一个消费者可以消费多个partition，但一个partition只能被一个消费者消费

查看topic详情

bin/kafka-topics.sh --describe --zookeeper 192.168.10.153: --topic cluster-test

2. 启动生产者、消费者

启动生产者

bin/kafka-console-producer.sh --broker-list 192.168.10.152: --topic cluster-test

在三台机器上分别启动消费者

bin/kafka-console-consumer.sh --zookeeper 192.168.10.152: --topic cluster-test --from-beginning

3. 测试

在生产者console输入消息进行发送

此时，消费者console可以收到消息了

至此，一个简单的Kafka集群就搭建起来了