配置多个broker

前言

什么是kafka？举个例子，生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的鸡蛋就丢失了。再比如生产者很强劲（大交易量的情况），生产者1秒钟生产100个鸡蛋，消费者1秒钟只能吃50个鸡蛋，那要不了一会，消费者就吃不消了（消息堵塞，最终导致系统超时），消费者拒绝再吃了，”鸡蛋“又丢失了，这个时候我们放个篮子在它们中间，生产出来的鸡蛋都放到篮子里，消费者去篮子里拿鸡蛋，这样鸡蛋就不会丢失了，都在篮子里，而这个篮子就是”kafka“。

鸡蛋其实就是“数据流”，系统之间的交互都是通过“数据流”来传输的（就是tcp、http什么的），也称为报文，也叫“消息”。

消息队列满了，其实就是篮子满了，”鸡蛋“ 放不下了，那赶紧多放几个篮子，其实就是kafka的扩容。

各位现在知道kafka是干什么的了吧，它就是那个"篮子"。

在kafka中，broker就是篮子了。但需要对数据进行备份时，可以配置多个broker来解决。而broker又称为节点。每个broker配置文件中都会有个id，表示节点的唯一标识。

单机上配置多个broker

为每个broker创建一个配置文件

默认的server.properties的broker.id为0

cp config/server.properties config/server-1.properties

cp config/server.properties config/server-2.properties

配置下面属性

config/server-1.properties:
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dir=/tmp/kafka-logs-1

config/server-2.properties:
    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dir=/tmp/kafka-logs-2

broker.id是集群中每个节点的唯一且永久的名称，我们修改端口和日志分区是因为我们现在在同一台机器上运行，我们要防止broker在同一端口上注册和覆盖对方的数据。

我们已经运行了zookeeper和刚才的一个kafka节点，所以我们只需要在启动2个新的kafka节点。

bin/kafka-server-start.sh -daemon config/server-1.properties

bin/kafka-server-start.sh -daemon config/server-2.properties

创建一个topic，备份设为3

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

查看该topic的信息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

Topic:my-replicated-topic	PartitionCount:1	ReplicationFactor:3	Configs:
	Topic: my-replicated-topic	Partition: 0	Leader: 2	Replicas: 2,3,0	Isr: 2,3,0

上面表示my-replicated-topic的leader是节点2，备份节点是2,3,0，当前正在活动的节点是2,3,0

发布消息

bin/kafka-console-producer.sh --topic my-replicated-topic --broker-list localhost:9092
>hahaha
>1111111
>

消费消息

bin/kafka-console-consumer.sh --topic my-replicated-topic --zookeeper localhost:2181 --from-beginning
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
hahaha
1111111

kafka容错校验

1）如果将leader杀掉后，指定topic对应的消息没有丢失，则说明kafka在消费消息上存在容错性

2）如果将某个broker杀掉后，生产者还能正常发布消息，说明kafka在生产消息上存在容错性

消费消息容错性

从上面可知my-replicated-topic的leader是节点2，所以将该节点2kill掉：kill -9 15888

ps -def | grep server-2.properties
root      3335 23061  0 17:35 pts/2    00:00:00 grep --color=auto server-2.properties
root     15888     1  1 16:51 pts/5    00:00:44 java -Xmx1G -Xms1G -se……

重新从my-replicated-topic消费消息

bin/kafka-console-consumer.sh --topic my-replicated-topic --zookeeper localhost:2181 --from-beginning
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
hahaha
1111111

可见消费消息时没有受到影响，说明kakfa存在容错性。

通过查看topic的信息，我们可以知道此时的leader为节点3，而节点2已经不再Isr中了。当从Replicas可知，节点2仍有my-repicated-topic的数据

bin/kafka-topics.sh --describe --topic my-replicated-topic --zookeeper localhost:2181
Topic:my-replicated-topic	PartitionCount:1	ReplicationFactor:3	Configs:
	Topic: my-replicated-topic	Partition: 0	Leader: 3	Replicas: 2,3,0	Isr: 3,0

生产消息容错性

生产消息时，需要指定broker。所以如果只指定了一个broker，那么当这个broker挂掉后就没法正常生产消息了。这时可以指定多个broker

bin/kafka-console-producer.sh --topic my-replicated-topic --broker-list localhost:9093,localhost:9092,localhost:9094
>test1
[2018-04-09 10:41:54,184] WARN [Producer clientId=console-producer] Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
>test2
>test3