kafka消息队列的简单理解

kafka在大数据、分布式架构中都很流行。kafka可以进行流式计算，也可以做为日志系统，还可以用于消息队列。

本篇主要是消息队列相关的知识。

零、kafka作为消息队列的优点：

分布式的系统
高吞吐量。即使存储了许多TB的消息，它也保持稳定的性能。
数据保留在磁盘上，因此它是持久的。

一、pull模式

消息队列有push模式和pull模式。push模式是消息队列推送给消息消费者，pull模式是消息消费者从消息队列中拉取。

二、发布 - 订阅消息系统

kafka是一个分布式的发布 - 订阅(pub-sub)消息系统。

在发布 - 订阅系统中，消息被保留在主题中。消费者可以订阅一个或多个主题并使用该主题中的所有消息。

消息生产者称为发布者，消息使用者称为订阅者。

比如，购物网站，有一个订单系统，还有一个物流系统，消息队列可以作为两个系统的消息中间件，订单系统可以将订单数据发送给kafka消息队列，然后物流系统再从消息队列中订阅得到订单数据。

三、角色和组件

Topics（主题）

属于特定类别的消息流称为主题。数据存储在主题中。

Topic被拆分成分区。对于每个Topic，Kafka保存一个分区的数据。每个这样的分区包含不可变有序序列的消息。分区被实现为具有相等大小的一组分段文件。

Partition（分区）

Topic可能有许多Partition，因此它可以处理任意数量的数据。

Partition offset（分区偏移）

每个分区消息具有称为 offset 的唯一序列标识。类似数据库自增int Id，随着数据的不断写入 kafka 分区内的偏移量会不断增加，一条消息由一个唯一的偏移量来标识。偏移量的作用是，让消费者知道自己消费到了哪个位置，下次可以接着从这里消费

Replicas of partition（分区备份）

副本只是一个分区的备份。副本从不读取或写入数据。它们用于防止数据丢失。

Brokers

一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。每个broker都有各自的broker.id。

Kafka Cluster（Kafka集群）

Kafka有多个代理被称为Kafka集群。可以扩展Kafka集群，无需停机。这些集群用于管理消息数据的持久性和复制。

Producer (消息生产者)

向kafka broker发消息的客户端。支持负载均衡，异步发送。

Consumer (消息消费者)

向kafka broker拉取消息的客户端。kafka采用的是 pull模型，而不是push模型。

Consumer Group (消费者组)

每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。

每个Consumer Group都有一个唯一的GroupId。

Leader（领导者）

Leader是负责给定分区的所有读取和写入的节点。每个分区都有一个服务器充当Leader

Follower（追随者）

跟随Leader指令的节点被称为Follower。如果Leader失效，一个Follower将自动成为新的领导者。跟随者作为正常消费者，拉取消息并更新其自己的数据存储。

record（消息）：

kafka 通信的基本单位，每一条消息称为record

示例如下：

在上图中，主题配置为三个分区。分区1具有两个偏移因子0和1.分区2具有四个偏移因子0,1,2和3.分区3具有一个偏移因子0.副本的id与承载它的服务器的id相同。

四、Zookeeper在Kafka中的作用

Zookeeper在Kakfa中扮演的角色Kafka将元数据信息保存在Zookeeper中，但是发送给Topic本身的数据是不会发到Zk上的。

kafka使用zookeeper来实现动态的集群扩展，不需要更改客户端（producer和consumer）的配置。broker会在zookeeper注册并保持相关的元数据（topic，partition信息等）更新。
而客户端会在zookeeper上注册相关的watcher。一旦zookeeper发生变化，客户端能及时感知并作出相应调整。这样就保证了添加或去除broker时，各broker间仍能自动实现负载均衡。这里的客户端指的是Kafka的消息生产端(Producer)和消息消费端(Consumer)
Broker端使用zookeeper来注册broker信息，以及监测partition leader存活性。
Consumer端使用zookeeper用来注册consumer信息，其中包括consumer消费的partition列表等，同时也用来发现broker列表，并和partition leader建立socket连接，并获取消息。
Zookeeper和Producer没有建立关系，只和Brokers、Consumers建立关系以实现负载均衡，即同一个Consumer Group中的Consumers可以实现负载均衡。

参考资料：

https://www.w3cschool.cn/apache_kafka/apache_kafka_quick_guide.html

https://my.oschina.net/u/258745/blog/1824848