[Kafka]Kafka学习 -- 初识Kafka

Kafka学习 -- 初识Kafka

参考资料：稀土掘金《图解Kafka之实战指南》https://juejin.cn/book/6844733793220165639

Kafka是一个多分区、多副本、基于Zookeeper协调的分布式消息系统，它定义为一个分布式流式处理平台，以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

应用场景：

• 日志收集

  可以用Kafka来收集各种服务的Log，通过Kafka以统一接口服务的方式开放给各种Consumer

• 消息系统

  Kafka以及其他的消息中间件都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。同时还提供了大多数消息中间件难以实现的，消息顺序性保障以及回溯消费的功能。

• 用户活动跟踪

  Kafka经常被用来记录Web用户或者App用户的各种活动，比如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到Kafka的Topic中，然后消费者通过订阅这些Topic来做实时监控分析，也可以保存到数据库。

• 运营指标

  Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，产生各种操作的几种反馈，比如报警和报告。

• 流式处理平台

  Kafka不仅为每个流行的流式处理框架提供了可靠的数据来源，还提供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等各类操作。

基本概念

• Producer（生产者）

  负责将消息发送到Broker。

  也就是发送消息的一方。生产者负责创建消息，然后将其投递到 Kafka 中。

• Broker（服务器代理节点）

  负责将收到的消息存储到磁盘中。

  可以把Broker简单的看做一个独立的Kafka服务节点或者Kafka服务实例，或者也可以将Broker看做一台Kafka服务器，前提是这台服务器上只部署了一个Kafka实例。

  一个或多个Broker组成一个Kafka集群。

  习惯使用首字母小写的 broker 来表示服务代理节点。

• Consumer（消费者）

  负责从Broker订阅并消费消息。

  也就是接受消息的一方。消费者连接到Kafka上并接受消息，进而进行相应的业务逻辑处理。

• Consumer Group（消费者组）

  一个消费者组可以包含一个或者多个消费者。同一个消费组中的消费者不会重复消费消息，同样的不同消费组中的消费者消费消息时互补影响。

  使用多分区 + 多消费者方式可以极大提高数据下游的处理速度。

  Kafka就是通过消费组的方式来实现消息P2P模式和广播模式。

• Topic（主题）

  Kafka中的消息以Topic为单位进行划分，生产者将消息发送到特定的Topic，而消费者负责订阅Topic的消息进行消费。

• Partition（分区）

  Topic是一个逻辑的概念，它还可以细分为多个Partition。

• Offset（偏移量）

  offset是消息在分区中的唯一标识，Kafka也是通过它来保证消息在分区中的顺序性，但是offset不跨越分区。也就是说Kafka保证的是分区有序性而不是主题有序性。

• Replication（副本）

  Kafka保证数据高可用的方式。也就是Kafka在同一分区的数据可以在多个Broker上存在多个副本。一般只有主副本提供读写服务，从副本只做同步数据用。

• Record（消息记录）

  实际写入Kafka中并可以被读取的消息记录。每个record包含了key、value、timestamp。

• Zookeeper集群

  负责集群元数据的管理、控制器的选举等操作。

  Kafka 将 Broker、Topic 和 Partition 的元数据信息存储在 Zookeeper 上。通过在 Zookeeper 上建立相应的数据节点，并监听节点的变化。

  Kafka 使用 Zookeeper 完成以下功能：

  • Kafka Controller 的 Leader 选举
  • Kafka 集群成员管理
  • Topic 配置管理
  • 分区副本管理

主题与分区

在Kafka中还有两个特别重要的概念就是主题（Topic）和分区（Partition）。

Kafka中的消息以主题为单位进行归类。生产者负责将消息发送到特定的主题（发送到Kafka集群中的每一条消息都要指定一个主题），而消费者负责订阅主题并进行消费。

主题是一个逻辑上的概念，它还可以细分为多个分区，一个分区只属于单个主题，很多时候也会把分区称之为在主题分区。

同一个主题下的不同分区包含的消息是不同的。

分区在存储层面可以看做一个可追加的日志文件（Log），消息在被追加到分区日志文件的时候都会分配一个特定的偏移量（offset）。

offset是消息在分区中的唯一标识，Kafka通过它来保证消息在分区内的顺序性，不过offset不跨越分区。也就是说Kafka保证的是分区有序而不是主题有序。

如图。

主题有4个分区，消息被顺序追加到每个分区日志文件的尾部。

Kafka的分区可以分布在不同的服务器上（broker），也就是说一个主题可以横跨多个broker，来提供更大的性能。

每条消息在被发送到broker之前，会根据分区规则选择存储到哪个具体的分区。如果分区规则设定的合理，所有的消息都可以均匀的分配到不同的分区中。如果一个主题只对应一个文件，那么这个文件所在的机器IO将会成为这个主题的性能瓶颈。而分区解决了这个问题。在创建主题的时候可以通过指定的参数来设置分区的个数，当然也可以在主题创建完成之后去修改分区的数量，通过增加分区的数量来实现水平扩展。

多副本机制

Kafka为分区还引入了多副本机制，通过增加副本数量可以提上容灾能力。

同一个分区的不通过副本中保存的是相同的消息，但在同一时刻，副本之间的内容并非完全一致。

副本之间是一主多从的关系。

• leader副本

  负责处理读写请求

• follower副本

  负责与leader副本的消息同步

副本处于不同的broker中，当leader副本出现故障时，从follower副本中重新选举新的leader副本，以对外提供服务。

Kafka通过多副本机制实现了故障的自动转移，当Kafka集群中的某个broker失效时仍然能保证服务的可用。

生产者和消费者只与leader副本进行交互，而follower副本只负责消息的同步，所以很多时候follower副本中的消息相对leader副本而言会有一定的滞后。

Kafka消费端也具备一定的容灾能力。

消费者使用pull（拉）模式从服务端拉取消息，并保存消费的具体位置，当消费者宕机后恢复上线时可以根据之前保存的消费位置重新拉取需要的消息进行消费，这样就不会造成消息丢失。

AR\ISR\OSR

AR：分区中的所有副本统称为AR（Assigned Replicas）

ISR：所有与leader副本保持一定程度同步的副本（包括leader副本在内）组成ISR（In-Sync Replicas）。ISR集合是AR集合的一个子集。

消息会先发送到 leader 副本，然后 follower 副本才能从 leader 副本中拉取消息进行同步，同步期间内 follower 副本相对于 leader 副本而言会有一定程度的滞后。

OSR：与 leader 副本同步滞后过多的副本（不包括 leader 副本）组成 OSR（Out-of-Sync Replicas）。

前面所说的“一定程度的同步”是指可忍受的滞后范围，这个范围可以通过参数进行配置。

由此可见，AR=ISR+OSR。

在正常情况下，所有的 follower 副本都应该与 leader 副本保持一定程度的同步，即 AR=ISR，OSR 集合为空。

leader 副本负责维护和跟踪 ISR 集合中所有 follower 副本的滞后状态，当 follower 副本落后太多或失效时，leader 副本会把它从 ISR 集合中剔除。如果 OSR 集合中有 follower 副本“追上”了 leader 副本，那么 leader 副本会把它从 OSR 集合转移至 ISR 集合。

默认情况下，当 leader 副本发生故障时，只有在 ISR 集合中的副本才有资格被选举为新的 leader，而在 OSR 集合中的副本则没有任何机会（不过这个原则也可以通过修改相应的参数配置来改变）。

HW\LEO

ISR 与 HW 和 LEO 也有紧密的关系。

HW

HW 是 High Watermark 的缩写，俗称高水位，它标识了一个特定的消息偏移量（offset），消费者只能拉取到这个 offset 之前的消息。

如图，它代表一个日志文件。这个日志文件中有9条消息，第一条消息的 offset（LogStartOffset）为0，最后一条消息的 offset 为8，offset 为9的消息用虚线框表示，代表下一条待写入的消息。

日志文件的 HW 为6，表示消费者只能拉取到 offset 在0至5之间的消息，而 offset 为6的消息对消费者而言是不可见的。

LEO

LEO 是 Log End Offset 的缩写，它标识当前日志文件中下一条待写入消息的 offset，上图中 offset 为9的位置即为当前日志文件的 LEO，LEO 的大小相当于当前日志分区中最后一条消息的 offset 值加1。

分区 ISR 集合中的每个副本都会维护自身的 LEO，而 ISR 集合中最小的 LEO 即为分区的 HW，对消费者而言只能消费 HW 之前的消息。

很多资料中误将上图中的 offset 为5的位置看作 HW，而把 offset 为8的位置看作 LEO，这显然是不对的。

为了更好地理解 ISR 集合，以及 HW 和 LEO 之间的关系，下面通过一个简单的示例来进行相关的说明。

如图。假设某个分区的 ISR 集合中有3个副本，即一个 leader 副本和2个 follower 副本，此时分区的 LEO 和 HW 都为3。消息3和消息4从生产者发出之后会被先存入 leader 副本。

在消息写入 leader 副本之后，follower 副本会发送拉取请求来拉取消息3和消息4以进行消息同步。

在同步过程中，不同的 follower 副本的同步效率也不尽相同。

，在某一时刻 follower1 完全跟上了 leader 副本而 follower2 只同步了消息3，如此 leader 副本的 LEO 为5，follower1 的 LEO 为5，follower2 的 LEO 为4，那么当前分区的 HW 取最小值4，此时消费者可以消费到 offset 为0至3之间的消息。

当所有的副本都成功写入了消息3和消息4，整个分区的 HW 和 LEO 都变为5，因此消费者可以消费到 offset 为4的消息了。

可知，Kafka 的复制机制既不是完全的同步复制，也不是单纯的异步复制。

同步复制要求所有能工作的 follower 副本都复制完，这条消息才会被确认为已成功提交，这种复制方式极大地影响了性能。而在异步复制方式下，follower 副本异步地从 leader 副本中复制数据，数据只要被 leader 副本写入就被认为已经成功提交。在这种情况下，如果 follower 副本都还没有复制完而落后于 leader 副本，突然 leader 副本宕机，则会造成数据丢失。

Kafka 使用的这种 ISR 的方式则有效地权衡了数据可靠性和性能之间的关系。