二、kafka 中央控制器、主题、分区、副本

集群和中央控制器

一个独立的Kafka服务器被称为broker。broker用来接收来自生产者的消息，为消息设置偏移量，并把消息保存到磁盘。换句话说，多个kafka实例组成kafka集群，每个实例(server)被称为broker。

broker中央控制器：Kafka集群中多个broker，在Kafka启动时所有的broker会在zk里面注册，只有一个会被选举为broker中央控制器（controller也就是broker的 leader）。

中央控制器产生：

中央控制的主要工作为：

管理整个集群中的分区

监控副本的状态

这些工作如：

leader副本故障，由中央控制器负责为该partition重新选举新的leader 副本

当检测到同步列表发生变化，有中央控制器通知集群中所有broker更新其元数据缓存信息

当增加某个topic分区的时候也会由中央控制器管理分区的重新分配工作

broker中央控制器的选举过程：

当broker启动的时候，都会创建KafkaController对象，但是集群中只能有一个leader对外提供服务，这些每个节点上的KafkaController会在指定的zookeeper路径下创建临时节点，只有第一个成功创建的节点的KafkaController才可以成为leader（抢先注入），其余的都是follower。当leader故障后，所有的follower会收到通知，再次竞争在该路径下创建节点从而选举新的leader。

主题、分区

主题就是数据主题，是数据记录发布的地方,可以用来区分业务系统。Kafka中的Topics总是多订阅者模式，一个topic可以拥有一个或者多个消费者来订阅它的数据。

每一个主题可以被分为若干个分区，一个分区就是一个提交日志。消息以追加的方式写入分区

对于每一个topic，Kafka集群都会有一个或者多个分区。分区角色有分为Leader分区和Follower分区。每个分区都是有序且顺序不可变的记录集，并且不断地追加到log文件中。

由于主题一般包含几个分区，因此无法在整个主题范围内保证消息的顺序，但是同一个分区是有序的。

每个分区是一个有序的，不可变的消息序列，新的消息不断追加到这个有组织的有保证的日志上。分区会给每个消息记录分配一个顺序ID号 – 偏移量，能够唯一地标识该分区中的每个记录。

Kafka集群保留所有发布的记录，不管这个记录有没有被消费过，Kafka提供可配置的保留策略去删除旧数据。例如：如果将保留策略设置为两天，在记录公布后两天可用于消费，之后它将被丢弃以腾出空间

为什么设计分区？

为了并发读写，加快读写速度；通过这种优化，可以极大的提高并发响应

运用多分区的存储，利于数据的均衡；

加快数据的康复速率。如：一旦某台机器挂了，全部集群只需要康复一部分数据，可加快故障康复的时间。

分区策略：

轮训策略

　　如果键值为null，并且使用了默认的分区器，Kafka会根据轮训（Random Robin）策略将消息均匀地分布到各个分区上

散列策略

　　如果键值不为null，并且使用了默认的分区器，Kafka会对键进行散列，然后根据散列值把消息映射到对应的分区上

黏性分区器

很多时候消息是没有指定Key的。而Kafka 2.4之前的策略是轮询策略，这种策略在使用中性能比较低。所以2.4中版本加入了黏性分区策略（Sticky Partitioning Strategy）。

黏性分区器（Sticky Partitioner）主要思路是选择单个分区发送所有无Key的消息。一旦这个分区的batch已满或处于“已完成”状态，黏性分区器会随机地选择另一个分区并会尽可能地坚持使用该分区——象黏住这个分区一样。

自定义策略

　　默认分区器是使用次数最多的分区器。除了散列分区之外，用户可以根据需要对数据使用不一样的分区策略

总结一下 broker、topic、分区、副本的关系

1.broker与副本：一个broker就是一台服务器，副本是针对服务器的，副本数可以是1到broker数，比如2个服务器副本数就是1-2.

2.broker 和分区：分区会尽可能的均匀分在broker上，比如3个broker，10个分区，那么每个broker上就是3个分区

3.分区和副本：有多少个副本，分区的数据都有多少个重复的。

3.topic与其他：broker、分区、副本都是为了保存好topic数据。topic的数据分散各个分区，假设数据均匀分布那每个分区都是1/分区数的topic数据。当副本数=broker数时就代表每个broker上都有一份完成的topic数据，如果副本数 < broker数时每个broker都只有部分的topic数。

如下图无机架的情况下，5个broker-10个分区-3个副本分布。

这种情况下broker-0 上就有p0 p5 p4 p9 p3 p8 六个分区的数据。这个无机架的情况，每个增加一个副本分区位置都会位移+1。