kafka数据组织+集群架构

1、数据组织：

partition：Kafka的topic可以划分成一个或多个partition，每个partition存储着这个topic的一部分数据。

partition副本：若一个topic的副本数为3，那么每个partition就会存储有3个相同的副本。其中每个broker存储一个或多个partition。

leader：每个partition有多个副本，其中有且仅有一个作为Leader，Leader是当前负责数据的读写的partition。

follower：Follower跟随Leader，所有写请求都通过Leader路由，数据变更会广播给所有Follower，Follower与Leader保持数据同步。如果Leader失效，则从Follower中选举出一个新的Leader。当Follower与Leader挂掉、卡住或者同步太慢，leader会把这个follower从“in sync replicas”（ISR）列表中删除，重新创建一个Follower。

补充：kafka集群可以让多个producer和consumer同时读写数据。

2、Kafka集群架构：

如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。

注：Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。

3、zookeeper在kafka集群中的作用：

https://www.jianshu.com/p/a036405f989c

参考博客：https://www.cnblogs.com/frankdeng/p/9310684.html