有关Kafka的那些事

Kafka基本概念

• Producer: 消息和数据的生产者，向kafka的一个topic发布消息的进程、代码、服务。
• Consumer:消息和数据的消费者，订阅数据并且处理器发布的消息的进程、代码、服务。
• Consumer Group:逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息。
• Broker：物理概念，kafka集群中每个kafka节点
• topic：逻辑概念，kafka消息的类别，对数据进行区分，隔离
• Partition：分区，物理概念，kafka下数据存储的基本单元，一个topic数据，会被分散存储到多个Partition，每一个Partition是有序的。
  
  1. 每一个Topic被切分为多个Partitions
  
  2. 消费者数目小于或等于Partition的数目
  
  3. Broke Group中的每个Broke保存Topic的一个或多个Partitions
  
  4. Consumer Group中有且仅有一个Consumer读取Topic的一个或多个Partitions，并且是唯一的Consumer。
• Replication：副本，同一个Partition可能会有多个Replica，多个Replica之间数据是一样的。
  
  1. 当集群中有Broker挂掉的情况，系统可以主动使Replicas提供服务。
  
  2. 系统默认设置每一个Topic的Replication系数为1，可以在创建Topic时单独设置。
  
  3. Replication的基本单位是Topic的Partition。
  
  4. 所有的读和写都是Leader进，Followers只是作为备份。
  
  5. Follower必须能够及时复制Leader的数据。
  
  6. 增加容错性和可拓展性。
• Replication Leader：一个Partition的多个Replica上，需要一个Leader负责该Partition上与Producer和Consumer交互，一个Partition有且只有一个Leader。
• RepliceManager：负责管理当前broker的所有分区和副本的信息，处理kafkaController发起的一些请求，副本状态的切换、添加/读取消息等

kafka基本结构

kafka消息结构：

kafka的特点

分布式

1. 多分区
2. 多副本
3. 多订阅者
4. 基于ZooKeeper调度

高性能

1. 高吞吐量
2. 低延时
3. 高并发
4. 时间复杂度为O(1)

持久性和拓展性

1. 数据可持久化
2. 容错性
3. 支持在线水平拓展
4. 消息自动平衡

kafka应用场景

1. 消息队列
   
   稳定性，高吞吐性，消息可被重复消费、低延迟性
2. 行为跟踪
3. 元数据监控
4. 日志收集
5. 流处理
6. 事件源
7. 持久性日志(commit log)

kafka高级特性

kafka消息事务

1. 为什么要支持事务？

• 满足"读取-处理-写入"模式
• 流处理需求的不断增强

1. 数据传输的事务定义

• 最多一次：消息不会别重复发送，最多被传输一次，但也有可能一次不传输
• 最少一次：消息不会被漏发送，最少被传输一次，但也有可能被重复传输
• 精确的一次(Exactly once)：不会漏传输也不会重复传输，每个消息都传输且仅仅传输一次，这是大家所期望的

1. 事务保证

• 内部重试问题：Producer幂等处理
• 多分区原子写入
• 避免僵尸实例
  
  

零拷贝

• 网络传输持久性日志块
• Java Nio channel.transforTo()方法
• Linux sendfile系统调用

文件传输到网络的公共数据路径

1. 操作系统将数据从磁盘读入到内核空间的页缓存

2. 应用程序将数据从内核空间读入到用户空间缓存中

3. 应用程序将数据写回到内核空间到socket缓存中

4. 操作系统将数据从socket缓存区复制到网卡缓存区，以便将数据经网络发出

零拷贝过程：

1. 操作系统将数据从磁盘读入到内核空间的页缓存

2. 将数据的位置和长度等信息的描述符增加至内核空间(socket缓冲区)

3. 操作系统将数据从内核拷贝到网卡缓冲区，以便将数据经网络发出

零拷贝指的是内核空间和用户空间之间的交互拷贝次数为零

参考

• https://www.imooc.com/learn/1043