Jafka来源分析——文章

Kafka它是一个分布式消息中间件，我们可以大致分为三个部分：Producer、Broker和Consumer。当中，Producer负责产生消息并负责将消息发送给Kafka；Broker能够简单的理解为Kafka集群中的每一台机器，其负责完毕消息队列的主要功能（接收消息、消息的持久化存储、为Consumer提供消息、消息清理.....)。Consumer从Broker获取消息并进行兴许的操作。每一个broker会有一个ID标识，该标识由人工在配置文件里配置。

Kafka中的消息隶属于topic，topic能够简单的理解为分组。在topic内部，消息会划分为分区(partition)。

对于partition可能难以理解。至少我读程序的时候一直没有弄明确partition的编号到底是怎么确定的，这里多说一下。

在broker的配置文件server.properties中有配置项開始的数字。

Broker依照以下的原则组织该机器的消息队列。

首先，为每个topic的每个partition创建一个文件夹，命名格式为topic-partition。

Broker对于topic-partition的消息进行分段(segment)存储。每个segment的命名格式每个segment的偏移量(offet)。文件夹的组织结构详细例如以下图所看到的：

Kafka每一条Message的格式：

Length(4byte)

MagicValue(1byte)

Attribute(1byte)

CRC校验码(4byte)

payload(消息的内容)

当中magicvalue=1,Attribute表明消息是否採用压缩以及採用何种压缩方式，crc为payload的crc校验码。

消息在kafka的持久化存储文件里新增了一个域：消息的长度，详细的格式例如以下所看到的：

当中，ByteBufferMessageSet和FileMessageSet都是採用上面的格式进行存储的。

注意Kafka对消息进行压缩的过程。Kafka对消息进行压缩时是对一组Message进行压缩的，其处理步骤例如以下。

首先将每一条Message序列化到一个byte数组，然后将压缩后的byte数组再组成一条新的Message，其详细格式例如以下：

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvenVvY2hhbnhpYW9oZXNoYW5n/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

注意FileMessageSet中的offset是指该messageset在File起始位置，这是文件的详细位置。