kafka 数据存储结构+原理+基本操作命令

数据存储结构：

Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。

partition是以文件的形式存储在文件系统中，比如，创建了一个名为page_visits的topic，其有5个partition，那么在Kafka的数据目录中(由配置文件中的log.dirs指定的)中就有这样5个目录: page_visits-0， page_visits-1，page_visits-2，page_visits-3，page_visits-4，其命名规则为<topic_name>-<partition_id>，里面存储的分别就是这5个partition的数据。

Partition中的每条Message由offset来表示它在这个partition中的偏移量，这个offset不是该Message在partition数据文件中的实际存储位置，而是逻辑上一个值，它唯一确定了partition中的一条Message。类似于下面的一个图片，消息存储在每个log文件中，index对应的是消息的索引信息，另外，为了让消息消费的时候更快，又将文件分成很多段。

数据消费查询：

我们要查询 offset 为7的消息，那kafka就会快速定位到这个index文件，得知offset 为7的消息在6，9807后面，这时候就可以通过9807快速定位到数据文件，然后从位置为9807的那个地方开始顺序扫描直到找到offset为7的那条Message。