kafka基础一

基本概念：

消息系统的组成由生产者，消费者以及存储系统。消费者从存储系统中读取生产者生产的消息。Kafka作为分布式的消息系统支持多个生产者多个消费者，写消息时允许多个生产者写到同一个Partition中，一个Partition中的消息只允许一个消费者组中的一个消费者消费。

1.Producer：消息生产者
2.Consumer：消息消费者
3.Topic：一个队列
4.Consumer Group（CG）：这是Kafka用来控制单播和多播的手段。但是，每个partion只会把消息发送给该CG中的一个Consumer，如果需要实现广播，只需要每个Consumer有一个独立的CG就可以了，要想实现单播只要所有的Consumer在同一个CG上，用CG还可以将Consumer进行自由的分组而不需要多次发送消息到不同的Topic
5.Broker：一台kafka服务器就是一个broker，一个Kafka集群由多个broker组成，一个broker可以容纳多个topic
6.Partition：分区，为了实现扩展性，一个非常大的topic可以分不到多个broker上，一个topic可以有多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。Kafka只保证按一个partition中的顺序将消息发送给Consumer，不保证也给topic的整体（多个partition间）的顺序
7.Offset：kafka的存储文件都是按照offset.kafka来命名，用offset做名字的好处是方便查找