kafka浅谈

关键词

producer       生产者

broker          缓存代理

consumer     消费者

partition       分区

topic            主题

group           群组

特点

1 高吞吐量

　　写入消息速度：25万/s

　　处理消息速度：55万/s

2 支持持久化操作，基于硬盘的吞吐，没有采用Cache，支持批量备份

3 支持分布式集群部署，易拓展，无需重启即可拓展生产者、消费者、缓存代理

4 消息处理状态存在消费者端，非kafka服务端。当一个消费者挂了后，其他消费者重新平衡

订阅Topic共享消息

　　一个消息需要多Consumer共同消费，需要为订阅了相同的Topic的Consumer分配不同的Group,不同Group可以共同消费同样的消息

Consumer配置

　　　每个Topic对应的Partition数量至少应该等于消费者数量，保证消费者都可以消费到该Topic　

Producer--kafka Broker--Consumer的关系

Producer--Topic--Partition--Consumer的关系