版本介绍 从使用上来看,以0.9为分界线,0.9开始不再区分高级/低级消费者API. 从兼容性上来看,以0.8.x为分界线,0.8.x不兼容以前的版本. 总体拓扑架构 从上可知: 1.生产者不需要访问zookeeper. 2.消费者fetch消息.生产者发布消息总是向leader节点发请求,不会发送给follower. 3.和rocketmq一样,为了线性提高性能,每个topic被分为partition(跟数据库的分库分表一样的道理,对业务而言透明,属于技术策略,不是业务策略),每个partit…

目录 1, 搭建 Kafka 环境 安装 docker-compose 单节点 Kafka 的部署 Kafka 集群的部署 2, Kafka 概念 基本概念 关于 Kafka 脚本工具 主题管理 使用 C# 创建分区 分区与复制 生产者消费者 修改配置 3, Kafka .NET 基础 生产者 批量生产 使用 Tasks.WhenAll 如何进行性能测试 消费 4,生产者 连接 Broker Key 分区 评估消息发送时间 生产者配置 acks bootstrap.servers retries…

近期随着业务消息量增大,现网几套kafka集群频繁收到under repliacted告警,集合近期定位分析过程,主要有以下几个方面:1. 查看是否有主机挂掉,或近期是否有主机重启,通过kafdrop查看started时间,若有异常重启,需要分析日志定位原因:2. 使用kafdrop可以对分区副本情况进行排查,若发现大部分under replicated的分区都与某个broker上的副本有关,则很可能是broker的问题,可以重点分析下server.log和controller.log3. 消息…