Kafka集群搭建和配置

Kafka配置优化

https://www.jianshu.com/p/f62099d174d9

1.安装&配置

下载tar包

解压后即可使用

修改配置文件

将server.properties复制和修改为三个配置文件（为启动3个kafka服务做准备）

设置broker.id，集群中各节点的标识，要求不重复

绑定端口和ip

设置日志文件（数据文件）存放位置

设置zk地址和连接超时时间（为方便演示，使用kafka自带的zk）

另外两个配置文件参考以上配置，并设置端口为9092，,9094

2.自动zk

kafka集群的高可用依赖zk，启动kafka之前要先启动zk（生产环境应使用独立的zk集群）

为方便查看日志，这里使用前台启动方式，生产环境应使用daemon方式

3.启动kafka集群

kafka集群是去中心化的，所以无需关注集群中各服务的启动书序

同样的，为了方便查看日志，测试时使用前台启动方式

启动另外两个kafka broker服务，可以看到kafka集群和zk都已启动

4.通过kafka自带的console producer和consumer测试订阅和发布

创建一个topic（新版本的kafka，offset存放在topic中）

启动console producer，kafka是去中心化的，连接集群中任何一个节点都可以进行消息发布，kafka会在内部进行同步

启动console consumer

在producer窗口发布消息

consumer成功消费到了消息