• Kafka 是一个开源的分布式事件流平台，依赖Zookeeper或者KRaft，本文基于Zookeeper。

服务器IP配置

本文使用三个服务器来做集群搭建，IP如下：

nodeName IP
node1 10.10.210.96
node2 10.10.210.97
node3 10.10.210.98

部署zookeeper

  • 工作目录为/home/zookeeper

node1配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=127.0.0.1:2888:3888

server.2=10.10.210.97:2888:3888

server.3=10.10.210.98:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-1

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 1

node2配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=10.10.210.96:2888:3888

server.2=127.0.0.1:2888:3888

server.3=10.10.210.98:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-2

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 2

node3配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=10.10.210.96:2888:3888

server.2=10.10.210.97:2888:3888

server.3=127.0.0.1:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-3

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 3
  • 在对应服务器的/home/zookeeper执行 docker-compose up -d 启动三个Zookeeper服务,通过docker-compose logs -f观察启动日志
  • ZOO_MY_ID 对应zookeeper的id,多台服务器需设置不同,对应zoo.cfg的server.1,其中.1 就是对应的ZOO_MY_ID
  • zoo.cfg配置信息具体可参考 Zookeeper部署和管理指南

部署kafka

  • 工作目录为/home/kafka

node1配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-1

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=1

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.96:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=

node2配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-2

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=2

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.97:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=

node3配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-3

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=3

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.98:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=
  • 在对应服务器的/home/kafka执行 docker-compose up -d 启动三个Kafka服务,通过docker-compose logs -f观察启动日志
  • server.properties配置信息具体可参考 Kafka Broker Configs

kafka测试使用

  • 通过offset explorer测试连接kafka是否可用。

后记

  • 如果想要简单配置的情况下，可以通过environment的方式启动kafka，参考如下：

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    environment:

      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.10.210.96:9092

      - KAFKA_ADVERTISED_HOST_NAME=10.10.210.96

      - KAFKA_ADVERTISED_PORT=9092

      - KAFKA_ZOOKEEPER_CONNECT=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

      - ALLOW_PLAINTEXT_LISTENER=yes

      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092

      - JMX_PORT=9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

docker-compose多服务器部署kafka集群的更多相关文章

  1. Docker swarm结合Openresty部署rabbitmq集群

    Docker swarm结合Openresty部署rabbitmq集群 大家好,年底了,年味儿越来越浓了．2019年的寒冬被定义为未来10年中最好的一年,对于这一说法悲观的人和乐观的人的理解是不一样的 ...

  2. 阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建

    准备: 两台配置CentOS 7.3的阿里云ECS服务器: hadoop-2.7.3.tar.gz安装包: jdk-8u77-linux-x64.tar.gz安装包: hostname及IP的配置: ...

  3. 阿里云ECS服务器部署HADOOP集群（二）：HBase完全分布式集群搭建（使用外置ZooKeeper）

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  4. 阿里云ECS服务器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  5. 阿里云ECS服务器部署HADOOP集群（六）：Flume 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  6. 阿里云ECS服务器部署HADOOP集群（七）：Sqoop 安装

    本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper) 阿 ...

  7. 阿里云ECS服务器部署HADOOP集群（五）：Pig 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  8. 阿里云ECS服务器部署HADOOP集群（四）：Hive本地模式的安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 本地模式需要采用MySQL数据库存储数据. 1 环境介绍 一台阿里云ECS服务器:master ...

  9. Docker快速搭建Zookeeper和kafka集群

    使用Docker快速搭建Zookeeper和kafka集群 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像,版本3.4kafka采用wurstmeiste ...

  10. 使用Docker快速搭建Zookeeper和kafka集群

    使用Docker快速搭建Zookeeper和kafka集群 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像,版本3.4kafka采用wurstmeiste ...

随机推荐

  1. 使用vSphere Update Manager 升级 ESXi 主机

    使用vSphere Update Manager 升级 ESXi 主机 vSphere Update Manager  vSphere Update Manager 是用于升级.迁移.更新和修补群集主 ...

  2. kubernetes（k8s）命名空间一直Terminating

    root@hello:~# kubectl get ns NAME STATUS AGE auth Terminating 34m default Active 23h kube-node-lease ...

  3. [Java SE/Junit] 基于Java的单元测试框架Mockito

    Mockito 是一个模拟测试框架,主要功能是在单元测试中模拟类/对象的行为. 1 为什么要使用Mockito? Mock可以理解为创建一个虚假的对象,或者说模拟出一个对象.在测试环境中用来替换掉真实 ...

  4. [2]SpinalHDL教程——Scala简单入门

    第一个 Scala 程序 shell里面输入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!&qu ...

  5. 1748E Yet Another Array Counting Problem

    1748E Yet Another Array Counting Problem 目录 1748E Yet Another Array Counting Problem 题目大意: 做法 code 题 ...

  6. Django框架——可视化界面之数据增删改查、Django请求生命周期、Django路由层、反向解析

    可视化界面之数据增删改查 针对数据对象主键字段的获取可以使用更加方便的 obj.pk获取 在模型类中定义双下str方法可以在数据对象被执行打印操作的时候方便的查看 ''' form表单中能够触发调剂动 ...

  7. java-io FileInputStream文件拷贝

    1.编写代码 main方法: public static void main(String[] args) throws IOException { String pathFileUrl =" ...

  8. 数据分析04-pandas(apply函数、排序、数据合、分组聚合、透视表、交叉表及项目分析)

    数据分析-04 排序 按标签(行)排序 按标签(列)排序 按某列值排序 数据合并 concat merge & join 分组聚合 分组 聚合 透视表与交叉表 透视表 交叉表 项目:分析影响学 ...

  9. [C++提高编程] 3.3 deque容器

    文章目录 3.3 deque容器 3.3.1 deque容器基本概念 3.3.2 deque构造函数 3.3.3 deque赋值操作 3.3.4 deque大小操作 3.3.5 deque 插入和删除 ...

  10. ai问答：使用 Vue3 组合式API 和 TS 配置 axios 拦截器 http错误状态

    通过 axios.create() 可以创建一个 axios 实例 axiosInstance,参数如下: baseURL:请求前缀 timeout:超时时间 headers:请求头 默认配置: im ...