• Kafka 是一个开源的分布式事件流平台，依赖Zookeeper或者KRaft，本文基于Zookeeper。

服务器IP配置

本文使用三个服务器来做集群搭建，IP如下：

nodeName IP
node1 10.10.210.96
node2 10.10.210.97
node3 10.10.210.98

部署zookeeper

  • 工作目录为/home/zookeeper

node1配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=127.0.0.1:2888:3888

server.2=10.10.210.97:2888:3888

server.3=10.10.210.98:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-1

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 1

node2配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=10.10.210.96:2888:3888

server.2=127.0.0.1:2888:3888

server.3=10.10.210.98:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-2

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 2

node3配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=10.10.210.96:2888:3888

server.2=10.10.210.97:2888:3888

server.3=127.0.0.1:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-3

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 3
  • 在对应服务器的/home/zookeeper执行 docker-compose up -d 启动三个Zookeeper服务,通过docker-compose logs -f观察启动日志
  • ZOO_MY_ID 对应zookeeper的id,多台服务器需设置不同,对应zoo.cfg的server.1,其中.1 就是对应的ZOO_MY_ID
  • zoo.cfg配置信息具体可参考 Zookeeper部署和管理指南

部署kafka

  • 工作目录为/home/kafka

node1配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-1

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=1

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.96:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=

node2配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-2

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=2

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.97:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=

node3配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-3

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=3

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.98:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=
  • 在对应服务器的/home/kafka执行 docker-compose up -d 启动三个Kafka服务,通过docker-compose logs -f观察启动日志
  • server.properties配置信息具体可参考 Kafka Broker Configs

kafka测试使用

  • 通过offset explorer测试连接kafka是否可用。

后记

  • 如果想要简单配置的情况下，可以通过environment的方式启动kafka，参考如下：

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    environment:

      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.10.210.96:9092

      - KAFKA_ADVERTISED_HOST_NAME=10.10.210.96

      - KAFKA_ADVERTISED_PORT=9092

      - KAFKA_ZOOKEEPER_CONNECT=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

      - ALLOW_PLAINTEXT_LISTENER=yes

      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092

      - JMX_PORT=9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

docker-compose多服务器部署kafka集群的更多相关文章

  1. Docker swarm结合Openresty部署rabbitmq集群

    Docker swarm结合Openresty部署rabbitmq集群 大家好,年底了,年味儿越来越浓了．2019年的寒冬被定义为未来10年中最好的一年,对于这一说法悲观的人和乐观的人的理解是不一样的 ...

  2. 阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建

    准备: 两台配置CentOS 7.3的阿里云ECS服务器: hadoop-2.7.3.tar.gz安装包: jdk-8u77-linux-x64.tar.gz安装包: hostname及IP的配置: ...

  3. 阿里云ECS服务器部署HADOOP集群（二）：HBase完全分布式集群搭建（使用外置ZooKeeper）

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  4. 阿里云ECS服务器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  5. 阿里云ECS服务器部署HADOOP集群（六）：Flume 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  6. 阿里云ECS服务器部署HADOOP集群（七）：Sqoop 安装

    本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper) 阿 ...

  7. 阿里云ECS服务器部署HADOOP集群（五）：Pig 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  8. 阿里云ECS服务器部署HADOOP集群（四）：Hive本地模式的安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 本地模式需要采用MySQL数据库存储数据. 1 环境介绍 一台阿里云ECS服务器:master ...

  9. Docker快速搭建Zookeeper和kafka集群

    使用Docker快速搭建Zookeeper和kafka集群 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像,版本3.4kafka采用wurstmeiste ...

  10. 使用Docker快速搭建Zookeeper和kafka集群

    使用Docker快速搭建Zookeeper和kafka集群 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像,版本3.4kafka采用wurstmeiste ...

随机推荐

  1. 提供一款局域网聊天小工具，对接了chatGPT3.5

    账号.密码随便填,只要自己能记住就可以,网络地址如效果图(本机IP地址+8080端口),效果图如下 服务地址用本机IP,端口可以随便用一个,如8888,填完记得点击按钮开启: 通讯地址如果你有其他人的 ...

  2. 安装 Metrics server

    安装 Metrics server Metrics Server 是 Kubernetes 内置自动缩放管道的可扩展.高效的容器资源指标来源. Metrics Server 从 Kubelets 收集 ...

  3. flask-wtf使用

    Web应用程序的一个重要方面是为用户提供一个用户界面.HTML提供了一个 标签,用于设计一个接口.一个Form 元素,例如文本输入,单选框等可以适当地使用. 通过GET或POST方法将用户输入的数据以 ...

  4. [PKM] 家庭数据中心

    1 NAS(Network Attached Storage/网络附属存储) 1.1 NAS的定义 NAS(Network Attached Storage:网络附属存储):具备资料存储功能的装置.按 ...

  5. LeeCode数组问题（一）

    LeeCode 27:移除元素 题目描述: 给你一个数组 nums 和一个值 val,你需要 原地 移除所有数值等于 val 的元素,并返回移除后数组的新长度length. 不要使用额外的数组空间,你 ...

  6. VUE项目 启动提示 npn ERRT nissing script: dev解决办法

    VUE项目 启动提示 npn ERRT nissing script: dev 提示 丢失 dev 解决办法 首先 查看项目目录里面的 package.json 文件, 文件内容如下: 发现红框这里是 ...

  7. 深度学习--全连接层、高阶应用、GPU加速

    深度学习--全连接层.高阶应用.GPU加速 MSE均方差 Cross Entropy Loss:交叉熵损失 Entropy 熵: 1948年,香农将统计物理中熵的概念,引申到信道通信的过程中,从而开创 ...

  8. 容易忽视的细节：Log4j 配置导致的零点接口严重超时

    作者:vivo 互联网服务器团队- Jiang Ye 本文详细的记录了一次0点接口严重超时的问题排查经历.本文以作者自身视角极具代入感的描绘了从问题定位到具体的问题排查过程,并通过根因分析并最终解决问 ...

  9. Valgrind交叉编译

    Valgrind交叉编译 编译环境:ubuntu16.04 x64 开发平台:hisi3535 arm板 1.下载Valgrind 我下载的版本为 valgrind-3.12.0.tar.bz2 所有 ...

  10. Python-趣味小程序

    1.效果 2.代码 import sys import time def print_act(word): #print('\n'+' '+'\r') #让光标回到行首 sys.stdout.writ ...