• Kafka 是一个开源的分布式事件流平台，依赖Zookeeper或者KRaft，本文基于Zookeeper。

服务器IP配置

本文使用三个服务器来做集群搭建，IP如下：

nodeName IP
node1 10.10.210.96
node2 10.10.210.97
node3 10.10.210.98

部署zookeeper

  • 工作目录为/home/zookeeper

node1配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=127.0.0.1:2888:3888

server.2=10.10.210.97:2888:3888

server.3=10.10.210.98:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-1

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 1

node2配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=10.10.210.96:2888:3888

server.2=127.0.0.1:2888:3888

server.3=10.10.210.98:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-2

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 2

node3配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=10.10.210.96:2888:3888

server.2=10.10.210.97:2888:3888

server.3=127.0.0.1:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-3

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 3
  • 在对应服务器的/home/zookeeper执行 docker-compose up -d 启动三个Zookeeper服务,通过docker-compose logs -f观察启动日志
  • ZOO_MY_ID 对应zookeeper的id,多台服务器需设置不同,对应zoo.cfg的server.1,其中.1 就是对应的ZOO_MY_ID
  • zoo.cfg配置信息具体可参考 Zookeeper部署和管理指南

部署kafka

  • 工作目录为/home/kafka

node1配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-1

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=1

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.96:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=

node2配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-2

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=2

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.97:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=

node3配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-3

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=3

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.98:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=
  • 在对应服务器的/home/kafka执行 docker-compose up -d 启动三个Kafka服务,通过docker-compose logs -f观察启动日志
  • server.properties配置信息具体可参考 Kafka Broker Configs

kafka测试使用

  • 通过offset explorer测试连接kafka是否可用。

后记

  • 如果想要简单配置的情况下，可以通过environment的方式启动kafka，参考如下：

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    environment:

      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.10.210.96:9092

      - KAFKA_ADVERTISED_HOST_NAME=10.10.210.96

      - KAFKA_ADVERTISED_PORT=9092

      - KAFKA_ZOOKEEPER_CONNECT=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

      - ALLOW_PLAINTEXT_LISTENER=yes

      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092

      - JMX_PORT=9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

docker-compose多服务器部署kafka集群的更多相关文章

  1. Docker swarm结合Openresty部署rabbitmq集群

    Docker swarm结合Openresty部署rabbitmq集群 大家好,年底了,年味儿越来越浓了．2019年的寒冬被定义为未来10年中最好的一年,对于这一说法悲观的人和乐观的人的理解是不一样的 ...

  2. 阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建

    准备: 两台配置CentOS 7.3的阿里云ECS服务器: hadoop-2.7.3.tar.gz安装包: jdk-8u77-linux-x64.tar.gz安装包: hostname及IP的配置: ...

  3. 阿里云ECS服务器部署HADOOP集群（二）：HBase完全分布式集群搭建（使用外置ZooKeeper）

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  4. 阿里云ECS服务器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  5. 阿里云ECS服务器部署HADOOP集群（六）：Flume 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  6. 阿里云ECS服务器部署HADOOP集群（七）：Sqoop 安装

    本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper) 阿 ...

  7. 阿里云ECS服务器部署HADOOP集群（五）：Pig 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  8. 阿里云ECS服务器部署HADOOP集群（四）：Hive本地模式的安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 本地模式需要采用MySQL数据库存储数据. 1 环境介绍 一台阿里云ECS服务器:master ...

  9. Docker快速搭建Zookeeper和kafka集群

    使用Docker快速搭建Zookeeper和kafka集群 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像,版本3.4kafka采用wurstmeiste ...

  10. 使用Docker快速搭建Zookeeper和kafka集群

    使用Docker快速搭建Zookeeper和kafka集群 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像,版本3.4kafka采用wurstmeiste ...

随机推荐

  1. pysimplegui之系统托盘图标创建

    在 PySimpleGUI(tkinter 版本)上运行时,系统托盘图标为 PNG 和 GIF 格式.PNG.GIF 和 ICO 格式适用于 Wx 和 Qt 端口. 指定"图标"时 ...

  2. odoo 开发入门教程系列-添加修饰

    添加修饰 我们的房地产模块现在从商业角度来看是有意义的.我们创建了特定的视图,添加了几个操作按钮和约束.然而,我们的用户界面仍然有点粗糙.我们希望为列表视图添加一些颜色,并使一些字段和按钮有条件地消失 ...

  3. Kubernetes客户端认证（二）—— 基于ServiceAccount的JWTToken认证

    1.概述 在 Kubernetes 官方手册中给出了 "用户" 的概念,Kubernetes 集群中存在的用户包括 "普通用户" 与 "Service ...

  4. $\Beta$分布推导与可视化

    $\Gamma$函数 $\Gamma$函数(Gamma函数)是阶乘函数在实数和复数域的扩展.对于正整数$n$,阶乘函数表示为$n! = 1 \times 2 \times ... \times n$. ...

  5. python函数参数与类参数

    python关于函数的一些应用 前言 鉴于python3与python2有些不同,看到某些代码时可能会感到疑惑,就稍微记录一下. 一.不限制个数的函数参数 1.*args 以此为参数,会被python ...

  6. Vue路由实现的底层原理

    在Vue中利用数据劫持defineProperty在原型prototype上初始化了一些getter,分别是router代表当前Router的实例 . router代表当前Router的实例.rout ...

  7. [python] Python枚举模块enum总结

    枚举是一种数据类型,在编程中用于表示一组相关的常量.枚举中的每个常量都有一个名称和一个对应的值,可以用于增强代码的可读性和可维护性.在Python中,枚举是由enum模块提供的,而不是Python提供 ...

  8. PyTorch实践模型训练(Torchvision)

    模型训练的开发过程可以看作是一套完整的生产流程,这些环节包括: 数据读取.网络设计.优化方法与损失函数的选择以及一些辅助的工具等,TorchVision是一个和PyTorch配合使用的Python包, ...

  9. Node.js入门学习笔记

    NodeJs是js的运行时,意味着可以在浏览器外运行js.可以使用nodejs来构建服务器端应用.CLI应用.Web API,甚至用electron构建桌面端应用. 使用nvm来管理node版本. 在 ...

  10. nginx概要

    新机(CentOS7)配置nginx: 一. 更新yum源为阿里云镜像 ping mirrors.aliyun.com mv /etc/yum.repos.d/CentOS-Base.repo /et ...