• Kafka 是一个开源的分布式事件流平台，依赖Zookeeper或者KRaft，本文基于Zookeeper。

服务器IP配置

本文使用三个服务器来做集群搭建，IP如下：

nodeName IP
node1 10.10.210.96
node2 10.10.210.97
node3 10.10.210.98

部署zookeeper

  • 工作目录为/home/zookeeper

node1配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=127.0.0.1:2888:3888

server.2=10.10.210.97:2888:3888

server.3=10.10.210.98:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-1

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 1

node2配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=10.10.210.96:2888:3888

server.2=127.0.0.1:2888:3888

server.3=10.10.210.98:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-2

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 2

node3配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=10.10.210.96:2888:3888

server.2=10.10.210.97:2888:3888

server.3=127.0.0.1:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-3

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 3
  • 在对应服务器的/home/zookeeper执行 docker-compose up -d 启动三个Zookeeper服务,通过docker-compose logs -f观察启动日志
  • ZOO_MY_ID 对应zookeeper的id,多台服务器需设置不同,对应zoo.cfg的server.1,其中.1 就是对应的ZOO_MY_ID
  • zoo.cfg配置信息具体可参考 Zookeeper部署和管理指南

部署kafka

  • 工作目录为/home/kafka

node1配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-1

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=1

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.96:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=

node2配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-2

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=2

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.97:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=

node3配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-3

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=3

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.98:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=
  • 在对应服务器的/home/kafka执行 docker-compose up -d 启动三个Kafka服务,通过docker-compose logs -f观察启动日志
  • server.properties配置信息具体可参考 Kafka Broker Configs

kafka测试使用

  • 通过offset explorer测试连接kafka是否可用。

后记

  • 如果想要简单配置的情况下，可以通过environment的方式启动kafka，参考如下：

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    environment:

      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.10.210.96:9092

      - KAFKA_ADVERTISED_HOST_NAME=10.10.210.96

      - KAFKA_ADVERTISED_PORT=9092

      - KAFKA_ZOOKEEPER_CONNECT=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

      - ALLOW_PLAINTEXT_LISTENER=yes

      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092

      - JMX_PORT=9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

docker-compose多服务器部署kafka集群的更多相关文章

  1. Docker swarm结合Openresty部署rabbitmq集群

    Docker swarm结合Openresty部署rabbitmq集群 大家好,年底了,年味儿越来越浓了．2019年的寒冬被定义为未来10年中最好的一年,对于这一说法悲观的人和乐观的人的理解是不一样的 ...

  2. 阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建

    准备: 两台配置CentOS 7.3的阿里云ECS服务器: hadoop-2.7.3.tar.gz安装包: jdk-8u77-linux-x64.tar.gz安装包: hostname及IP的配置: ...

  3. 阿里云ECS服务器部署HADOOP集群（二）：HBase完全分布式集群搭建（使用外置ZooKeeper）

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  4. 阿里云ECS服务器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  5. 阿里云ECS服务器部署HADOOP集群（六）：Flume 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  6. 阿里云ECS服务器部署HADOOP集群（七）：Sqoop 安装

    本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper) 阿 ...

  7. 阿里云ECS服务器部署HADOOP集群（五）：Pig 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  8. 阿里云ECS服务器部署HADOOP集群（四）：Hive本地模式的安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 本地模式需要采用MySQL数据库存储数据. 1 环境介绍 一台阿里云ECS服务器:master ...

  9. Docker快速搭建Zookeeper和kafka集群

    使用Docker快速搭建Zookeeper和kafka集群 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像,版本3.4kafka采用wurstmeiste ...

  10. 使用Docker快速搭建Zookeeper和kafka集群

    使用Docker快速搭建Zookeeper和kafka集群 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像,版本3.4kafka采用wurstmeiste ...

随机推荐

  1. 一文总结你需要的OpenCV操作

    目录 一.OpenCV简介 1.1 OpenCV是什么 1.2 安装及使用 二.图像的基础 2.1 成像原理 2.2 图像格式 2.3 颜色空间 三.OpenCV基础操作 3.1 图像的读取.显示.保 ...

  2. [Linux]Linux发展历程

    古人云,知其然知其所以然.马哲思想指导着我们,任何事物.问题,离不开:为什么(Why,事物从哪里来?).是什么(What,事物的定位?).怎么做(How,到哪里去?)的哲学3问. 继上个月算是相对彻底 ...

  3. Python简易学生管理系统

    目录结构: 1. 学生文件 student.py # 学生类 class Student(object): # 存放学生信息 student_info = {} # 学生初始化方法 def __ini ...

  4. Semantic Kernel 入门系列：🔥Kernel 内核和🧂Skills 技能

    理解了LLM的作用之后,如何才能构造出与LLM相结合的应用程序呢? 首先我们需要把LLM AI的能力和原生代码的能力区分开来,在Semantic Kernel(以下简称SK),LLM的能力称为 sem ...

  5. IIS 部署.NET CORE 项目 出现 HTTP 错误 500.19 - Internal Server Error

    当出现这个错误时是因为服务器上没有.NET CORE对应的SDK以及运行时文件,我的.NET CORE版本是2.2,下载的就是2.2对应的文件. 附上.NET CORE2.2版本的下载链接 下载 .N ...

  6. KMP字符串匹配问题

    KMP算法 本文参考资料:https://www.zhihu.com/question/21923021 KMP算法是一种字符串匹配算法,可以在 \(O(n+m)\) 的时间复杂度内实现两个字符串的匹 ...

  7. 【Docker】安装及部署

    一.Ubuntu使用apt安装Docker 官方安装文档:https://docs.docker.com/engine/install/ubuntu/ 1.准备安装环境 [root@Docker-Ub ...

  8. Web进阶LNMP网站部署

    Web进阶LNMP网站部署 目录 Web进阶LNMP网站部署 LNMP架构工作流程 部署LNMP架构 1.安装nginx 2.安装php 3.安装数据库 将Nginx和PHP建立连接 1.修改ngin ...

  9. Notion 中文：客户端、网页端汉化方案

    Notion 官方已经正式公布将会支持中文.不过距离正式发布中文版,可能还有一段时间. Notion 的汉化方案 目前,Notion 汉化方案有两种: 客户端汉化 此方法本质上也是在客户端中增加脚本, ...

  10. 使用STM32CubeMX生成ThreadX实时操作系统工程模板

    博客主页:链接.转载请注明出处! 由于需要在stm32上使用USB Host CDC-ECM,连接EC20发送数据到服务器,接触到了ThreadX实时操作系统. 在调研过程中,发现stm32官方USB ...