docker-compose搭建kafka集群

下载镜像

1.wurstmeister/zookeeper

2.wurstmeister/kafka

3.sheepkiller/kafka-manager

安装docker-compose(如果没有)

https://docs.docker.com/compose/install/

在每台机器创建文件夹(节点)

mkdir -p /database/kafka_log/zookeeper/zk1/conf

mkdir -p /database/kafka_log/zookeeper/zk1/data

mkdir -p /database/kafka_log/zookeeper/zk1/log

mkdir -p /database/kafka_log/zookeeper/zk2/conf

mkdir -p /database/kafka_log/zookeeper/zk2/data

mkdir -p /database/kafka_log/zookeeper/zk2/log

mkdir -p /database/kafka_log/zookeeper/zk3/conf

mkdir -p /database/kafka_log/zookeeper/zk3/data

mkdir -p /database/kafka_log/zookeeper/zk3/log

mkdir -p /database/kafka_log/kafka/kafka1/conf

mkdir -p /database/kafka_log/kafka/kafka1/log

mkdir -p /database/kafka_log/kafka/kafka2/conf

mkdir -p /database/kafka_log/kafka/kafka2/log

mkdir -p /database/kafka_log/kafka/kafka3/conf

创建docker网桥

1.docker network list 查看已生成的网桥

2.docker network inspect *****  (*****:网桥的名称)

3.docker  network  create  --driver  bridge  --subnet  172.16.0.0/25  --gateway  172.16.0.1  zookeeper_kafka 生成新的网桥(ip根据自己的docker网桥号的规律创建)

4.(可通信跳过)如果多机器网桥无法通信  ufw allow from 172.19.0.0/16  （172.19.0.0/16：容器的IP 和使用的端口） ufw 若果没有安装即可

创建docker-compose文件(节点一)

version: '3.7'

networks:

  zookeeper_kafka:

    external: true

services:

  zookeeper1:

    image: wurstmeister/zookeeper

    restart: unless-stopped

    hostname: zookeeper1

    container_name: zookeeper1

    ports:

      - 2181:2181

      - 2888:2888

      - 3888:3888

    environment:

      ZOO_MY_ID: 10 ## 唯一标识 不可重复 （同一个节点server和kafka保持一致）

      ZOO_SERVERS: server.10=192.168.1.181:2888:3888;2181 server.20=192.168.1.169:2888:3888;2181 server.30=192.168.1.129:2888:3888;2181  ##zookeeper节点信息

    volumes:

      # - /database/kafka_log/zookeeper/zk1/conf/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg

      - /database/kafka_log/zookeeper/zk1/data:/opt/zookeeper-3.4.13/data

      - /database/kafka_log/zookeeper/zk1/log:/opt/zookeeper-3.4.13/datalog

    networks:

      - zookeeper_kafka

kafka1:

    image: wurstmeister/kafka

    restart: unless-stopped

    container_name: kafka1

    hostname: kafka1

    ports:

      - "9092:9092"

    external_links:   # 连接本compose文件以外的container 节点ip 或者hostname

      - 192.168.1.181

      - 192.168.1.169

      - 192.168.1.129

    environment:

      KAFKA_BROKER_ID: 10

      KAFKA_ADVERTISED_HOST_NAME: 192.168.1.181                   ## 修改:宿主机IP

      KAFKA_ADVERTISED_PORT: 9092                                 ## 修改:宿主机映射port

      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.181:9092    ## 绑定发布订阅的端口。修改:宿主机IP

      KAFKA_ZOOKEEPER_CONNECT: "192.168.1.181:2181,192.168.1.169:2181,192.168.1.129:2181"

    volumes: 挂载本地文件

      - "/var/run/docker.sock:/var/run/docker.sock"

      - "/database/kafka_log/kafka/kafka1/log:/kafka"

    networks:

      - zookeeper_kafka

kafka-manager:

    image: sheepkiller/kafka-manager:latest

    restart: unless-stopped

    container_name: kafka-manager

    hostname: kafka-manager

    ports:

      - "9000:9000"

    # links:            # 连接本compose文件创建的container

      # - kafka1

      # - kafka2

      # - kafka3

    external_links:   # 连接本compose文件以外的container 节点ip 或者hostname

      - 192.168.1.181

      - 192.168.1.169

      - 192.168.1.129

    environment:

      ZK_HOSTS: 192.168.1.181:2181,192.168.1.169:2181,192.168.1.129:2181                ## 修改:宿主机IP

      TZ: CST-8

    networks:

      - zookeeper_kafka

创建docker-compose文件(节点二)

version: '3.7'

networks:

  zookeeper_kafka:

    external: true

services:

  zookeeper2:

    image: wurstmeister/zookeeper

    restart: unless-stopped

    hostname: zookeeper2

    container_name: zookeeper2

    ports:

      - 2181:2181

      - 2888:2888

      - 3888:3888

    environment:

      ZOO_MY_ID: 20

      ZOO_SERVERS: server.10=192.168.1.181:2888:3888;2181 server.20=192.168.1.169:2888:3888;2181 server.30=192.168.1.129:2888:3888;2181

    volumes:

      # - /database/kafka_log/zookeeper/zk2/conf/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg

      - /database/kafka_log/zookeeper/zk2/data:/opt/zookeeper-3.4.13/data

      - /database/kafka_log/zookeeper/zk2/log:/opt/zookeeper-3.4.13/datalog

    networks:

      - zookeeper_kafka

kafka2:

    image: wurstmeister/kafka

    restart: unless-stopped

    container_name: kafka2

    hostname: kafka2

    ports:

      - "9092:9092"

    external_links:

      - 192.168.1.181

      - 192.168.1.169

      - 192.168.1.129

    environment:

      KAFKA_BROKER_ID: 20

      KAFKA_ADVERTISED_HOST_NAME: 192.168.1.169                 ## 修改:宿主机IP

      KAFKA_ADVERTISED_PORT: 9092                               ## 修改:宿主机映射port

      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.169:9092   ## 修改:宿主机IP

      KAFKA_ZOOKEEPER_CONNECT: "192.168.1.181:2181,192.168.1.169:2181,192.168.1.129:2181"

    volumes:

      - "/var/run/docker.sock:/var/run/docker.sock"

      - "/database/kafka_log/kafka/kafka2/log:/kafka"

    networks:

      - zookeeper_kafka

创建docker-compose文件(节点…)

version: '3.7'

networks:

  zookeeper_kafka:

    external: true

services:

  zookeeper3:

    image: wurstmeister/zookeeper

    restart: unless-stopped

    hostname: zookeeper3

    container_name: zookeeper3

    ports:

      - 2181:2181

      - 2888:2888

      - 3888:3888

    environment:

      ZOO_MY_ID: 30

      ZOO_SERVERS: server.10=192.168.1.181:2888:3888;2181 server.20=192.168.1.169:2888:3888;2181 server.30=192.168.1.129:2888:3888;2181

    volumes:

      # - /database/kafka_log/zookeeper/zk3/conf/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg

      - /database/kafka_log/zookeeper/zk3/data:/opt/zookeeper-3.4.13/data

      - /database/kafka_log/zookeeper/zk3/log:/opt/zookeeper-3.4.13/datalog

    networks:

      - zookeeper_kafka

kafka3:

    image: wurstmeister/kafka

    restart: unless-stopped

    container_name: kafka3

    hostname: kafka3

    ports:

      - "9092:9092"

    external_links:

      - 192.168.1.181

      - 192.168.1.169

      - 192.168.1.129

    environment:

      KAFKA_BROKER_ID: 30

      KAFKA_ADVERTISED_HOST_NAME: 192.168.1.129                 ## 修改:宿主机IP

      KAFKA_ADVERTISED_PORT: 9092                              ## 修改:宿主机映射port

      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.129:9092   ## 修改:宿主机IP

      KAFKA_ZOOKEEPER_CONNECT: "192.168.1.181:2181,192.168.1.169:2181,192.168.1.129:2181"

    volumes:

      - "/var/run/docker.sock:/var/run/docker.sock"

      - "/database/kafka_log/kafka/kafka3/log:/kafka"

    networks:

      - zookeeper_kafka

注意

1. docker挂载的目录修改为自己机器创建的目录

2. 查看镜像中zookeeper 的版本

3. 安装时docker指令 进行了rm 或者 down  删除容器 重新启动 要删除日志目录下的meta.properties文件

docker-compose 搭建kafka集群的更多相关文章

  1. 用 Docker 快速搭建 Kafka 集群

    开源Linux 一个执着于技术的公众号 版本 •JDK 14•Zookeeper•Kafka 安装 Zookeeper 和 Kafka Kafka 依赖 Zookeeper,所以我们需要在安装 Kaf ...

  2. Docker实战之Kafka集群

    1. 概述 Apache Kafka 是一个快速.可扩展的.高吞吐.可容错的分布式发布订阅消息系统.其具有高吞吐量.内置分区.支持数据副本和容错的特性,适合在大规模消息处理场景中使用. 笔者之前在物联 ...

  3. 大数据平台搭建-kafka集群的搭建

    本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...

  4. centos7搭建kafka集群-第二篇

    好了,本篇开始部署kafka集群 Zookeeper集群搭建 注:Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群(也可以用kafka自带的ZK,但不推荐) 1.软 ...

  5. Kafka学习之（六）搭建kafka集群

    想要搭建kafka集群,必须具备zookeeper集群,关于zookeeper集群的搭建,在Kafka学习之(五)搭建kafka集群之Zookeeper集群搭建博客有说明.需要具备两台以上装有zook ...

  6. 什么是kafka以及如何搭建kafka集群？

    一.Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. Kafka场景比喻 接下来我大概比喻下Kafka的使用场景 消息中间件:生产者和消费者 妈妈:生产 ...

  7. 利用新版本自带的Zookeeper搭建kafka集群

    安装简要说明新版本的kafka自带有zookeeper,其实自带的zookeeper完全够用,本篇文章以记录使用自带zookeeper搭建kafka集群.1.关于kafka下载kafka下载页面:ht ...

  8. docker容器中搭建kafka集群环境

    Kafka集群管理.状态保存是通过zookeeper实现,所以先要搭建zookeeper集群 zookeeper集群搭建 一.软件环境: zookeeper集群需要超过半数的的node存活才能对外服务 ...

  9. docker搭建kafka集群(高级版)

    1. 环境docker, docker-compose 2.zookeeper集群 /data/zookeeper/zoo1/config/zoo.cfg # The number of millis ...

随机推荐

  1. 不同的 count 用法

    不同的 count 用法效率:在 select count(?) from t 这样的查询语句里面, count(*).count(主键 id).count(字段) 和 count(1) 等不同用法的 ...

  2. netty系列之:轻轻松松搭个支持中文的服务器

    目录 简介 netty的HTTP支持 netty中使用HTTP的原理 100 (Continue) Status 为netty搭建HTTP服务器 总结 简介 之前讲了那么多关于netty的文章,都是讲 ...

  3. React 性能调优记录（下篇），如何写高性能的代码

    react性能非常重要,性能优化可以说是衡量一个react程序员水平的重要标准. 减少你的渲染 这个大家都明白,只要是父组件中用了子组件,子组件就算没用prop也会进行依次渲染, 可以用pureCom ...

  4. Go版本管理--处理不兼容

    目录 1. 简介 2.能否引起不兼容的包 3.如何处理incompatible 1. 简介 Go module的版本选择机制,其中介绍了一个Module的版本号需要遵循v<major>.& ...

  5. 眼见为实，看看MySQL中的隐藏列！

    在介绍mysql的多版本并发控制mvcc的过程中,我们提到过mysql中存在一些隐藏列,例如行标识.事务ID.回滚指针等,不知道大家是否和我一样好奇过,要怎样才能实际地看到这些隐藏列的值呢? 本文我们 ...

  6. SQL查询语句执行流程

    msyql执行流程 你有个最简单的表,表里只有一个 ID 字段,在执行下面这个查询语句时:: select * from T where ID=10: 我们看到的只是输入一条语句,返回一个结果,却不知 ...

  7. vue 微信二维码扫码登录，附加 自定义样式

    大概流程:   先安装 微信 的登录, 然后 局部引入,局部注册,方法调用,存 token,跳转路由 npm 安装 npm install vue-wxlogin --save-dev 微信安装 微信 ...

  8. 理解ASP.NET Core - [03] Dependency Injection

    注:本文隶属于<理解ASP.NET Core>系列文章,请查看置顶博客或点击此处查看全文目录 依赖注入 什么是依赖注入 简单说,就是将对象的创建和销毁工作交给DI容器来进行,调用方只需要接 ...

  9. 简说yuv

    最近弄了一个读取y4m文件转成yuv的流的事情,记录一些yuv相关的细节 为什么会有yuv 因为我们目前的显示器显示的原理都是三原色,几乎所有的视频数据最后都要转为rgb格式才能渲染到显示屏上,而原始 ...

  10. JS013. 重写toFixed( )方法，toFixed()原理 - 四舍五入？银行家舍入法？No！六舍七允许四舍五入√！

    以下为场景实测与原理分析,需要重写函数请直接滚动至页尾!!! 语法 - Number.prototype.toFixed( ) // toFixed()方法 使用定点表示法来格式化一个数值. numO ...