1.安装zookeeper zookeeper下载:http://zookeeper.apache.org/releases.html 从3.5.5开始,带有bin名称的包才是要下载的包可以直接使用 解压压缩包 进入conf目录 拷贝一份zoo_sample.cfg文件改名为zoo.cfg 更改zoo.cfg配置信息 : data和dataLog 数据和数据日志存储路径 dataDir=/apache-zookeeper-3.7.1-bin/data dataLogDir=/apache-zoo…

kafka简介: kafka是一个发布订阅消息系统,由topic区分消息种类,每个topic中可以有多个partition,每个kafka集群有一个多个broker服务器组成,producer可以发布消息到kafka中,consumer可以消费kafka中的数据.kafka就是生产者和消费者中间的一个暂存区,可以保存一段时间的数据保证使用. kafka+zookeeper zookeeper作为解决分布式一致性问题的工具而被kafka依赖.而分布式模式,即去中心化的集群模式,需要让消费者知道现在…

通过helm在k8s上部署kafka.zookeeper 通过helm方法安装 k8s上安装kafka,可以使用helm,将kafka作为一个应用安装.当然这首先要你的k8s支持使用helm安装.helm的介绍和参考见:https://yq.aliyun.com/articles/159601 helm仓库地址https://github.com/helm/charts    通过阿里仓库安装kafka helm repo add incubator https://aliacs-app-cat…

1. 安装zookeeper brew install zookeeper 默认安装位置 启动文件: /usr/local/Cellar/zookeeper/3.4.10/bin/ 配置文件: /usr/local/etc/zookeeper/                2. 启动zookeeper 服务 zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties & 3. 安装kafka brew install kaf…

wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz tar zxvf kafka_2.-.tgz cd kafka_2.- 配置kafka与zookeeper,如果是单机的只要修改log文件目录即可…

一.ZooKeeper 简介 1.基本介绍 ZooKeeper 的官网是:https://zookeeper.apache.org/.在官网上是这么介绍 ZooKeeper 的:ZooKeeper 是一项集中式服务,用于维护配置信息,命名,提供分布式同步和提供组服务. 当我们编写程序的时候,通常会将所有的配置信息保存在一个配置文件中,例如账号.密码等信息,后续直接修改配置文件就行了,那分布式场景下如何配置呢?如果说每台机器上都保存一个配置文件,这时候要一台台的去修改配置文件难免出错,而且要管理这…

要先安装docker-compose Linux安装docker-compose 参考:https://www.cnblogs.com/pxblog/p/15049362.html 创建docker-compose.yml 文件 version: '2' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka ports: - &qu…

1.安装kafka brew install kafka note: ·kafka使用zookeeper管理,安装过程会自动安装zookeeper ·安装目录:/usr/local/Cellar/kafka/*    (*为具体安装的版本) ·配置文件目录:/usr/local/etc/kafka 2.修改kafka启动配置文件 vi /usr/local/etc/kafka/server.properties note: ·该配置为单机版,集群配置另开文章讲述 修改kafka的监听地址和端口为…

helm镜像库配置 helm repo add stable http://mirror.azure.cn/kubernetes/charts helm repo add incubator http://mirror.azure.cn/kubernetes/charts-incubator helm repo list NAME URL stable http://mirror.azure.cn/kubernetes/charts local http://127.0.0.1:8879/cha…

Kafka安装 (1)从官方(http://kafka.apache.org/downloads)下载安装包.kafka安装包和一般安装包的命名方式不一样,我们看一个kafka包命名:kafka_2.12-2.1.1.tgz,其中2.12是scala的版本,2.1.1才是kafka的版本.官方强烈建议scala版本和服务器上的scala版本保持一致,避免引发一些不可预知的问题. (2)执行如下命令解压安装包: bash-4.1$ tar -xzf kafka_2.12-2.1.1.tgz (3)…