Apache Kafka是一个分布式消息发布订阅系统,而Kafka环境往往是在集群中配置的。本篇就对配置3个broker的Kafka集群进行介绍。

Zookeeper集群

Kafka本身提供了启动了zookeeper的脚本和配置文件。

1. 修改配置文件

进入kafka主目录,编辑文件config/zookeeper.properties,配置如下:

tickTime= #心跳时间,毫秒
initLimit= #Follower在启动是需要在5个心跳时间内从Leader同步数据
syncLimit= #超过两个心跳时间收不到Follower的效应,就认为此Follower已经下线

#zookeeper集群的三个服务器
server.=192.168.10.152::
server.=192.168.10.153::
server.=192.168.10.170::

在三个机器进行同样得配置,或者将配置文件传到集群中其他机器上。

2. 配置主机标识

在三台机器dataDir目录(zookeeper.properties配置)下,新建文件myid,写入相应标识

echo  > /tmp/zookeeper/myid #1为标识,在其他机器上改为2或3

3. 启动Zookeeper集群

逐渐启动三台机器的zookeeper构成一个集群,即在三台机器上运行

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties #-daemon以守护进程方式启动zookeeper

由于节点Zookeeper启动后,都会尝试连接其他节点,先启动的肯定连不上后启动的节点,因此,此时打印的异常可以忽略,当节点全部启动,集群在选出一个Leader后,异常就不会打印了。

检查Zookeeper有没有启动

netstat -apn | grep 

搭建Kafka broker集群

1. 修改配置文件

修改config/server.properties文件

broker.id=  #三个broker的id不能相同,因此改为不同的id
listeners=PLAINTEXT://192.168.10.152:9092 #服务器监听的地址,如果不配置从java.net.InetAddress.getCanonicalHostName()获得
host.name=192.168.10.152 #broker 机器ip
zookeeper.connect=192.168.10.152:,192.168.10.153:,192.168.10.170:

集群的其他机器也进行相应的配置

2. 启动Kafka服务

在三个机器上启动Kafka服务

bin/kafka-server-start.sh -daemon config/server.properties #-daemon以守护进程方式启动kafka server

检查服务是否启动

ps -aux | grep config/server

测试

1. 创建topic

在任意一台机器上创建topic

bin/kafka-topics.sh --create --zookeeper 192.168.10.152: --replication-factor  --partitions  --topic cluster-test 
#--zookeeper是集群列表,可以指定所有节点,也可以指定为部分列表
#--replication-factor 为复制数目,数据会自动同步到其他broker上,防止某个broker宕机数据丢失
#--partitions 一个topic可以切分成多个partition,一个消费者可以消费多个partition,但一个partition只能被一个消费者消费

查看topic详情

bin/kafka-topics.sh --describe --zookeeper 192.168.10.153: --topic cluster-test

2. 启动生产者、消费者

启动生产者

bin/kafka-console-producer.sh --broker-list 192.168.10.152: --topic cluster-test

在三台机器上分别启动消费者

bin/kafka-console-consumer.sh --zookeeper 192.168.10.152: --topic cluster-test --from-beginning

3. 测试

在生产者console输入消息进行发送

此时,消费者console可以收到消息了

至此,一个简单的Kafka集群就搭建起来了

搭建Kafka集群(3-broker)的更多相关文章

  1. 大数据平台搭建-kafka集群的搭建

    本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...

  2. centos7搭建kafka集群-第二篇

    好了,本篇开始部署kafka集群 Zookeeper集群搭建 注:Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群(也可以用kafka自带的ZK,但不推荐) 1.软 ...

  3. Kafka学习之(六)搭建kafka集群

    想要搭建kafka集群,必须具备zookeeper集群,关于zookeeper集群的搭建,在Kafka学习之(五)搭建kafka集群之Zookeeper集群搭建博客有说明.需要具备两台以上装有zook ...

  4. 什么是kafka以及如何搭建kafka集群?

    一.Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. Kafka场景比喻 接下来我大概比喻下Kafka的使用场景 消息中间件:生产者和消费者 妈妈:生产 ...

  5. 利用新版本自带的Zookeeper搭建kafka集群

    安装简要说明新版本的kafka自带有zookeeper,其实自带的zookeeper完全够用,本篇文章以记录使用自带zookeeper搭建kafka集群.1.关于kafka下载kafka下载页面:ht ...

  6. docker-compose 搭建kafka集群

    docker-compose搭建kafka集群 下载镜像 1.wurstmeister/zookeeper 2.wurstmeister/kafka 3.sheepkiller/kafka-manag ...

  7. docker容器中搭建kafka集群环境

    Kafka集群管理.状态保存是通过zookeeper实现,所以先要搭建zookeeper集群 zookeeper集群搭建 一.软件环境: zookeeper集群需要超过半数的的node存活才能对外服务 ...

  8. CentOS 7 环境搭建kafka集群

    Kafka是一个MQ服务,流行的MQ服务器有三个,分别是ActiveMQ,RabbbitMQ和Kafka 目录说明:/home/fuqinqin/packages : 安装包存放目录/home/fuq ...

  9. centos7搭建kafka集群

    一.安装jdk 1.下载jdk压缩包并移动到/usr/local目录 mv jdk-8u162-linux-x64.tar.gz /usr/local 2.解压 tar -zxvf jdk-8u162 ...

随机推荐

  1. windows环境安装和配置Apache-Tomcat7.0

    转自:http://blog.sina.com.cn/s/blog_7c35df9b010111sh.html 说明: Tomcat Manager的用户名和密码可以到"Tomcat安装目录 ...

  2. linux思维导图

  3. SQL 语句调优 where 条件 数据类型 临时表 索引

    基本原则 避免全表扫描 建立索引 尽量避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理 尽量避免大事务操作,提高系统并发能力 使用基于游标的方法或临时表方法之前,应先寻找基于集的解决方 ...

  4. solr 4.4添加索引是新手容易遇到的问题

    solr 4.4添加索引是新手容易遇到的问题异常一.Exception in thread "main" java.lang.NoClassDefFoundError: org/a ...

  5. Android Studio 自定义debug签名文件keystore

    Android Studio 自定义debug签名文件keystore

  6. 自适应css 框架 PURE

    Bootstrap 好用 但是太大啦 有时候只需要用到媒体查询这一块的样式 Pure.css可以很好地替代 直接上地址咯: http://purecss.io/ https://unpkg.com/p ...

  7. 对json数据的遍历

    json格式变化多样,可嵌套好几层,这里只记录了一些遍历方法,具体数据格式具体分析~ "data1": { "key1": [ {"name" ...

  8. win8/10 特技

    今天弄些特技: 1.图片批量命名:选中(1) 2.自动显示记录时间:在记事本中里面写上 .LOG  下次会自动把时间写上. 3.无密码登录:在命令行中输入:netplwiz,取消=>要使用本计算 ...

  9. 将 List<UserInfo>中的对象按照UserInfo.name进行分组

    package yq; import java.util.ArrayList;import java.util.LinkedHashMap;import java.util.List; import ...

  10. Duilib嵌入CEF以及JavaScript与C++交互

    转载:http://blog.csdn.net/foruok/article/details/50573612 转载:http://blog.csdn.net/foruok/article/detai ...