1. 准备三台机器,系统CentOs6

2. 安装好JDK和zookeeper

参考: zookeeper配置记录

3. 解压安装包到指定目录

tar -zxvf kafka_2.12-2.1.0.tgz -C /javatools

4. 创建一个文件夹,用来存放日志(集群所有机器都要有)

mkdir -p /kafkadata

5. 配置kafka config目录下的server.properties文件

每一个broker在集群中的唯一表示,要求是正数。当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况,这里可将三台机器分别配成0,1,2
broker.id=0 监听址址;修改为kafka要监听的地址,每台机器写自己的ip
listeners=PLAINTEXT://192.168.89.134:9092 打广告的地址,若是设置的话,会提供给producers, consumers,其他broker连接,具体如何使用还未深究,三台机器写自己的ip
advertised.listeners=PLAINTEXT://192.168.89.134:9092 kafka数据的存放地址,多个地址的话用逗号分割 /tmp/kafka-logs-1,/tmp/kafka-logs-2
log.dirs=/kafkadata zookeeper集群的地址,可以是多个,多个之间用逗号分割 hostname1:port1,hostname2:port2,hostname3:port3(三台机器一致)
zookeeper.connect=192.168.89.134:2181,192.168.89.135:2181,192.168.89.136:2181

6. 使用scp命令将文件传到另外两台机器

scp -r /javatools/kafka_2.12-2.1.0 root@slave1: /javatools
scp -r /javatools/kafka_2.12-2.1.0 root@slave2: /javatools 传完后记得修改其他机器配置文件中的broker.id和部分ip地址

7. 先启动zookeeper,在启动kafka

三台机器都启动
/javatools/zookeeper-3.4.12/bin/zkServer.sh start /javatools/kafka_2.12-2.1.0/bin/kafka-server-start.sh -daemon /javatools/kafka_2.12-2.1.0/config/server.properties
使用jps命令查看所有机器是否启动成功

8. 创建topic和生成者消费者来验证是否搭建成功

在kafka的bin目录下:

在一台机器上创建topic
./kafka-topics.sh --create --zookeeper 192.168.89.134:2181 --replication-factor 2 --partitions 1 --topic test_topics 查看topic
/javatools/kafka_2.12-2.1.0/bin/kafka-topics.sh --list --zookeeper localhost:2181 在另一台机器上创建生产者
./kafka-console-producer.sh -broker-list slave1:9092 -topic test_topics 在第三台机器上创建消费者(新版本不支持--zookeeper命令)
./kafka-console-consumer.sh --bootstrap-server slave2:9092 --topic test_topics --from-beginning 此时,在生产者的命令行中输入消息,消息会出现在消费者的命令行中



9. 一般通过bin目录下的脚步来关闭,无法有效关闭时,可使用kill -9 或关闭zookeeper服务

kafka配置记录的更多相关文章

  1. Bandwagon的配置记录(二) —— ftp文件传输

    SSH登录服务器 登录的方法在Bandwagon的配置记录(一) —— kexue上网 配置前的准备 1.新建一个目录(  /home/ftp  ),以后可以把文件放在这里,这里相当于是个中转站 cd ...

  2. spring cloud config配置记录

    1. spring cloud config配置记录 1.1. pom <!-- 分布式配置中心 --> <dependency> <groupId>org.spr ...

  3. 使用SecureCRT / win7远程桌面连接ubuntu配置记录(有更新)

    2017-03-03 更新于末尾 1.Windows7 — Ubuntu 远程桌面连接中 Tab 键不能补全的解决办法 2.xrdp远程连接ubuntu无法使用原机的中文输入法 2017-02-22 ...

  4. kafka 配置启动

    Kafka配置(注意log.dirs不要配置在tmp目录下,因为该目录会被linux定时任务删除,会导致kafka崩溃)需要三个Kafka实例,分别安装在下面三个机器上:192.168.240.167 ...

  5. hadoop生态搭建(3节点)-08.kafka配置

    如果之前没有安装jdk和zookeeper,安装了的请直接跳过 # https://www.oracle.com/technetwork/java/javase/downloads/java-arch ...

  6. MAC OS X Yosemite的PyQt4配置记录

    MAC OS X Yosemite的PyQt4配置记录 声明: 1)本报告由博客园bitpeach撰写,版权所有,免费转载,请注明出处,并请勿作商业用途. 2)若本文档内有侵权文字或图片等内容,请联系 ...

  7. (转)Nginx的https配置记录以及http强制跳转到https的方法梳理

    Nginx的https配置记录以及http强制跳转到https的方法梳理 原文:http://www.cnblogs.com/kevingrace/p/6187072.html 一.Nginx安装(略 ...

  8. Kafka配置信息

    Kafka配置信息 broker配置信息 属性 默认值 描述 broker.id 必填参数,broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录.可以指定 ...

  9. jenkins配置记录

    jenkins配置记录 http://www.cnblogs.com/kevingrace/p/6022447.html

随机推荐

  1. nginx参数 uri和request_uri讨论

    uri可以输出rewrite后的uri不带参数,要用args查看 request_uri 是请求的完整的uri带参数

  2. Linux下CenOS系统 安装Redis

    1.redis下载 进入root目录:cd /root(目录可自定义)   wget http://download.redis.io/releases/redis-3.2.10.tar.gz 红色部 ...

  3. CIKM 2012 papers to be downloaded

    http://dl.acm.org/citation.cfm?id=2398426   http://dl.acm.org/citation.cfm?id=2396825   http://dl.ac ...

  4. Daily Pathtracer!安利下不错的Pathtracer学习资料

    0x00 前言 最近看到了我司大网红aras-p(Aras Pranckevičius)的博客开了一个很有趣的新系列<Daily Pathtracer~>,来实现一个简单的ToyPathT ...

  5. 【二代示波器教程】第15章 FreeRTOS操作系统版本二代示波器实现

    第15章     FreeRTOS操作系统版本二代示波器实现 本章教程为大家讲解FreeRTOS操作系统版本的二代示波器实现.主要讲解RTOS设计框架,即各个任务实现的功能,任务间的通信方案选择,任务 ...

  6. #Java学习之路——基础阶段(第九篇)

    我的学习阶段是跟着CZBK黑马的双源课程,学习目标以及博客是为了审查自己的学习情况,毕竟看一遍,敲一遍,和自己归纳总结一遍有着很大的区别,在此期间我会参杂Java疯狂讲义(第四版)里面的内容. 前言: ...

  7. [Swift]LeetCode299. 猜数字游戏 | Bulls and Cows

    You are playing the following Bulls and Cows game with your friend: You write down a number and ask ...

  8. Java基础--Eclipse使用

    Eclipse是JavaWeb开发最常用的工具,下面详细介绍一下如何下载安装最新版Eclipse.本文eclipse的使用是在JDK安装配置完成的基础上进行的,否则Eclipse安装后可能无法运行程序 ...

  9. mybatis 批量更新 Parameter '__frch_item_0' not found. Available parameters are [list]

    一次在做批量更新数据的时候报错 Parameter '__frch_item_0' not found. Available parameters are [list] 记过反复查找,最后才发现是一个 ...

  10. Kubernetes因限制内存配置引发的错误

    今天对一个pod进行内存资源调整后, 一直卡在ContainerCreating的状态, 执行describe命令查看该 Pod 详细信息后发现如下 . [root@master-01 ~]# kub ...