Kafka学习-入门
在上一篇kafka简介的基础之上,本篇主要介绍如何快速的运行kafka。
在进行如下配置前,首先要启动Zookeeper。
配置单机kafka
1.进入kafka解压目录
2.启动kafka
bin\windows\kafka-server-start config\server.properties
3.创建Topic和查看机器上topic
bin\windows\kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1
bin\windows\kafka-topics --list --zookeeper localhost:2181

4.发送数据
bin\windows\kafka-console-producer --broker-list localhost:9092 --topic topic1

5.开始消费数据
bin\windows\kafka-console-consumer --bootstrap-server localhost:9092 --topic topic1 --from-beginning

配置kafka集群
1.复制server.properties文件,并修改文件配置
broker.id=2
listeners=PLAINTEXT://:9094
log.dirs=E:\kafka_2.11-0.10.2-2\log
2.启动kafka
bin\windows\kafka-server-start config\server-1.properties
bin\windows\kafka-server-start config\server-2.properties
3.创建topic,然后查看集群详细信息
bin\windows\kafka-topics --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic topic-cluster
bin\windows\kafka-topics --describe --zookeeper localhost:2181 --topic topic-cluster

第一行详细描述topic-cluster这个topic的集群信息。主要包括topic名称、分区数目、复制因子。后面的每一行描述一个分区信息,Partition:0表示该分区编号为0;Leader:0,表示该分区的Leader的broker.id为0;replicas为所在的broker.id;该分区的ISR为0、1、2.
4.向kafka集群发送数据
bin\windows\kafka-console-producer --broker-list localhost:9092 --topic topic-cluster

5.开始消费数据
bin\windows\kafka-console-consumer --bootstrap-server localhost:9092 --topic topic-cluster --from-beginning

6.测试kafka集群失败恢复 杀死leader进程
7.查看集群信息
bin\windows\kafka-topics --describe --zookeeper localhost:2181 --topic topic-cluster

此时可以发现,该分区的Leader和ISR都发生了改变.
8.重新消费数据
bin\windows\kafka-console-consumer --bootstrap-server localhost: --topic topic-cluster --from-beginning
Kafka学习-入门的更多相关文章
- Kafka学习入门
最近工作中用到了两个很给力的项目,一个是Kafka,一个是Strom.本着自我学习并方便他人的目的,我会将我觉得比较有用的英文文档翻译在此(保留系统专有名词不作翻译). 1kafka介绍 在流式计算中 ...
- Kafka学习-简介
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用.目前越来越多的开源分布式处理系统如Cloudera.Apache Storm.S ...
- kafka学习笔记(一)消息队列和kafka入门
概述 学习和使用kafka不知不觉已经将近5年了,觉得应该总结整理一下之前的知识更好,所以决定写一系列kafka学习笔记,在总结的基础上希望自己的知识更上一层楼.写的不对的地方请大家不吝指正,感激万分 ...
- kafka学习笔记:知识点整理
一.为什么需要消息系统 1.解耦: 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束. 2.冗余: 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险. ...
- 每天成长一点---WEB前端学习入门笔记
WEB前端学习入门笔记 从今天开始,本人就要学习WEB前端了. 经过老师的建议,说到他每天都会记录下来新的知识点,每天都是在围绕着这些问题来度过,很有必要每天抽出半个小时来写一个知识总结,及时对一天工 ...
- C# BackgroundWorker组件学习入门介绍
C# BackgroundWorker组件学习入门介绍 一个程序中需要进行大量的运算,并且需要在运算过程中支持用户一定的交互,为了获得更好的用户体验,使用BackgroundWorker来完成这一功能 ...
- 消息队列-Kafka学习
Kafka是一个分布式的消息队列,学习见Apache Kafka文档,中文翻译见Kafka分享,一个简单的入门例子见kafka代码入门实例.本文只针对自己感兴趣的点记录下. 1.架构 Producer ...
- 给深度学习入门者的Python快速教程 - 番外篇之Python-OpenCV
这次博客园的排版彻底残了..高清版请移步: https://zhuanlan.zhihu.com/p/24425116 本篇是前面两篇教程: 给深度学习入门者的Python快速教程 - 基础篇 给深度 ...
- 给深度学习入门者的Python快速教程 - numpy和Matplotlib篇
始终无法有效把word排版好的粘贴过来,排版更佳版本请见知乎文章: https://zhuanlan.zhihu.com/p/24309547 实在搞不定博客园的排版,排版更佳的版本在: 给深度学习入 ...
随机推荐
- bootstrap使用模板
Bootstrap下载地址: - https://github.com/twbs/bootstrap/releases/download/v3.3.6/bootstrap-3.3.6-dist.zip ...
- Windows 10 IoT Serials 8 – 如何改变UWP应用的目标平台
Windows Insider计划直接加速了Windows系统的迭代,缩短了系统发布的周期.就Windows 10 IoT Core而言,迭代的速度和Windows 10 for PC.Windows ...
- vue2.0transition过渡的使用介绍
直接上代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF ...
- C语言精神
国际标准化组织与1990年发布了第一个ANSI/ISO C标准 在该委员会制定的指导原则中,最有趣的可能是:保持C的精神.委员会在表达这一精神时列出了一下几点: 信任程序员: 不要妨碍程序员做需要做的 ...
- Laravel查询构造器的使用方法整理
1.结果集 1.1从一张表获取所有行,get方法获取所有行 $users = DB::table('users')->get(); 获取列的值 foreach ($users as $user) ...
- POPTEST 测试开发 免费培训课程报名
poptest是国内唯一一家培养测试开发工程师的培训机构,以学员能胜任自动化测试,性能测试,测试工具开发等工作为目标.如果对课程感兴趣,请大家咨询qq:908821478,咨询电话010-845052 ...
- DC平衡双向控制解串器 转接IC GM8914:FPD-LINK III转LVTTL芯片
1 概述 GM8914型DC平衡双向控制解串器,其主要功能是实现将2.8Gbps高速串行数据转换成10或12位并行控制信号,并同步输出一路时钟信号:同时低速通道将芯片控制信息调制到高速差分信号上传输给 ...
- 《完全用Linux工作》
<完全用Linux工作>作者:王垠 完全用 GNU/Linux 工作 理解 GNU/Linux 更多精彩请直接访问SkySeraph个人站点:www.skyseraph.com 注:本文是 ...
- Redis基础学习(一)—Redis的安装
一.Redis的安装 1.在Linux环境下安装gcc环境 yum install gcc-c++ 2.解压缩Redis源码包 tar -zxf redis-3.0.0.tar.gz 3.编译 ...
- 1136: 零起点学算法43——多组测试数据输出I
1136: 零起点学算法43--多组测试数据输出I Time Limit: 1 Sec Memory Limit: 128 MB 64bit IO Format: %lldSubmitted: ...