【原】无脑操作:Windows下搭建Kafka运行环境
Kafka是一种高吞吐量的分布式发布订阅消息系统
1、优点:
① 通过磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
② 高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
③ 支持通过Kafka服务器和消费机集群来分区消息。
④ 支持Hadoop并行数据加载。
2、基本概念:
① Broker:Kafka集群包含的一个或多个服务器
② Topic:每条发布到Kafka集群的消息都有一个类别主题。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
③ Partition:分区,每个Topic包含一个或多个Partition
④ Producer:负责发布消息到Kafka broker
⑤ Consumer:消息消费者,向Kafka broker读取消息的客户端
⑥ Consumer Group:每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)
3、环境准备:
① Windows 7 64位旗舰版
② Zookeeper文件一份zookeeper-3.4.13.tar.gz(下载地址:http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/),下载完毕后解压至D:\Kafka
③ Kafka文件一份kafka_2.12-2.1.1.tgz(下载地址:http://kafka.apache.org/downloads.html),下载完毕后解压至D:\Kafka
4、配置设定:
① 环境变量的系统变量中添加ZOOKEEPER_HOME=D:\Kafka\zookeeper-3.4.11,系统变量path中追加;%ZOOKEEPER_HOME%\bin
② D:\Kafka\zookeeper-3.4.13\conf目录中,zoo_sample.cfg文件改名为zoo.cfg
③ zoo.cfg文件中12行的dataDir=/tmp/zookeeper,修改为:dataDir=D:\\Kafka\\zookeeper-3.4.13\\tmp
④ D:\Kafka\kafka_2.12-2.1.1\config目录中,找到server.properties文件,60行的log.dirs=/tmp/kafka-logs,修改为:log.dirs=D:\\Kafka\\kafka_2.12-2.1.1\\kafka-logs
5、测试运行:
① 启动Zookeeper
在D:\Kafka\zookeeper-3.4.13\bin目录下,找到zkServer.cmd文件,双击执行,看到如下提示,说明Zookeeper正常启动
注意:启动后不要关闭窗口
② 启动Kafka
在D:\Kafka\kafka_2.12-2.1.1目录下,shift+鼠标右键,找到"在此处打开命令窗口",输入:
.\bin\windows\kafka-server-start.bat .\config\server.properties
看到如下提示,说明Kafka正常启动
注意:启动后不要关闭窗口
③ 创建及查看Topic
在D:\Kafka\kafka_2.12-2.1.1目录下,shift+鼠标右键,找到"在此处打开命令窗口",输入:
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
看到如下提示,说明创建成功
想查看创建过的Topic,可以继续输入:
.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
看到如下提示,即列出创建过的Topic列表
④ 创建生产者
在D:\Kafka\kafka_2.12-2.1.1目录下,shift+鼠标右键,找到"在此处打开命令窗口",输入:
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
看到如下提示,说明等待生产
⑤ 创建消费者
在D:\Kafka\kafka_2.12-2.1.1目录下,shift+鼠标右键,找到"在此处打开命令窗口",输入:
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
看到如下提示,说明等待消费
⑥ 在生产者窗口中输入内容模拟生产,可以在消费者窗口中看到内容
【原】无脑操作:Windows下搭建Kafka运行环境的更多相关文章
- Windows下搭建kafka运行环境
完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS 在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询: 1. \Jav ...
- (转)Windows上搭建Kafka运行环境
转自:<Windows上搭建Kafka运行环境> 完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS 在环境搭建过 ...
- [转]Windows上搭建Kafka运行环境
[转]http://www.cnblogs.com/alvingofast/p/kafka_deployment_on_windows.html Windows上搭建Kafka运行环境 完整解决方 ...
- Windows上搭建Kafka运行环境
完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS 在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询: 1. \Jav ...
- kafka之一:Windows上搭建Kafka运行环境
搭建环境 1. 安装JDK 1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-213315 ...
- Windows7下搭建Django运行环境
一直都是在Linux环境下搭建django的运行环境,开学因为需要叫前端的同学帮忙修改模板,所以需要在Windows下搭建起运行环境,想来PHP倒是有不少集成开发环境,Python倒是少的可怜…只在w ...
- Windows上搭建Flume运行环境
1.如果没有安装过Java环境,则需首先安装JDK. 可参考<Windows上搭建Kafka运行环境>中的搭建环境安装JDK部分 2.官方下载Flume(当前为apache-flume-1 ...
- Windows下搭建Git开发环境
Windows下搭建Git开发环境主要有以下三种方法: 1,VS,vs2013和vs2015中已经集成了git插件了 2,msysGit+TortoiseGit 3,msysGit+SourceTre ...
- [转载]在Windows下搭建Android开发环境
http://jingyan.baidu.com/article/bea41d437a41b6b4c51be6c1.html 在Windows下搭建Android开发环境 | 浏览:30780 | 更 ...
随机推荐
- 令状态寄存器访问指令(MRS,MSR)
ARM中有两条指令用于在状态寄存器和通用寄存器之间传送数据. 针对32位的ARM处理器,状态寄存器就是一个32位长的寄存器.每个位的含义如下图: 分成了4部分: 1,条件标志位 N(Negative) ...
- [Mysql]——通过例子理解事务的4种隔离级别(转)
SQL标准定义了4种隔离级别,包括了一些具体规则,用来限定事务内外的哪些改变是可见的,哪些是不可见的. 低级别的隔离级一般支持更高的并发处理,并拥有更低的系统开销. 一.事务隔离级别分类 第1级别:R ...
- Day2 《机器学习》第二章学习笔记
这一章应该算是比价了理论的一章,我有些概率论基础,不过起初有些地方还是没看多大懂.其中有些公式的定义和模型误差的推导应该还是很眼熟的,就是之前在概率论课上提过的,不过有些模糊了,当时课上学得比较浅. ...
- tkinter中表格的建立(十三)
表格的建立 import tkinter from tkinter import ttk wuya = tkinter.Tk() wuya.title("wuya") wuya.g ...
- Websql,应用程序缓存,WebWorkers,SSE,WebSocket
①什么是 Web Worker? 当在 HTML 页面中执行脚本时,页面的状态是不可响应的,直到脚本已完成. web worker 是运行在后台的 JavaScript,独立于其他脚本,不会影响页面的 ...
- 拿到6个重磅offer的大神,超详细面试经验总结
本人是国内某财经院校的小本,学校不算很有名,也没有很好的硬件条件,但是很幸运的在这样的就业大环境里拿了6个OFFER,其中包括一些股份制商业银行的总行,4大国有商业银行的省行,以及国内最一流国企的省公 ...
- jquery开关按钮效果
.circular1{ width: 50px; height: 30px; border-radius: 16px; background-color: #ccc; transition: .3s; ...
- go语言nsq源码解读一-基本介绍
简单介绍一下nsq. 参考 http://feilong.me/2013/05/nsq-realtime-message-processing-system 的介绍:NSQ是由知名短链接服务商bitl ...
- Spring Boot自动配置源码解析(基于Spring Boot 2.0.2.RELEASE)
在Spring Boot官方介绍中,首一段话是这样的(如下图).我们可以大概了解到其所表达的含义:我们可以利用Spring Boot写很少的配置来创建一个非常方便的基于Spring整合第三方类库的单体 ...
- 【bzoj 4176】 Lucas的数论 莫比乌斯反演(杜教筛)
Description 去年的Lucas非常喜欢数论题,但是一年以后的Lucas却不那么喜欢了. 在整理以前的试题时,发现了这样一道题目“求Sigma(f(i)),其中1<=i<=N”,其 ...