Kafka是一种高吞吐量的分布式发布订阅消息系统

1、优点:
① 通过磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
② 高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
③ 支持通过Kafka服务器和消费机集群来分区消息。
④ 支持Hadoop并行数据加载。

2、基本概念:

① Broker:Kafka集群包含的一个或多个服务器
② Topic:每条发布到Kafka集群的消息都有一个类别主题。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
③ Partition:分区,每个Topic包含一个或多个Partition
④ Producer:负责发布消息到Kafka broker
⑤ Consumer:消息消费者,向Kafka broker读取消息的客户端
⑥ Consumer Group:每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)

3、环境准备:

① Windows 7 64位旗舰版

② Zookeeper文件一份zookeeper-3.4.13.tar.gz(下载地址:http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/),下载完毕后解压至D:\Kafka

③ Kafka文件一份kafka_2.12-2.1.1.tgz(下载地址:http://kafka.apache.org/downloads.html),下载完毕后解压至D:\Kafka

4、配置设定:

① 环境变量的系统变量中添加ZOOKEEPER_HOME=D:\Kafka\zookeeper-3.4.11,系统变量path中追加;%ZOOKEEPER_HOME%\bin

② D:\Kafka\zookeeper-3.4.13\conf目录中,zoo_sample.cfg文件改名为zoo.cfg

③ zoo.cfg文件中12行的dataDir=/tmp/zookeeper,修改为:dataDir=D:\\Kafka\\zookeeper-3.4.13\\tmp

④ D:\Kafka\kafka_2.12-2.1.1\config目录中,找到server.properties文件,60行的log.dirs=/tmp/kafka-logs,修改为:log.dirs=D:\\Kafka\\kafka_2.12-2.1.1\\kafka-logs

5、测试运行:

① 启动Zookeeper

在D:\Kafka\zookeeper-3.4.13\bin目录下,找到zkServer.cmd文件,双击执行,看到如下提示,说明Zookeeper正常启动

注意:启动后不要关闭窗口

② 启动Kafka

在D:\Kafka\kafka_2.12-2.1.1目录下,shift+鼠标右键,找到"在此处打开命令窗口",输入:

.\bin\windows\kafka-server-start.bat .\config\server.properties

看到如下提示,说明Kafka正常启动

注意:启动后不要关闭窗口

③ 创建及查看Topic

在D:\Kafka\kafka_2.12-2.1.1目录下,shift+鼠标右键,找到"在此处打开命令窗口",输入:

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

看到如下提示,说明创建成功

想查看创建过的Topic,可以继续输入:

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

看到如下提示,即列出创建过的Topic列表

④ 创建生产者

在D:\Kafka\kafka_2.12-2.1.1目录下,shift+鼠标右键,找到"在此处打开命令窗口",输入:

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

看到如下提示,说明等待生产

⑤ 创建消费者

在D:\Kafka\kafka_2.12-2.1.1目录下,shift+鼠标右键,找到"在此处打开命令窗口",输入:

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

看到如下提示,说明等待消费

⑥ 在生产者窗口中输入内容模拟生产,可以在消费者窗口中看到内容

【原】无脑操作:Windows下搭建Kafka运行环境的更多相关文章

  1. Windows下搭建kafka运行环境

    完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS   在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询: 1. \Jav ...

  2. (转)Windows上搭建Kafka运行环境

    转自:<Windows上搭建Kafka运行环境> 完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS   在环境搭建过 ...

  3. [转]Windows上搭建Kafka运行环境

    [转]http://www.cnblogs.com/alvingofast/p/kafka_deployment_on_windows.html Windows上搭建Kafka运行环境   完整解决方 ...

  4. Windows上搭建Kafka运行环境

    完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS   在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询: 1. \Jav ...

  5. kafka之一:Windows上搭建Kafka运行环境

    搭建环境 1. 安装JDK 1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-213315 ...

  6. Windows7下搭建Django运行环境

    一直都是在Linux环境下搭建django的运行环境,开学因为需要叫前端的同学帮忙修改模板,所以需要在Windows下搭建起运行环境,想来PHP倒是有不少集成开发环境,Python倒是少的可怜…只在w ...

  7. Windows上搭建Flume运行环境

    1.如果没有安装过Java环境,则需首先安装JDK. 可参考<Windows上搭建Kafka运行环境>中的搭建环境安装JDK部分 2.官方下载Flume(当前为apache-flume-1 ...

  8. Windows下搭建Git开发环境

    Windows下搭建Git开发环境主要有以下三种方法: 1,VS,vs2013和vs2015中已经集成了git插件了 2,msysGit+TortoiseGit 3,msysGit+SourceTre ...

  9. [转载]在Windows下搭建Android开发环境

    http://jingyan.baidu.com/article/bea41d437a41b6b4c51be6c1.html 在Windows下搭建Android开发环境 | 浏览:30780 | 更 ...

随机推荐

  1. 令状态寄存器访问指令(MRS,MSR)

    ARM中有两条指令用于在状态寄存器和通用寄存器之间传送数据. 针对32位的ARM处理器,状态寄存器就是一个32位长的寄存器.每个位的含义如下图: 分成了4部分: 1,条件标志位 N(Negative) ...

  2. [Mysql]——通过例子理解事务的4种隔离级别(转)

    SQL标准定义了4种隔离级别,包括了一些具体规则,用来限定事务内外的哪些改变是可见的,哪些是不可见的. 低级别的隔离级一般支持更高的并发处理,并拥有更低的系统开销. 一.事务隔离级别分类 第1级别:R ...

  3. Day2 《机器学习》第二章学习笔记

    这一章应该算是比价了理论的一章,我有些概率论基础,不过起初有些地方还是没看多大懂.其中有些公式的定义和模型误差的推导应该还是很眼熟的,就是之前在概率论课上提过的,不过有些模糊了,当时课上学得比较浅. ...

  4. tkinter中表格的建立(十三)

    表格的建立 import tkinter from tkinter import ttk wuya = tkinter.Tk() wuya.title("wuya") wuya.g ...

  5. Websql,应用程序缓存,WebWorkers,SSE,WebSocket

    ①什么是 Web Worker? 当在 HTML 页面中执行脚本时,页面的状态是不可响应的,直到脚本已完成. web worker 是运行在后台的 JavaScript,独立于其他脚本,不会影响页面的 ...

  6. 拿到6个重磅offer的大神,超详细面试经验总结

    本人是国内某财经院校的小本,学校不算很有名,也没有很好的硬件条件,但是很幸运的在这样的就业大环境里拿了6个OFFER,其中包括一些股份制商业银行的总行,4大国有商业银行的省行,以及国内最一流国企的省公 ...

  7. jquery开关按钮效果

    .circular1{ width: 50px; height: 30px; border-radius: 16px; background-color: #ccc; transition: .3s; ...

  8. go语言nsq源码解读一-基本介绍

    简单介绍一下nsq. 参考 http://feilong.me/2013/05/nsq-realtime-message-processing-system 的介绍:NSQ是由知名短链接服务商bitl ...

  9. Spring Boot自动配置源码解析(基于Spring Boot 2.0.2.RELEASE)

    在Spring Boot官方介绍中,首一段话是这样的(如下图).我们可以大概了解到其所表达的含义:我们可以利用Spring Boot写很少的配置来创建一个非常方便的基于Spring整合第三方类库的单体 ...

  10. 【bzoj 4176】 Lucas的数论 莫比乌斯反演(杜教筛)

    Description 去年的Lucas非常喜欢数论题,但是一年以后的Lucas却不那么喜欢了. 在整理以前的试题时,发现了这样一道题目“求Sigma(f(i)),其中1<=i<=N”,其 ...