• Kafka介绍

Kafka是分布式的发布—订阅消息系统。它最初由LinkedIn(领英)公司发布,使用Scala和Java语言编写,与2010年12月份开源,成为Apache的顶级项目。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。

三大特点:

  高吞吐量 可以满足每秒百万级别消息的生产和消费——生产消费。

  持久性 有一套完善的消息存储机制,确保数据的高效安全的持久化——中间存储。

  分布式 基于分布式的扩展和容错机制;Kafka的数据都会复制到几台服务器上。当某一台故障失效时,生产者和消费者转而使用其它的机器——整体健壮性。

核心:

  Broker:消息代理,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。

  Topic:主题,Kafka处理的消息的不同分类。

  Partition:Topic物理上的分组,一个topic可以分为多个partion,每个partion是一个有序的队列。partion中每条消息都会被分配一个有序的Id(offset)

  Message:消息,是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息,每个消息都属于一个partition

  Producer:消息和数据的生产者,向Kafka的一个topic发布消息。

  Consumer:消息和数据的消费者,定于topic并处理其发布的消息。

  • 安装配置

kafka依赖zookeeper,在Kafka的设计中,选择了使用Zookeeper来进行所有Broker的管理,体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点,节点路径为/brokers/ids;此外生产者、消费者的负载均衡可使用zookeeper实现等等。因此需要安装zookeeper

下载地址:

  zookeeper:链接:https://pan.baidu.com/s/1iXbLPFzeKTeRaab5CSrD9Q  提取码:ipv9 

  kafka:链接:https://pan.baidu.com/s/1BhT4XtMiU_J6PyNb7DtciQ  提取码:sbd5 

安装:

  zookeeper:

    1.下载解压(以C:\zookeeper3.4为例),将C:\zookeeper3.4\conf下的zoo_sample.cfg文件更名为zoo.cfg

    2.打开zoo.cfg,编辑dataDir=c:\\zookeeper3.4\\temp

      

    3.配置环境变量,系统变量-新建ZOOKEEPER_HOME;并在系统变量path中增加“%ZOOKEEPER_HOME%\bin;”

      

      

    4.打开cmd窗口,输入zkServer启动,默认端口2181;使用kafka期间保持zookeeper启动

      

      

  kafka:

    1.下载解压(以C:\kafka2.12为例),打开c:\kafka2.12\config\server.properties,编辑log.dirs=c:\\kafka2.12\\kafka-logs, zookeeper.connect=localhost:2181

    2.把c:\kafka2.12\bin\window\kafka-run-class.bat 中179行%CLASSPATH%加上双引号

      

    3.打开cmd窗口,进入kafka根目录下,输入 .\bin\windows\kafka-server-start.bat .\config\server.properties 运行

      

至此,kafka的安装配置完成;下篇文章将介绍springboot集成kafka,及其一些配置详解。

最后说一嘴,关于多个MQ的选型问题,适合项目的就是最好的,适不适合根据各个MQ的优劣势决定。

kafka介绍及安装配置(windows)的更多相关文章

  1. Kafka 安装配置 windows 下

    Kafka 安装配置 windows 下 标签(空格分隔): Kafka Kafka 内核部分需要安装jdk, zookeeper. 安装JDK 安装JDK就不需要讲解了,安装完配置下JAVA_HOM ...

  2. kudu介绍及安装配置

    kudu介绍及安装配置 介绍 Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器.Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity har ...

  3. (Linux环境Kafka集群安装配置及常用命令

    Linux环境Kafka集群安装配置及常用命令 Kafka 消息队列内部实现原理 Kafka架构 一.下载Kafka安装包 二.Kafka安装包的解压 三.设置环境变量 四.配置kafka文件 4.1 ...

  4. MySQL介绍,下载,安装,配置

    MySQL用了很多年了,今天写个总结. 一.介绍 MySQL是开源软件,后来归Oracle所有.开源便于软件的完善改进.但开源不等于滥用,也不等于完全免费.MySQL有商业版,商业用途是付费的.也有免 ...

  5. Kafka介绍及安装部署

    本节内容: 消息中间件 消息中间件特点 消息中间件的传递模型 Kafka介绍 安装部署Kafka集群 安装Yahoo kafka manager kafka-manager添加kafka cluste ...

  6. 在Hyper-V上安装配置Windows负载均衡NLB

    搭建过程 Hyper-V 是自Windows Server2008 以来提供的虚拟机管理软件,它操作简便,功能也不错,可以方便的在它里面安装各种操作系统,如图所示: 现在,想利用这几台虚拟服务器搭建一 ...

  7. Git介绍及安装配置

    一.概述 1.1git概念 Git是一个开源的分布式版本控制系统,用于敏捷高效处理任意规模的项目,其作者为Linux创造者Linus Torvalds为管理Linux内核而开放的一个开源的版本控制柔软 ...

  8. 安装配置Windows Live Writer做为博客客户端

    前言: 国内好些空间.博客是支持Windows Live Writer客户端的,也就是说使用Windows Live Writer不用登陆博客网站,就可以向不同的博客网站发布博客了. Windows ...

  9. MongoDB4.0.0的安装配置—windows

    一.背景 由于要学习MongoDB,所以就下载了最新的MongoDB 的Community Server版的4.0.0版本.可能是新的版本的缘故,在安装配置上与MongoDB3有许多不同,而且在3中的 ...

随机推荐

  1. HBuilder打包App流程记录

    摘要:基于HBuilder建立一个简单的移动app项目,并打包成apk,使用这套平台用H5开发真正的移动项目,相当于省去了原生部分的人力和工作配合,性能的话,后续我会基于这套技术开发相关的应用来验证, ...

  2. UWP入门(八)--几个简单的控件

    原文:UWP入门(八)--几个简单的控件 每天看几个,要不聊几天我就可以看完啦,加油! 看效果 1. CheckBox <TextBlock Grid.Row="0" Tex ...

  3. [转]深入Android内存泄露

    深入内存泄露 Android应用的内存泄露,其实就是java虚拟机的堆内存泄漏. 当然,当应用有ndk,jni时,没有及时free,本地堆也会出现内存泄漏. 本文只是针对JVM内存泄漏应用,进行阐述分 ...

  4. 为什么需要使用Git客户端?(使用msysgit)

    Git 是 Linux Torvalds 为了帮助管理 Linux® 内核开发而开发的一个开放源码的版本控制软件.正如所提供的文档中说的一样,“Git 是一个快速.可扩展的分布式版本控制系统,它具有极 ...

  5. 开源libco库:单机千万连接、支撑微信8亿用户的后台框架基石

    微信于2013年开源的ibco库,是微信后台大规模使用的c/c++协程库,2013年至今稳定运行在微信后台的数万台机器上.libco在2013年的时候作为腾讯六大开源项目首次开源,ibco支持后台敏捷 ...

  6. Codility---Dominator

    Task description A zero-indexed array A consisting of N integers is given. The dominator of array A ...

  7. iOS登录及token的业务逻辑(没怎么用过,看各种文章总结)

    http:是短连接. 服务器如何判断当前用户是否登录? // 1. 如果是即时通信类:长连接. // 如何保证服务器跟客户端保持长连接状态? // "心跳包" 用来检测用户是否在线 ...

  8. .NET Core IdentityServer4实战 第Ⅳ章-集成密码登陆模式

    回顾下ClientCredentials模式,在ReSourceApi中定义了我们公开服务,第三方网站想要去访问ReSourceApi则需要在身份验证服务中获取toekn,根据token的内容,硬编码 ...

  9. Dart 异步编程相关概念简述

    目录 isolate: event loop: Future: async/await: 总结 参考链接 ​ 学习 Dart 的异步编程时,需要对异步编程所涉及的相关知识体系进行梳理,我们可根据以下几 ...

  10. spring 5.x 系列第19篇 ——spring简单邮件、附件邮件、内嵌资源邮件、模板邮件发送 (xml配置方式)

    源码Gitub地址:https://github.com/heibaiying/spring-samples-for-all 一.说明 1.1 项目结构说明 邮件发送配置文件为springApplic ...