目录 1 Kafka 是什么? 1.1 背景 1.2 定位 1.3 产生的原因 1.4 Kafka 有哪些特征 消息和批次 模式 主题和分区 生产者和消费者 broker 和 集群 1.5 Kafka 可以做什么 Kafka作为消息系统 Kafka 作为存储系统 Kafka用做流处理 批处理 2 为什么选择 Kafka 2.1 多个生产者 2.2 多个消费者 2.3 磁盘数据存储 2.4 伸缩性 2.5 高性能 3 怎么使用 Kafka 3.1 安装 JDK 3.2 安装 zookeeper 3…

本博文介绍如何一步步搭建起Kafka本地环境. 下载Kafka 0.9.0.0 并配置软链接 下载好后,放入电脑本地安装目录,mac下我放在/usr/local下,解压Kafka. -0.9.0.0.tgz 然后建立一个当前版本的kafka的软链接,这样在配置的时候系统环境配置的时候不需要写版本号,也有利于以后的版本更新. -0.9.0.0 kafka 接着cd kafka进入主目录. 启动Kafka Server 在启动前,需要安装并配置Zookeeper,不过在kafka中带有一个单节点示例…

转载原文:http://top.jobbole.com/31084/ 通过研究,发现主流的三种kafka监控程序分别为: Kafka Web Conslole Kafka Manager KafkaOffsetMonitor 现在依次介绍以上三种工具: 一.Kafka Web Conslole 使用Kafka Web Console,可以监控: Brokers列表 Kafka 集群中 Topic列表,及对应的Partition.LogSiz e等信息 点击Topic,可以浏览对应的Consume…

一  Kafka HA设计解析 1.1 为何需要Replication 在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee的设计目标相悖.同时Producer都不能再将数据存于这些Partition中. 如果Producer使用同步模式则Producer会在尝试重新发送message.send.max.retries(默认值为3)次后抛出Exc…

原文地址:http://debugo.com/kafka-params/ ############################# System ############################# #唯一标识在集群中的ID,要求是正数. broker.id=0 #服务端口,默认9092 port=9092 #监听地址,不设为所有地址 host.name=debugo01 # 处理网络请求的最大线程数 num.network.threads=2 # 处理磁盘I/O的线程数 num.io.…

前言 只有光头才能变强. 文本已收录至我的GitHub仓库,欢迎Star:https://github.com/ZhongFuCheng3y/3y 在这篇之前已经写过两篇基础文章了,强烈建议先去阅读: 什么是ZooKeeper? 什么是消息队列? 众所周知,消息队列的产品有好几种,这里我选择学习Kafka的原因,无他,公司在用. 我司使用的是Kafka和自研的消息队列(Kafka和RocketMQ)改版,于是我就想学学Kafka这款消息队列啦.本篇文章对Kafka入门,希望对大家有所帮助. 本文…

全网最通俗易懂的Kafka入门 http://www.itpub.net/2019/12/04/4597/ 前言 只有光头才能变强. 文本已收录至我的GitHub仓库,欢迎Star:https://github.com/ZhongFuCheng3y/3y 众所周知,消息队列的产品有好几种,这里我选择学习Kafka的原因,无他,公司在用. 我司使用的是Kafka和自研的消息队列(Kafka和RocketMQ)改版,于是我就想学学Kafka这款消息队列啦.本篇文章对Kafka入门,希望对大家有所帮助…

官网: 参考文档: Kafka入门经典教程 Kafka工作原理详解 一.安装zookeeper 1. 下载zookeeper-3.4.5-cdh5.3.6.tar.gz 下载地址为: http://archive.cloudera.com/cdh5/cdh/5/ 2. 解压到/opt/modules/cdh目录 -cdh5.3.6.tar.gz -C /opt/modules/ 3. 修改配置 cd /opt/modules/cdh/zookeeper--cdh5.3.6 mkdir dataD…

一.ZooKeeper 简介 1.基本介绍 ZooKeeper 的官网是:https://zookeeper.apache.org/.在官网上是这么介绍 ZooKeeper 的:ZooKeeper 是一项集中式服务,用于维护配置信息,命名,提供分布式同步和提供组服务. 当我们编写程序的时候,通常会将所有的配置信息保存在一个配置文件中,例如账号.密码等信息,后续直接修改配置文件就行了,那分布式场景下如何配置呢?如果说每台机器上都保存一个配置文件,这时候要一台台的去修改配置文件难免出错,而且要管理这…

Kafka 来源 Kafka的前身是由LinkedIn开源的一款产品,2011年初开始开源,加入了 Apache 基金会,2012年从 Apache Incubator 毕业变成了 Apache 顶级开源项目.同时LinkedIn还有许多著名的开源产品.如: 分布式数据同步系统Databus 高性能计算引擎Cubert Java异步处理框架ParSeq Kafka流处理平台 Kafka 介绍 Kafka 用于构建实时数据管道和流应用程序.它具有水平可扩展性,容错性,快速性,并在数千家公司的生产环…