所有的讨论都是基于KIP-291展开的.抱歉,这又是一篇没有图的文字. 目前Kafka broker对所有发过来的请求都是一视同仁的,不会区别对待.不管是用于生产消费的PRODUCE和FETCH请求,还是controller端发送的LeaderAndIsr/StopReplica/UpdateMetadata请求,亦或是其他类型的请求也是一样.通常我们这里把PRODUCE/FETCH请求称为数据类请求:把controller发送的那3种请求称为控制类请求或controller类请求——在源码中前…

概述 现在介绍学习一下kafka的请求处理模块,请求处理模块就是网络请求处理和api处理,这是kafka无论是对客户端还是集群内部都是非常重要的模块.现在我们对他进行源码深入探讨.当我们说到 Kafka 服务器端,也就是 Broker 的时候,往往会说它承担着消息持久化的功能,但本质上,它其实就是一个不断接收外部请求.处理请求,然后发送处理结果的 Java 进程. kafka请求队列 高效地保存排队中的请求,是确保 Broker 高处理性能的关键.既然这样,那你一定很想知道,Broker 上的请…

转载自 huxihx,原文链接 关于Kafka幂等producer的讨论 众所周知,Kafka 0.11.0.0版本正式支持精确一次处理语义(exactly once semantics,下称EOS).Kafka的EOS主要体现在3个方面: 幂等producer:保证发送单个分区的消息只会发送一次,不会出现重复消息 事务(transaction):保证原子性地写入到多个分区,即写入到多个分区的消息要么全部成功,要么全部回滚 流处理EOS:流处理本质上可看成是“读取-处理-写入”的管道.此EOS保…

关于Kafka日志留存(log retention)策略的介绍,网上已有很多文章.不过目前其策略已然发生了一些变化,故本文针对较新版本的Kafka做一次统一的讨论.如果没有显式说明,本文一律以Kafka 1.0.0作为分析对象. 所谓日志留存策略,就是Kafka保存topic数据的规则,我将按照以下几个方面分别介绍留存策略: 留存策略类型 留存机制及其工作原理 一.留存策略类型 目前,与日志留存方式相关的策略类型主要有两种:delete和compact.这两种留存方式的机制完全不同.本文主要讨论…

众所周知,Kafka 0.11.0.0版本正式支持精确一次处理语义(exactly once semantics,下称EOS).Kafka的EOS主要体现在3个方面: 幂等producer:保证发送单个分区的消息只会发送一次,不会出现重复消息 事务(transaction):保证原子性地写入到多个分区,即写入到多个分区的消息要么全部成功,要么全部回滚 流处理EOS:流处理本质上可看成是“读取-处理-写入”的管道.此EOS保证整个过程的操作是原子性.注意,这只适用于Kafka Streams 上面…

1.目标 在我们之前的Kafka教程中,我们讨论了Kafka中的ZooKeeper.今天,在这个Kafka Streams教程中,我们将学习Kafka中Streams的实际含义.此外,我们将看到Kafka Stream架构,用例和Kafka流功能.此外,我们将讨论Apache Kafka中的流处理拓扑. Kafka Streams是一个用于构建应用程序和微服务的客户端库,尤其是输入和输出数据存储在Apache Kafka Clusters中.基本上,凭借Kafka服务器端集群技术的优势,Kafk…

大家好,我是 yes. 这是我的第三篇Kafka源码分析文章,前两篇讲了日志段的读写和二分算法在kafka索引上的应用 今天来讲讲 Kafka Broker端处理请求的全流程,剖析下底层的网络通信是如何实现的.Reactor在kafka上的应用. 再说说社区为何在2.3版本将请求类型划分成两大类,又是如何实现两类请求处理的优先级. 叨叨 不过在进入今天主题之前我想先叨叨几句,就源码这个事儿,不同人有不同的看法. 有些人听到源码这两个词就被吓到了,这么多代码怎么看.奔进去就像无头苍蝇,一路断点跟下…

终于下定决心写一点普及类的东西.很多同学对Kafka的使用很感兴趣.如果你想参与到Kafka的项目开发中,很多资源是你必须要提前准备好的.本文罗列了一些常用的Kafka资源,希望对这些developer有所帮助: Kafka最新版本文档: 包含了详尽的设计概要.使用说明.参数定义及其他 Kafka JIRA:Issue列表 Kafka KIP:Kafka Improvement Proposals,可以看到最新的Kafka新功能提议及其讨论 Kafka Design site:几乎可以找到所有的…

转自:  http://blog.csdn.net/lizhitao/article/details/39499283   估计大神会不定期更新,所以还是访问这个链接看最新的目录list比较好 apache kafka中国社区QQ群:162272557 目前QQ群1,2,3已满,请加群4 中国社区QQ群2:414762562 已满 中国社区QQ群3:191278841 已满 中国社区QQ群4:415846802 每当有新blog发布时,会在此处更新,欢迎大家拍砖共同成长 目录索引: Kafka使…

一.kafka基础 本篇文章讨论的kafka版本是目前最新版 0.10.1.0. 1.1 kafka种的KafkaController 所有broker会通过ZooKeeper选举出一个作为KafkaController,来负责: 监控所有broker的存活,以及向他们发送相关的执行命令. 分区的状态维护:负责分区的新增.下线等,分区副本的leader选举 副本的状态维护:负责副本的新增.下线等 1.2 kafka分区中的基本概念 每个分区可以有多个副本,分散在不同的broker上. leade…