kafka生产者工作流程

消息产生分析

1.写入方式:

producer采用推(push)模式将消息发布到broker,每条消息都会被追加(append)到分区Partition上,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障了kafka的吞吐率)

消息的路由

producer将消息发给broker时,producer根据分区算法来选择出将消息存储到哪个Partition上。其路由机制为:

1、如果指定partition,则将消息直接发送给该partition的Leader进行存储。

2、如果没有指定partition但是指定了key,通过对key的value进行一次哈希计算得出要存储的partition。

3、如果partition和key都没有指定,则轮询出一个partition。

2.分区Partition

消息发送时都被送到一个topic上,其本质就是一个目录,而topic是由一些partition Logs分区日志组成,一个topic可以由多个Partition组成,多个partition可以分布在多个broker上。如下图:



每个Partition上的消息都是有序的,生产的消息都会被不断追加到Partition log上,其中的每一个消息都会被赋予一个唯一的offset值。



分区的原因

(1)方便在集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成。因此整个集群就可以适应任意大小的数据了

(2)可提高并发,因为可以以Partition为单位读写

(3)将大量的数据分多批存入到不同的节点上,将写的压力平分到多个节点上

分区的原则

(1)指定了partition,则直接使用

(2)未指定partition但指定了key,通过对key的value进行hash出一个partition

(3)partition和key都未指定,则使用轮询一个partition

3.副本Replication

同一个partition可能会有多个replication(对用着server.properties配置中的default.replication.factior=N)。没有replication的情况下,一旦broker宕机,其上所有的partition的数据都不可被消费,同时producer也不能再将数据存于其上的partition,引入replication之后,同一个partition可能会有多个replication,而这时需要在这些replication之间选择一个Leader,producer和Consumer只与这个leader交互,其他replication作为follower从leader中复制数据



(1)Zookeeper记录了Leader是哪一个

(2)Producer不与Follwers交互

生产消息并存储消息的流程:

1)producer先从zookeeper的 "/brokers/.../state"节点找到该partition的leader

2)producer将消息发送给该leader

3)leader将消息写入本地log

4)followers从leader pull消息,写入本地log后向leader发送ACK

5)leader收到所有ISR中的replication的ACK后,增加HW(high watermark,最后commit 的offset)并向producer发送ACK。

消息丢失

因为网络的不可靠性导致producer发出的消息并没有存储到对应的partition上,或者Producer并未收到来自partition Leader的ACK确认消息。因此producer无法判断消息是否被成功commit。但是kafka确保了从producer到broker之间发送的消息只会被发送一次不会重复发送。

4.存储方式

物理上把topic分成一个或者多个partition(对应server.properties中的num.partitions=3配置),每个partition物理上对应也给文件夹,该文件夹存储该partition的所有消息和索引文件,

kafka命令:

kafka-topics.sh --create --topic first --zookeeper localhost:2181 --replication-factor  3 --partitions创建3个副本:first0,first1,first2

存储在Partition的消息何时被清除?

1)基于时间:log.retention.hours=168

2)基于大小:log.retention.bytes=1073741824

kafka基础二的更多相关文章

  1. kafka 基础知识梳理及集群环境部署记录

    一.kafka基础介绍 Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特 ...

  2. Python全栈开发【基础二】

    Python全栈开发[基础二] 本节内容: Python 运算符(算术运算.比较运算.赋值运算.逻辑运算.成员运算) 基本数据类型(数字.布尔值.字符串.列表.元组.字典) 其他(编码,range,f ...

  3. Bootstrap <基础二十九>面板(Panels)

    Bootstrap 面板(Panels).面板组件用于把 DOM 组件插入到一个盒子中.创建一个基本的面板,只需要向 <div> 元素添加 class .panel 和 class .pa ...

  4. Bootstrap <基础二十八>列表组

    列表组.列表组件用于以列表形式呈现复杂的和自定义的内容.创建一个基本的列表组的步骤如下: 向元素 <ul> 添加 class .list-group. 向 <li> 添加 cl ...

  5. Bootstrap<基础二十七> 多媒体对象(Media Object)

    Bootstrap 中的多媒体对象(Media Object).这些抽象的对象样式用于创建各种类型的组件(比如:博客评论),我们可以在组件中使用图文混排,图像可以左对齐或者右对齐.媒体对象可以用更少的 ...

  6. Bootstrap <基础二十六>进度条

    Bootstrap 进度条.在本教程中,你将看到如何使用 Bootstrap 创建加载.重定向或动作状态的进度条. Bootstrap 进度条使用 CSS3 过渡和动画来获得该效果.Internet ...

  7. Bootstrap <基础二十五>警告(Alerts)

    警告(Alerts)以及 Bootstrap 所提供的用于警告的 class.警告(Alerts)向用户提供了一种定义消息样式的方式.它们为典型的用户操作提供了上下文信息反馈. 您可以为警告框添加一个 ...

  8. Bootstrap<基础二十四> 缩略图

    Bootstrap 缩略图.大多数站点都需要在网格中布局图像.视频.文本等.Bootstrap 通过缩略图为此提供了一种简便的方式.使用 Bootstrap 创建缩略图的步骤如下: 在图像周围添加带有 ...

  9. Bootstrap <基础二十三>页面标题(Page Header)

    页面标题(Page Header)是个不错的功能,它会在网页标题四周添加适当的间距.当一个网页中有多个标题且每个标题之间需要添加一定的间距时,页面标题这个功能就显得特别有用.如需使用页面标题(Page ...

随机推荐

  1. [HNOI 2010] 弹飞绵羊

    [题目链接] https://www.lydsy.com/JudgeOnline/problem.php?id=2002 [算法] LCT动态维护森林连通性 时间复杂度 : O(NlogN ^ 2) ...

  2. darknet源码学习

    darknet是一个较为轻型的完全基于C与CUDA的开源深度学习框架,其主要特点就是容易安装,没有任何依赖项(OpenCV都可以不用),移植性非常好,支持CPU与GPU两种计算方式.1.test源码( ...

  3. 洛谷P4145上帝造题的七分钟——区间修改

    题目:https://www.luogu.org/problemnew/show/P4145 区间开平方,可以发现其实开几次就变成1,不需要开了,所以标记一下,每次只去开需要开的地方: 原来写的并查集 ...

  4. Azure SQL Database (27) 创建Table Partition

    <Windows Azure Platform 系列文章目录> 昨天客户正好提到这个问题,现在记录一下. 我们在使用传统的SQL Server,会使用Table Partition,这个功 ...

  5. 数论 N是完全平方数 充分必要条件 N有奇数个约数

    N是完全平方数 <----> N有奇数个约数 设:N = n*n 充分性: 1.N=1时,N的约数为1,为奇数 2.N>1时,1.....n......N,其中 1, n, N为N的 ...

  6. office2007下载地址

    thunder://QUFodHRwOi8vNDYuZHVvdGUub3JnOjgwODAvb2ZmaWNlMjAwN3Byby56aXBaWg==thunder://QUFodHRwOi8vNTEu ...

  7. 技术胖Flutter第四季-23静态资源和项目图片的处理

    技术胖Flutter第四季-23静态资源和项目图片的处理 视频地址:https://www.bilibili.com/video/av35800108/?p=24 项目中引用图片静态资源文件 这里就是 ...

  8. 15.oauth2 + oidc 实现 server部分

    OAuth主要做授权. OpenIdConnect简历在OAuth2.0基础之上的,相结合 客户端.授权中心.Resource Owner用户本身(资源的拥有者).Resource Server 通过 ...

  9. bugfree-解决方案的意思

    BugFree的7种解决方案各自的含义: By Design - 就是这么设计的,无效的Bug Duplicate - 这个问题别人已经发现了,重复的Bug External - 是个外部因素(比如浏 ...

  10. Python3.6 字典的内置方法

    1.dict.clear(self) 删除字典内所有元素 2.dict.copy(self) 返回一个字典的浅复制,拷贝父对象,不会拷贝对象的内部的子对象 3.dict.fromkeys(self,  ...