本篇在上一篇《消息中间件架构讨论》的基础上分析Broker的模块划分。

上图是之前讨论确定的系统架构(后续内容会按照这个架构来叙述),几点基础:

  1. Broker采用主从结构

  2. Broker负责持久化元数据并汇报到NameServer

  3. Client从NameServer获取元数据,然后从Broker读取消息

Broker的模块划分

1 网络模块

Broker需要和NameServer及Client通信,包括Broker之间也需要通信(主从结构),所以Broker会有一个模块(Net&PacketHandler)用于所有网络包的处理。

2 元数据相关

我们会将NameServer尽量做的简单,所以NameServer不会持久化任何数据。最终NameServer是无状态的,所有数据来源于Broker上报,所以元数据会持久化在Broker上。除了持久化Topic、Group这样的元数据,Broker还需要保存消费进度。

另外,为了保证分区内数据的顺序性,需要确保一个分区在一个时刻只会有一个线程来消费,所以Broker端需要提供接口对分区执行加锁操作。我们采用租约的方式来实现:Client需要对获取到分区的租约才能对分区进行消费。所以Broker会包含一个租约模块(Leaser)。

所以Broker元数据模块会包含以下几块:

  • TopicManager

  • GroupManager

  • CursorManager

  • Leaser

4 消息写入模块

消息从Client发送到Broker,Broker接收到消息后会增强消息属性,比如给消息添加索引位置、存储位置、存储时间等属性,然后进行持久化。所以Broker端会有一个模块处理写入请求(Writer)。

5 消息读取模块

Broker需要将持久化的消息读取出来返回给客户端,且持久化WAL是多个Topic共享的,所以需要一个独立的读取模块(Reader)的从WAL的不同位置读取数据拼装成最终的结果返回给客户端。

6 存储模块

最终所有消息是要落盘的,所以Broker肯定包含了一个存储模块。存储模块使用WAL的方式实现,分为两块:存储队列和索引队列,消息会被写入到存储队列,然后构建索引,这块内容会在之后的Broker实现部分详细介绍。

(存储模块应该是整个消息中间件中最复杂的模块,本篇没有展现介绍,会在介绍系统具体实现时详细的描述整个存储层的实现)

除了以上这些模块外,Broker采用主从架构,必然会有负责主从复制的模块,还包括元数据的备份策略(元数据也是需要有多个备份的)。除此之外可能还有监控统计模块,用于监测系统状态,但这不在我们讨论的范围。

总结以上内容,Broker的模块大致如下:

结语

本篇内容主要是简单的介绍一下Broker内部模块的划分。按照计划,后续两篇内容应该分别是《NameServer模块分析》、《Client模块分析》,之后是开始进入详细设计的阶段,会开始定义各个实体及协议。

欢迎关注此公众号,将坚持不懈的写MQ相关的技术文章,希望能和更多的朋友交流。

Broker模块划分的更多相关文章

  1. 消息中间件Client模块划分

    上图是之间讨论确定的系统架构(后续内容会按照这个架构来叙述),其中: 客户端包含Producer和Consumer两大块 客户端需要和NameServer交互来获取元数据 客户端需要和Broker交互 ...

  2. MQ NameServer模块划分

    上图是之前讨论确定的系统架构(后续内容会按照这个架构来叙述),其中: NameServer做Broker的服务发现,即客户端可以通过NameServer拿到Broker的信息 Broker汇报数据到N ...

  3. Android 设计随便说说之简单实践(模块划分)

    上篇随笔随(Android 设计随便说说)便说了一下什么是设计以及设计的原则,这里举一个简单的例子来进一步的说Android设计.我们以应用商店的设计来举例. 在设计之前,需要把握两部分内容,才能使得 ...

  4. C模块划分

    模块划分的"划"是规划的意思,意指怎样合理的将一个很大的软件划分为一系列功能独立的部分合作完成系统的需求.C语言作为一种结构化的程序设计语言,在模块的划分上主要依据功能(依功能进行 ...

  5. angularJs项目实战!01:模块划分和目录组织

    近日来我有幸主导了一个典型的web app开发.该项目从产品层次来说是个典型的CRUD应用,故而我毫不犹豫地采用了grunt + boilerplate + angularjs + bootstrap ...

  6. 模块划分--MVVM指南(课程学习)

    实现流水化开发,需要使用“模块划分”的程序开发方式.如此,团队里的每个人负责某项\某几项特定的技术领域,在特定的技术领域更加专业.这样,每个人的效率更高.在专业的技能更熟练,更深入,也会提高队员的成就 ...

  7. FPGA常用设计思想与基本模块划分

    常用设计思想与技巧 (1)乒乓操作; (2)串并转换; (3)流水线操作; (4)异步时钟域数据同步.是指如何在两个时钟不同步的数据域之间可靠地进行数据交换的问题.数据时钟域不同步主要有两种情况: ① ...

  8. Ionic2实战——按模块划分app 创建多module

    http://www.jianshu.com/p/d94324b722af 背景 用ionic2开发过一两个小功能的朋友都会发现,每新建一个页面都需要在\src\app\app.module.ts中添 ...

  9. 用c写的简单的日历(学习模块划分)

    简单日历 ​ 主要目的是学习函数模块划分,成品大概是这样,加了一些花里胡哨的东西(/▽\) ​ 分三个模块,主函数.c 显示.c 计算.c 与.h 文件 有两种实现方式,区别在于是否以数组在模块之间传 ...

随机推荐

  1. 汽车Vin码识别技术的由来到发展

    核心内容:汽车Vin码.汽车车架号.Vin码识别.汽车Vin码识别.车架号识别.汽车车架号识别 一.汽车Vin码识别应用背景 随着二手车产业链发展越来越强大,在汽车买卖以及后市场应用中,了解车辆的相关 ...

  2. SQL写操作 设置内容 (数组转字符串)

    SQL写操作 设置内容 (数组转字符串) SQL set内容 SQL操作数组转字符串 SQL写操作 set内容 (数组转字符串) [ 封装方法 ] function getSqlSet( $data ...

  3. JSP/Servlet Web 学习笔记 DayTwo

    JSP指令 a)page指令 定义JSP文件中的全局属性.一个JSP页面可以包含多个page指令.除了Import以外,其他page指令定义的属性/值只能出现一次. 其详细语法为: <%page ...

  4. js创建对象的多种方式及优缺点

    在js中,如果你想输入一个的信息,例如姓名,性别,年龄等,如果你用值类型来存储的话,那么你就必须要声明很多个变量才行,变量声明的多了的话,就会造成变量污染.所以最好的方式就是存储到对象中.下面能我就给 ...

  5. JavaScript设计模式_03_代理模式

    代理模式是非常常见的模式,比如我们使用的VPN工具,明星的经纪人,都是代理模式的例子.但是,有人会疑问,明明可以直接访问对象,为什么中间还要加一个壳呢?这也就说到了代理模式的好处.在我看来,代理模式最 ...

  6. Java开发中的23+2种设计模式学习个人笔记(未完待续)

    注:个人笔记 一.设计模式分三大类: 创建型模式,共五种:工厂方法模式.抽象工厂模式.单例模式.建造者模式.原型模式. 结构型模式,共七种:适配器模式.装饰器模式.代理模式.外观模式.桥接模式.组合模 ...

  7. asp.net mvc中html helper的一大优势

    刚上手这个框架,发现其中的html helper用起来很方便,让我们这些从web form 过渡来的coder有一种使用控件的快感,嘻嘻! 言归正传,我要说的是在使用它时,系统会自动执行表单的现场恢复 ...

  8. IPhone开发“此证书是由未知颁发机构签名”解决办法

    有一种情况是你删除了钥匙串中的系统文件,只要重新下载,并双击(会自动添加到钥匙串中)就ok了. 从浏览器中直接敲入下载地址:http://developer.apple.com/certificati ...

  9. JAVA下JSON的类型输出及使用

    JSON类型的输出: import java.util.ArrayList; import java.util.HashMap; import net.sf.json.JSONArray; impor ...

  10. Maven中pom.xml的scope

    一.compile:编译范围compile是默认的范围:如果没有提供一个范围,编译范围依赖在所有的classpath 中可用,同时它们也会被打包.而且这些dependency会传递到依赖的项目中.   ...