broker消息接收,假设接收的是一个普通消息(即没有事务),此处分析也只分析master上动作逻辑,不涉及ha。

1. 如何找到消息接收处理入口

可以通过broker的监听端口10911顺藤摸瓜式的找到 NettyClientConfig.setListenPort-->BrokerStartup-->BrokerController-->NettyRemotingServer
com.alibaba.rocketmq.remoting.netty.NettyDecoder com.alibaba.rocketmq.remoting.netty.NettyRemotingServer.NettyServerHandler.channelRead0(ChannelHandlerContext, RemotingCommand)

也可以顺着broker的启动脚本找到
BrokerStartup-->BrokerController-->NettyRemotingServer

因为rocketmq连接层默认使用netty开发,如果熟悉netty的话,
可以直接查找ChannelInitializer或者pipeline().addLast等

2. 调试NettyDecoder

com.alibaba.rocketmq.remoting.netty.NettyDecoder.decode(ChannelHandlerContext, ByteBuf)
会调用RemotingCommand.decode(byteBuffer)组装RemotingCommand
在com.alibaba.rocketmq.remoting.protocol.RemotingCommand.decode(ByteBuffer) 中断点 排除如下code

 cmd.getCode() != 0 && cmd.getCode() != 34 && cmd.getCode() != 15
&& cmd.getCode() != 38 && cmd.getCode() != 11

用producer的client发一条消息到broker
发现RemotingCommand.decode解析出来的RemotingCommand的code为310 310对应RequestCode.SEND_MESSAGE_V2 发送消息

此时处理线程是:Thread [NettyServerWorkerThread_2]
RemotingCommand主要描述了操作code、opaque号、body即消息体。

3. 调试NettyServerHandler

对com.alibaba.rocketmq.remoting.netty.NettyRemotingServer.NettyServerHandler.channelRead0(ChannelHandlerContext, RemotingCommand)断点
断点条件属性是msg.getCode() == 310
此时处理线程是:Thread [NettyServerWorkerThread_2]

4. NettyRemotingAbstract

com.alibaba.rocketmq.remoting.netty.NettyRemotingAbstract.processRequestCommand(ChannelHandlerContext, RemotingCommand)
方法负责分发给相应的NettyRequestProcessor实例
负责处理的是com.alibaba.rocketmq.broker.processor.SendMessageProcessor@17fb0278
处理线程是:Thread [SendMessageThread_1],跟上面的处理已经不在一个线程上了,异步

5. SendMessageProcessor

SendMessageProcessor.processRequest(ChannelHandlerContext, RemotingCommand)介入处理
构建SendMessageRequestHeader
进入SendMessageProcessor.sendMessage(ChannelHandlerContext, RemotingCommand, SendMessageContext, SendMessageRequestHeader)
int queueIdInt = requestHeader.getQueueId(); 作用是什么 什么时候确定的id
构建MessageExtBrokerInner实例 tags转tagsCode 就是tags的String的hashcode

PutMessageResult putMessageResult = this.brokerController.getMessageStore().putMessage(msgInner);

交给MessageStore进行put(store,进行存放)

6. DefaultMessageStore

com.alibaba.rocketmq.store.DefaultMessageStore.putMessage(MessageExtBrokerInner) 消息topic的长度校验 不能超过127
消息properties转成字符串后,长度不能超过32767
下面交个CommitLog进行putMessage

7. CommitLog

com.alibaba.rocketmq.store.CommitLog.putMessage(MessageExtBrokerInner)
设置存储时间
设置消息体CRC校验值
交给MapedFile进行存储mapedFile.appendMessage(msg, this.appendMessageCallback)

8. MapedFile

mapedFile.appendMessage(msg, this.appendMessageCallback)
获取当前文件已经写到什么位置了
文件已经做了map map到mappedByteBuffer 讲当前的mappedByteBuffer 割出来并设置position为当前写位置
交由callback做append
callback是CommitLog$DefaultAppendMessageCallback
传给callback的参数有

  • 1. 这个文件的offset,意思是:一个broker要存储很多消息,那么一个文件肯定不够存,当存到第二个文件的时候,这个文件里的第一条消息相对于整个broker中的消息有个offset,此值是文件名。
  • 2. 从store文件映射的buffer中割出来的byteBuffer
  • 3. 文件的剩余空间
  • 4. 消息体

8.1 callback中append逻辑:

计算wroteOffset 即整个broker中的offset, 代码注释中称之为物理offset,计算逻辑也很简单即上面参数1+这条消息在这个文件中的position
计算消息id,逻辑使用主机物理IP加上一步的wroteOffset计算,用了ByteBuffer处理,比较高效,待完善验证用例。
获取这个topic的这个队列的offset(一个topic写多个队列),这个offset有啥用?估计是用于快速查找
将消息bean对象用msgStoreItemMemory进行以约定消息体的形式进行byte的put
将msgStoreItemMemory put到上面传进来的参数2的buffer 即写入磁盘
构建append结果,没啥逻辑,主要是一些信息 AppendMessageResult
将消息在这个队列中的offset加1
更新MapedFile的wrotePostion,就是将原来的wrotePostion加上这次写入的字节数
此时订阅断已经收到消息,(应该更早,待确认,待分析消息如何送到consume的)

8.2 回CommitLog--:

构建 PutMessageResult对象。

8.3 处理同异步刷盘逻辑

同步刷盘 用GroupCommitService, 其中使用了多条消息一起刷的设计,并且设计了刷盘如果超时的异常场景的反馈
异步刷盘 用CommitLog$FlushRealTimeService(是一个线程,此时会叫醒他)

8.4 处理主从双机同异步同步逻辑

同步形式同步从节点 交由HAService 实时同步,并等待同步结果。
异步不用管。

9. 收集统计数据

耗时等等

10. 对非oneway的消息做response处理

rocketmq源码分析2-broker的消息接收的更多相关文章

  1. RocketMQ源码分析之从官方示例窥探:RocketMQ事务消息实现基本思想

    摘要: RocketMQ源码分析之从官方示例窥探RocketMQ事务消息实现基本思想. 在阅读本文前,若您对RocketMQ技术感兴趣,请加入RocketMQ技术交流群 RocketMQ4.3.0版本 ...

  2. RocketMQ 源码分析 —— Message 发送与接收

    1.概述 Producer 发送消息.主要是同步发送消息源码,涉及到 异步/Oneway发送消息,事务消息会跳过. Broker 接收消息.(存储消息在<RocketMQ 源码分析 —— Mes ...

  3. RocketMQ源码分析之RocketMQ事务消息实现原理上篇(二阶段提交)

    在阅读本文前,若您对RocketMQ技术感兴趣,请加入 RocketMQ技术交流群 根据上文的描述,发送事务消息的入口为: TransactionMQProducer#sendMessageInTra ...

  4. 【TencentOS tiny】深度源码分析(4)——消息队列

    消息队列 在前一篇文章中[TencentOS tiny学习]源码分析(3)--队列 我们描述了TencentOS tiny的队列实现,同时也点出了TencentOS tiny的队列是依赖于消息队列的, ...

  5. ROCKETMQ源码分析笔记1:tools

    rocketmq源码解析笔记 大家好,先安利一下自己,本人男,35岁,已婚.目前就职于小资生活(北京),职位是开发总监. 姓名DaneBrown 好了.我保证本文绝不会太监!转载时请附上以上安利信息. ...

  6. ROCKETMQ源码分析笔记2:client

    CLIENT 之前讲过tools里面有大量调用client的东西.为了从源码层面了解rocket,决定啃下client这块骨头. pom 先看pom,看看CLIENT依赖谁.看完后原来是依赖commo ...

  7. RocketMQ 源码分析之路由中心(NameServer)

    你可能没有看过 RocketMQ 的架构图,没关系,一起来学习一下,RocketMQ 架构图如下: 在 RocketMQ 中,有四个角色: Producer:消息的生产者,每个 MQ 中间件都有. C ...

  8. RocketMQ源码分析之RocketMQ事务消息实现原理中篇----事务消息状态回查

    上节已经梳理了RocketMQ发送事务消息的流程(基于二阶段提交),本节将继续深入学习事务状态消息回查,我们知道,第一次提交到消息服务器时消息的主题被替换为RMQ_SYS_TRANS_HALF_TOP ...

  9. rocketmq源码分析3-consumer消息获取

    使用rocketmq的大体消息发送过程如下: 在前面已经分析过MQ的broker接收生产者客户端发过来的消息的过程,此文主要讲述订阅者获取消息的过程,或者说broker是怎样将消息传递给消费者客户端的 ...

随机推荐

  1. Odoo 二次开发教程(五)-新API的介绍与应用

    [关于odoo新API的介绍,Internet上资料很少,或者不够完整详实,这会对初学者造成很大的困惑,本篇的目的就是希望能帮助新手了解新API的大概] odoo 新api的实现是借助于python装 ...

  2. BZOJ 1018 线段树维护图连通性

    用8个bool维护即可分别为LURU,LURD,LDRU,LDRD,LULD,RURD,Side[1],Side[2]即可. Side表示这一块有没有接到右边.Merge一下就可以了.码农题,WA了一 ...

  3. Java集合---ArrayList的实现原理

    目录: 一. ArrayList概述 二. ArrayList的实现 1) 私有属性 2) 构造方法 3) 元素存储 4) 元素读取 5) 元素删除                 6) 调整数组容量 ...

  4. duplicate symbols for architecture armv7解决办法

    XCODE编译的时候报错:duplicate symbols for architecture armv7   1.首先排查是否有名字重复的文件:   2.检查是否在#import头文件的时候,不小心 ...

  5. Quartz与Spring整合进行热部署的实现(二)

    Spring的org.springframework.scheduling.quartz.JobDetailBean提供Job可序列化的实现(具体实现可查看源码) 此时.我们原来的job就可以继承Qu ...

  6. auto_ptr的使用原则

    auto_ptr是c++标准库中的一种严格所有权型的智能指针,实现在backward/auto_ptr.h文件中 pro: 1.做临时变量时,不需要手动去释放资源 void f() { ClassA ...

  7. UIScrollView 不能滚动的问题

    uiscrollview是开发sdk自带的控件, 在使用的时候,发现滚动不了, 最常山见的原因是 contentSize 这个属性,比uiscrollview的frame要小...所以无需滚动,自然就 ...

  8. C++ 继承的访问权限

    1.它解决什么问题?为什么设计出继承的各种访问权限? 可以这样认为,C++继承会把父类的东西拉到自己这里,这些东西都是自己的,父类中的字段和方法都有访问权限,如果我想改变这些东西的访问权限,该怎么办? ...

  9. C# Code First 实例学习

    Code First是Entity Framework提供的一种新的编程模型.通过Code First我们可以在还没有建立数据库的情况下就开始编码,然后通过代码来生成数据库.下面具体讲解一下,在操作的 ...

  10. [Swift]LeetCode674. 最长连续递增序列 | Longest Continuous Increasing Subsequence

    Given an unsorted array of integers, find the length of longest continuous increasing subsequence (s ...