Rocketmq学习1——Rocketmq架构&消息存储&刷盘机制

【Rocketmq学习1——Rocketmq架构&消息存储&刷盘机制】的更多相关文章

RocketMQ消息丢失解决方案：同步刷盘+手动提交

前言之前我们一起了解了使用RocketMQ事务消息解决生产者发送消息时消息丢失的问题,但使用了事务消息后消息就一定不会丢失了吗,肯定是不能保证的. 因为虽然我们解决了生产者发送消息时候的消息丢失问题,但也只是保证Broker正确的接收到了消息,实际上接收到的消息会保存在os cache中,如果此时broker机器突然宕机,os cache中的消息数据就丢失掉了. 而且就算是os cache中的消息已经刷盘到了磁盘中,如果磁盘突然就坏了,消息是不是也就丢失了. 所以我们还要考虑Broker如何保…

【RocketMQ】消息的刷盘机制

刷盘策略 CommitLog的asyncPutMessage方法中可以看到在写入消息之后,调用了submitFlushRequest方法执行刷盘策略: public class CommitLog { public CompletableFuture<PutMessageResult> asyncPutMessage(final MessageExtBrokerInner msg) { // ... try { // 获取上一次写入的文件 MappedFile mappedFile = thi…

rocketmq学习(二) rocketmq集群部署与图形化控制台安装

1.rocketmq图形化控制台安装虽然rocketmq为用户提供了使用命令行管理主题.消费组以及broker配置的功能,但对于不够熟练的非运维人员来说,命令行的管理界面还是较难使用的.为此,我们可以使用图形化的管理界面来简化管理操作. rocketmq官方推荐的图形化控制台目前还处在不成熟的孵化阶段.仓库地址为(https://github.com/apache/rocketmq-externals),其中包含了rocketmq相关拓展的.属于孵化期的各种项目.下载源码之后,找到rocket…

rocketmq学习(一) rocketmq介绍与安装

1.消息队列介绍消息队列本质上来说是一个符合先进先出原则的单向队列:一方发送消息并存入消息队列尾部(生产者投递消息),一方从消息队列的头部取出消息(消费者消费消息).但对于一个成熟可靠的消息队列来说,所需要解决的主要问题还包括:高效可靠的消息投递.存储:能承受高并发的流量冲击,可通过集群部署来解决单点故障等等. 由于消息队列具备了以上特点,因此在如今的微服务架构中能够作为一种中间件,提供许多重要的功能以解决微服务架构中的诸多痛点: 1.应用解耦微服务架构中,存在着众多子系统,共同完成对外部用…

RocketMQ学习笔记

RocketMQ学习笔记 RocketMQ学习参考官网文档:https://github.com/apache/rocketmq/tree/master/docs/cn . 由于RocketMQ是有国内阿里开发的MQ系统,因此RocketMQ的官网是有中文文档的,本文档也是参考官网文档整理的. 目录 RocketMQ学习笔记 1. RocketMQ概念 2. RocketMQ的架构设计 3. RocketMQ 安装部署 4. RocketMQ简单使用 4.1 生产者发送消息 4.2 生产者只向指…

【mq读书笔记】mq索引文件刷盘

索引文件的刷盘并不是采取定时刷盘机制,而是每更新一次索引文件就会将上一次的改动刷写到磁盘. 同步刷盘: GroupCommitRequest将被提交到GroupCommitService线程,GroupCommitService线程处理GroupCommitRequest对象后将调用wakeupCustomer方法将消费发送线程唤醒.并将刷盘告知GroupCommitRequest. 这里将写操作和读操作做了分离,避免了任务提交与任务执行的锁冲突 GroupCommitService每处理一批同…