1. 问题描述 rocketmq消费者偶有没有收到消息,查看后台, 显示NOT_CONSUME_YET 2. 分析 mq控制台 显示有该条消息数据 只是状态为未消费 那么问题应该出在 消费者一方 诶? 为什么有时能收到呢 排查代码后发现: 消费者consumeMessage方法里 没有捕获异常,出现空指针的代码 这样造成了该条消息没有返回ConsumeOrderlyStatus状态 标记为已消费 所以一直循环消费该消息 日志里循环打印…
搭建RocketMQ 系统环境准备 64位操作系统,推荐使用Linux.Unix.MacOS 64位 JDK1.8+ Maven 3.2.x 适用于Broker服务器的4g +可用磁盘 下载与搭建 下载 从Apache RocketMQ的官网[http://rocketmq.apache.org/ ]可以进入RocketMQ的下载地址,目前最新的版本为4.5.2[http://rocketmq.apache.org/release_notes/release-notes-4.5.2/ ],下载B…
1. 下载开源的rocketmq-externals项目 https://github.com/apache/rocketmq-externals 2. 找到rocketmq-console,先编辑一下rocketmq-console里面的application.properties文件,将项目使用的rocketmq.config.namesrvAddr配置上去(或者在项目启动时,以参数的形式配进去) 3. 由于rocketmq的4.4.0版本已经发布,所以4.4.0-SNAPSHOT好像已经没…
本文未完成,有空再补充,不小心发布了,抱歉 Rocket版本:4.3.0 这几天在整RocketMQ,可谓是困难重重,其中关于控制台的命令,网上的都是一半一半的, 所以我打算直接用整一个完整的官方的命令的翻译以及使用详解. 其中很多命令我都没用过,反正我尽量将我用过的,知道的命令加以解释吧. 其他没用过的就原文代替,所以本文会随着我的使用而更新. 题外话:关于broker.conf的问题 初始的broker.conf文件一开始只有开头注释和几个配置项,其他配置项并没有在文件里显示,而且我在里面改…
就像发现新大陆一般,瞎折腾,搞出来了..并没有网上说的一大串....(本人公司的项目从未使用过springboot....) rocketmq  控制台,官方使用springboot 做后端,前端使用angularJs....看来以后的趋势都是这样,项目都会用springboot启动,简化配制.导致我刚开始启动的方式不对... 废话说完了,开始: 环境:启动mqnamesrv  和broker 不熟悉的话请看http://rocketmq.apache.org/docs/quick-start/…
rocketMQ控制台搭建 (1)下载rocketmq-console代码:https://github.com/875279177/incubator-rocketmq-externals (2)修改配置application配置文件,主要修改端口号及rocketmq.config.dataPath server.contextPath= server.port= #spring.application.index=true spring.application.name=rocketmq-c…
1.1.服务器环境 192.168.100.24 root nameServer1,brokerServer1 Master1 192.168.100.25 root nameServer2,brokerServer2 Master2 1.2.Hosts添加信息 192.168.100.24 rocketmq-nameserver1 192.168.100.24 rocketmq-master1 192.168.100.25 rocketmq-nameserver2 192.168.100.25…
目录 一.引言 二.介绍 三.Rocketmq关键概念 1.主题与标签 2.发送与订阅群组 3.Broker与NameServer 4.广播消费与集群消费 5.消息队列 6.集群方式 7.顺序消息 8.数据存储结构 四.所有消息中间件 涉及的业务问题(随便看看) 1.Publish/Subscribe 发布订阅 2.Message Priority 消息优先级 3.Message Order 消息有序 4.Message Filter 消息过滤 5.Message Persistence 消息持…
基于最新的RocketMQ4.2版本,搭建2Master模式. 硬件环境:centos6.9_x64(两台虚拟机) IP1:192.168.150.128 IP2:192.168.150.129 1.从github下载RocketMQ4.2 https://github.com/apache/rocketmq/archive/rocketmq-all-4.2.0.tar.gz 因为下载的是源码文件,所以需要先用mvn构建之后才可以使用,如果在windows环境下使用mvn构建那么生成的sh脚本需…
实战,用案例来说话 前面已经说了JMS和RocketMQ一些概念和安装,下面使用SpringBoot来亲身操作一下. 生产者的操作 SpringBoot项目创建完成,引入依赖是第一步: <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <de…
当我们用RocketMQ发送信息的时候通常都会返回如下信息: SendResult [sendStatus=SEND_OK, msgId=0A42333A0DC818B4AAC246C290FD0000, offsetMsgId=0A42333A00002A9F000000000134F1F5, messageQueue=MessageQueue [topic=topicTest1, brokerName=mac.local, queueId=3], queueOffset=4] 对于客户端来说…
前言 本文档是针对RocketMQ使用及常见问题的说明. 一.获取项目.安装包及文档 1. alibaba/RocketMQ https://github.com/alibaba/RocketMQ 2. Download the latest release package https://github.com/alibaba/RocketMQ/releases 3. Get the latest document & Who using RocketMQ https://github.com/…
消息队列的流派 什么是 MQ Message Queue(MQ),消息队列中间件.很多人都说:MQ 通过将消息的发送和接收分离来实现应用程序的异步和解偶,这个给人的直觉是——MQ 是异步的,用来解耦的,但是这个只是 MQ 的效果而不是目的.MQ 真正的目的是为了通讯,屏蔽底层复杂的通讯协议,定义了一套应用层的.更加简单的通讯协议.一个分布式系统中两个模块之间通讯要么是 HTTP,要么是自己开发的 TCP,但是这两种协议其实都是原始的协议.HTTP 协议很难实现两端通讯——模块 A 可以调用 B,…
在上一章分析了NamesrvController的构造函数时,会生成一个RouteInfoManager对象,该对象存放着整个消息集群的相关消息,所以这里单独拿出来分析.其实试想一下namesrv的功能不就是一个提供了通信功能的一个队列嘛,而RouteInfoManager保留了所有信息的路由.所以要想弄明白RocketMQ,RouteInfoManager必须要攻下. RouteInfoManager的构造函数 主要提供了topic.broker.cluster.liveBroker的路由信息…
SpringBoot整合RocketMQ 上篇博客讲解了服务器集群部署RocketMQ 博客地址:RocketMQ(2)---Docker部署RocketMQ集群 这篇在上篇搭建好的基础上,将SpringBoot整合RocketMQ实现生产消费. GitHub地址: https://github.com/yudiandemingzi/SpringBootBlog 一.搭建步骤 先说下技术大致架构 SpringBoot2.1.6 + Maven3.5.4 + rocketmq4.3.0 + JDK…
1. 安装 Namesrv 拉取镜像 docker pull rocketmqinc/rocketmq:4.4.0` 启动容器 docker run -d -p 9876:9876 -v {RmHome}/data/namesrv/logs:/root/logs -v {RmHome}/data/namesrv/store:/root/store --name rmqnamesrv -e "MAX_POSSIBLE_HEAP=100000000" rocketmqinc/rocketm…
一.项目背景 由于当前生产环境RocketMQ机器使用年限较长,已经过保,并且其中一台曾经发生过异常宕机事件.并且早期网络规划较乱,生产.开发.测试等网络没有分开,公司决定对当前网络进行规划,区分各个环境网段.机柜,涉及到MQ集群需要迁移,由于物理机比较老旧,使用决定使用新机器替换老机器,并且之前的MQ集群为多master模式,当master宕机是会导致部分消息不可消费,决定将模式同时修改为多master多slave同步双写同步刷盘模式(本公司生产MQ压力较小,如果MQ压力大可以使用异步刷盘模式…
1.rocket 入门使用 http://rocketmq.apache.org/docs/quick-start/ 2.内存不够 默认配置内存配置比较高,在测试环境启动会有问题因此需要调整默认的内存配置. 编辑runbroker.sh JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx1g -Xmn512m" 编辑runserver.sh JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx1g -Xmn…
常用MQ介绍及对比--<MQ详解及四大MQ比较> RocketMQ环境搭建--<RocketMQ之三:RocketMQ集群环境搭建> RocketMQ物理部署结构 RocketMQ的消息存储--<RocketMQ之六:RocketMQ消息存储> RocketMQ各角色基本数据结构 RocketMQ生产者发送消息过程 RocketMQ消费者 RocketMQ Broker RocketMQ优化 一.RocketMQ介绍 RocketMQ 是阿里巴巴开源的分布式消息中间件.…
编写生产者 集成 添加依赖 <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-spring-boot-starter</artifactId> <version>2.0.3</version> </dependency> PS:由于默认引入的rocketmq-spring-boot-starter版本为2.0.2,r…
# 运维管理--- ### 1 集群搭建 #### 1.1 单Master模式 这种方式风险较大,一旦Broker重启或者宕机时,会导致整个服务不可用.不建议线上环境使用,可以用于本地测试. ##### 1)启动 NameServer ```bash### 首先启动Name Server$ nohup sh mqnamesrv & ### 验证Name Server 是否启动成功$ tail -f ~/logs/rocketmqlogs/namesrv.logThe Name Server bo…
一.RocketMQ环境 准备两台虚拟机,分别为master01 和master02 二.安装JDK(两台虚拟机相同步骤) 1. 检查当前虚拟机环境有没有JDK rpm -qa|grep java (如若有便卸载 rpm -e --nodeps xxxxxx) 2.安装JDK,在/usr/local新建一个java文件夹,然后将tar包上传到文件夹下 3.切换到/usr/local/java 使用tar -zxvf jdk-8u121-linux-x64.tar.gz解压 4.配置/etc/pr…
学任何技术都是两步骤: 搭建环境 helloworld 我也不例外,直接搞起来. 一.RocketMQ的安装 1.文档 官方网站 http://rocketmq.apache.org GitHub https://github.com/apache/rocketmq 2.下载 wget https://mirror.bit.edu.cn/apache/rocketmq/4.7.0/rocketmq-all-4.7.0-bin-release.zip 我们是基于Centos8来的,面向官方文档学习…
1. 概念和特性 概念:介绍RocketMQ的基本概念模型 1 消息模型(Message Model) RocketMQ主要由 Producer.Broker.Consumer 三部分组成,其中Producer 负责生产消息,Consumer 负责消费消息,Broker 负责存储消息. Broker 在实际部署过程中对应一台服务器,每个 Broker 可以存储多个Topic的消息,每个Topic的消息也可以分片存储于不同的 Broker. Message Queue 用于存储消息的物理地址,每个…
在互联网企业技术架构中,MQ占据了越来越重要的地位.系统解耦.异步通信.削峰填谷.数据顺序保证等场景中,到处都能看到MQ的身影. 而测试工程师在工作中,也经常需要和mq打交道,比如构造测试数据,触发某些业务场景,以及针对mq的性能测试等. 目前业界中比较知名的mq产品有kafka.rabbitmq.rocketmq等.今天我主要来介绍下如何使用Jmeter来向rocketmq发送消息,实现对mq发消息功能的性能测试. 先来简单介绍下Rocketmq RocketMQ 是一款分布式.队列模型的消息…
一.环境: centos7(2台虚拟机):192.168.64.123:192.168.64.125 apache-maven-3.2.5(官网要求maven版本是3.2.x,版本不同,编译rocketmq时可能会有问题) rocketmq-all-4.4.0 jdk1.8.0_161 二.安装maven 设置jdk.maven环境变量 vim  /etc/profile  ,添加如下代码,然后  source /etc/profile (此处省略安装步骤~) export JAVA_HOME=…
原创:西狩 编写日期 / 修订日期:2020-01-12 / 2020-01-12 版权声明:本文为博主原创文章,遵循 CC BY-SA-4.0 版权协议,转载请附上原文出处链接和本声明. 背景 该小节交代问题发生的背景,急需解决问题的小伙伴,可以跳过本节,直接看下一小节. 因为项目提测,需要搭建一套测试环境.所以呢,是时候展示真正的技术啦!在搞定了容器.中间件.项目镜像后,小西登录系统对各大模块的功能进行测试.事情到了这里,小西本来应该会就这样愉快地完成了部署任务,可是生活总是会给你带来意想不…
最近在学习RocketMQ相关的东西,在学习之余沉淀几篇笔记. RocketMQ有很多值得关注的设计点,消息发送.消息消费.路由中心NameServer.消息过滤.消息存储.主从同步.事务消息等等. 本篇不需要你有使用RocketMQ的前置条件,完全从消息存储的直接实现上来分析RocketMQ的Store包. 0.队列文件存储思考 在开始之前,先来做一个简单思考. MQ既然要接收大量的消息,这些消息如果全部存在内存,是否可行呢? 在机器内存的限制下当然不行,那么就要考虑非内存的存储方式. 数据库…
作者|绍舒 审核&校对:岁月.佳佳 编辑&排版:雯燕 前言 消息队列是分布式互联网架构的重要基础设施,在以下场景都有着重要的应用: 应用解耦 削峰填谷 异步通知 分布式事务 大数据处理 并涉及互动直播.移动互联网&物联网,IM 实时通信.Cache 同步.日志监控等多个领域. 而本文主要围绕着商业版本的消息队列 RocketMQ,和开源版本 RocketMQ 进行比较,并结合一些实践中的场景来展示大型分布式应用的上云最佳实践. 核心能力 商业版本消息队列 RocketMQ 相比较开…
基础 1.为什么要使用消息队列呢? 消息队列主要有三大用途,我们拿一个电商系统的下单举例: 解耦:引入消息队列之前,下单完成之后,需要订单服务去调用库存服务减库存,调用营销服务加营销数据--引入消息队列之后,可以把订单完成的消息丢进队列里,下游服务自己去调用就行了,这样就完成了订单服务和其它服务的解…