1. 顺序消息原理图

2. 什么是顺序消息?

  消费消息的顺序要求同发送消息的顺序一致,在RocketMQ中,主要指的是局部顺序,即一类消息为满足顺序性,必须Producer单线程顺序发送,并且发送给到同一队列,这样Consumer就可以按照Producer发送的顺序去消费消息。

  2.1 普通顺序消息

  正常情况下可以保证完全的顺序消息,但是一旦发生通信异常,Broker重启,由于队列总数发生变化,哈希取模后定位的队列会变化,产生短暂的消息顺序不一致。

  如果业务能够容忍在集群异常(如某个Broker宕机或者重启)下,消息短暂乱序,使用普通顺序方式比较合适。

  2.2 严格顺序消息

  无论正常异常都保证顺序,但是牺牲了分布式Failover特性,即Broker集群中只要有一台机器不可用,则整个集群都不可用,服务可用性大大降低。

  如果服务器部署方式为同步双写模式,此缺陷可通过备机自动切换为主避免,不过仍然会存在短暂时间服务不可用。

  目前已知的应用只有数据库binlog同步强依赖严格顺序消息。其他应用绝大部分都可以容忍短暂乱序,推荐使用普通顺序消息。

3. 顺序消息缺陷 

  1. 发送顺序消息无法利用集群FailOver 特性
  2.  消费顺序消息的幵行度依赖亍队列数量
  3.  队列热点问题,个别队列由亍哈希丌均导致消息过多,消费速度跟丌上,产生消息堆积问题
  4.  遇到消息失败的消息,无法跳过,当前队列消费暂停

5. 顺序消息的使用方式

  跟普通消息相比,顺序消息的使用需要在producer的send()方法中添加MessageQueueSelector接口的实现类,并重写select选择使用的队列,因为顺序消息局部顺序,需要将所有消息指定发送到同一队列中。

  Producer实现如下:

package com.wangx.rocketmq.order;

import org.apache.rocketmq.client.exception.MQBrokerException;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.MessageQueueSelector;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.message.MessageQueue;
import org.apache.rocketmq.remoting.exception.RemotingException; import java.util.List; public class OrderProducer { public static void main(String[] args) throws MQClientException, RemotingException, InterruptedException, MQBrokerException {
DefaultMQProducer producer = new DefaultMQProducer("my-order-producer-group"); //2. 设置namesrvAddr,集群环境多个nameserver用;分割 producer.setNamesrvAddr("47.105.149.61:9876;47.105.145.123:9876");
//3. 启动
producer.start(); for (int i = 0; i < 4; i++) {
Message message = new Message("OrderTopic", "tabA", ("Hello World " + i).getBytes());
/**send() 方法中的MessageQueueSelector.select()方法用于指定消息队列,
* send() 的最后一个参数为队列下表,一个topic默认初始化四个队列
* select()方法中的第一个参数为队列list,里面存放队列,第二个为send()方法传入的message
* 第三个参数为send()方法传入的队列下标
*
*/
SendResult result = producer.send(message, new MessageQueueSelector() {
@Override
public MessageQueue select(List<MessageQueue> list, Message message, Object o) {
Integer qID = (Integer) o;
MessageQueue queue = list.get(qID);
return queue;
}
},1);
System.out.println(result);
}
producer.shutdown();
}
}

  与普通消息相比,Consumer的使用只需要在注册监听时使用MessageListenerOrderly对象,并重写consumeMessage即可,需要注意的是consumeMessage的返回值与普通消息不同,具体实现如下:

package com.wangx.rocketmq.order;

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;
import org.apache.rocketmq.common.message.MessageExt; import java.util.List; public class OrderConsumer { public static void main(String[] args) throws MQClientException {
//实例化一个consumer组
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("my-order-consumer-group");
//设置setNamesrvAddr,同生产者
consumer.setNamesrvAddr("47.105.149.61:9876;47.105.145.123:9876"); //设置消息读取方式,这里设置的是队尾开始读取
consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET); //设置订阅主题,第二个参数为过滤tabs的条件,可以写为tabA|tabB过滤Tab,*表示接受所有
consumer.subscribe("OrderTopic", "*"); //注册消息监听
consumer.registerMessageListener(new MessageListenerOrderly() {
@Override
public ConsumeOrderlyStatus consumeMessage(List<MessageExt> list, ConsumeOrderlyContext consumeOrderlyContext) {
try{
MessageExt ext = list.get(0);
int quID = ext.getQueueId();
String body = new String(ext.getBody(),"UTF-8");
System.out.println("quID: " + quID + "接收到消息:" + body);
}catch (Exception e) {
return ConsumeOrderlyStatus.SUSPEND_CURRENT_QUEUE_A_MOMENT;
}
return ConsumeOrderlyStatus.SUCCESS;
}
});
consumer.start();
}
}

  启动consumer,在启动producer,控制台打印如下:

quID: 1接收到消息:Hello World 0
quID: 1接收到消息:Hello World 1
quID: 1接收到消息:Hello World 2
quID: 1接收到消息:Hello World 3

  可以看到所有消息都在队列1中,且都是按照发送消息的顺序进行消费的。

  那么当向多个消息队列中分别顺序发送多条消息时是什么情况呢?

  分别下下标为1,2,3的三个队列中发送四条消息,代码如下:

package com.wangx.rocketmq.order;

import org.apache.rocketmq.client.exception.MQBrokerException;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.MessageQueueSelector;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.message.MessageQueue;
import org.apache.rocketmq.remoting.exception.RemotingException; import java.util.List; public class OrderProducer { public static void main(String[] args) throws MQClientException, RemotingException, InterruptedException, MQBrokerException {
DefaultMQProducer producer = new DefaultMQProducer("my-order-producer-group"); //2. 设置namesrvAddr,集群环境多个nameserver用;分割 producer.setNamesrvAddr("47.105.149.61:9876;47.105.145.123:9876");
//3. 启动
producer.start(); for (int i = 0; i < 4; i++) {
Message message = new Message("OrderTopic", "tabA", ("Hello World " + i).getBytes());
/**send() 方法中的MessageQueueSelector.select()方法用于指定消息队列,
* send() 的最后一个参数为队列下表,一个topic默认初始化四个队列
* select()方法中的第一个参数为队列list,里面存放队列,第二个为send()方法传入的message
* 第三个参数为send()方法传入的队列下标
*
*/
SendResult result = producer.send(message, new MessageQueueSelector() {
@Override
public MessageQueue select(List<MessageQueue> list, Message message, Object o) {
Integer qID = (Integer) o;
MessageQueue queue = list.get(qID);
return queue;
}
},1);
System.out.println(result);
}
for (int i = 0; i < 4; i++) {
Message message = new Message("OrderTopic", "tabA", ("Hello World " + i).getBytes());
/**send() 方法中的MessageQueueSelector.select()方法用于指定消息队列,
* send() 的最后一个参数为队列下表,一个topic默认初始化四个队列
* select()方法中的第一个参数为队列list,里面存放队列,第二个为send()方法传入的message
* 第三个参数为send()方法传入的队列下标
*
*/
SendResult result = producer.send(message, new MessageQueueSelector() {
@Override
public MessageQueue select(List<MessageQueue> list, Message message, Object o) {
Integer qID = (Integer) o;
MessageQueue queue = list.get(qID);
return queue;
}
},2);
System.out.println(result);
}
for (int i = 0; i < 4; i++) {
Message message = new Message("OrderTopic", "tabA", ("Hello World " + i).getBytes());
/**send() 方法中的MessageQueueSelector.select()方法用于指定消息队列,
* send() 的最后一个参数为队列下表,一个topic默认初始化四个队列
* select()方法中的第一个参数为队列list,里面存放队列,第二个为send()方法传入的message
* 第三个参数为send()方法传入的队列下标
*
*/
SendResult result = producer.send(message, new MessageQueueSelector() {
@Override
public MessageQueue select(List<MessageQueue> list, Message message, Object o) {
Integer qID = (Integer) o;
MessageQueue queue = list.get(qID);
return queue;
}
},3);
System.out.println(result);
}
producer.shutdown();
}
}

  消费者不变,控制台打印如下:

quID: 1接收到消息:Hello World 0
quID: 1接收到消息:Hello World 1
quID: 1接收到消息:Hello World 2
quID: 1接收到消息:Hello World 3
quID: 2接收到消息:Hello World 0
quID: 2接收到消息:Hello World 1
quID: 2接收到消息:Hello World 2
quID: 2接收到消息:Hello World 3
quID: 3接收到消息:Hello World 0
quID: 3接收到消息:Hello World 1
quID: 3接收到消息:Hello World 2
quID: 3接收到消息:Hello World 3

  这里很明显的看到,每个队列中所有消息均是按照顺序消费的,这里可能消息队列并不一定为1,2,3这样的方式顺序消费(因为每个队列对应单个线程,多个线程在跑时并不一定能够保证队列的顺序),但是针对单个队列中的消息,确实顺序的,这就是rockemq局部顺序的概念的实现。

  

随机推荐

  1. LRU Cache [LeetCode]

    Design and implement a data structure for Least Recently Used (LRU) cache. It should support the fol ...

  2. 51NOD 1623 完美消除 数位DP

    题目描述: 定义数的消除操作为选定[L,R,x],如果数的第L到第R位上的数字都大于等于x,并且这些数都相等,那么该操作是合法的(从低位到高位编号,个位是第一位,百位是第二位……),然后将这些位数上的 ...

  3. php 封装mysql 数据库操作类

    <?phpheader('content-type:text/html;charset=utf-8');//封装mysql   连接数据库php_mysql//封装mysql   连接数据库ph ...

  4. android 利用反射机制获取drawable中所有的图片资源

    public List<Map<String,Object>> getGridData() { list=new ArrayList<Map<String,Obje ...

  5. Android的5样的调试信息

    Android的5样的调试信息 华清2014-10-23   北京海淀区  张俊浩 verbose:只是滤全部的信息. 啰嗦的意思. debug:debug调试的意思. info:一般提示的信息inf ...

  6. R语言︱噪声数据处理、数据分组——分箱法(离散化、等级化)

    每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 分箱法在实际案例操作过程中较为常见,能够将一些 ...

  7. 恶补web之五:dhtml学习

    dhtml是一种使html页面具有动态特性的艺术.对于多数人来说dhtml意味着html(html DOM),样式表和javascript的组合. dhtml不是w3c标准.dhtml指动态html, ...

  8. ORACLE11g 重装系统后根据dbf恢复数据库

    1.安装一个和原系统一致的oracle 环境,主要包括版本.数据名sid.实例名.路径和数据库编码一致 2.修改listener.ora的参数 SID_LIST_LISTENER = (SID_LIS ...

  9. RabbitMQ,Windows环境下安装搭建

    切入正题:RabbitMQ的Windows环境下安装搭建 一.首先安装otp_win64_20.1.exe,,, 二.然后安装,rabbitmq-server-3.6.12.exe, 安装完成后,在服 ...

  10. java---同步与并发概念

    Java中并发的形式无非是多线程和多进程两种形式.这两种形式都是可以利用多核来发挥计算能力的. 先说并发: 多进程意味着同时运行多个JVM,这个代价通常比多线程高,每个JVM都有自己的堆栈.都要分别加 ...