【生产者的不同写入策略】

生产者向消息队列里写入数据,不同的业务需要生产者采用不同的写入策略:

同步发送、异步发送、延迟发送、发送事务消息等。

【DefaultMQProduce示例】

public class ProducerQuickStart {

    public static void main(String[] args) throws MQClientException,InterruptedException {
/**1.设置Producer的GroupName**/
DefaultMQProducer producer = new DefaultMQProducer("GROUP_B");
/**2.设置Instance**/
producer.setInstanceName("instanceB");
/**3.设置发送失败的重试次数**/
producer.setRetryTimesWhenSendFailed();
/**4.设置NameServer的地址**/
producer.setNamesrvAddr("127.0.0.1:9876;127.0.0.2:9876");
/**5.启动Producer**/
producer.start();
for (int i = ; i < ; i++) {
try{
/**6.组装消息并发送**/
Message msg = new Message("TopicTest","TagA",
("Hello HigginCui:"+i).getBytes(RemotingHelper.DEFAULT_CHARSET));
producer.send(msg, new SendCallback() {
@Override
public void onSuccess(SendResult sendResult) {
System.out.println("sendResultStatus:" + sendResult.getSendStatus());
} @Override
public void onException(Throwable e) {
e.printStackTrace();
}
});
}catch (Exception e){
e.printStackTrace();
Thread.sleep();
}
}
producer.shutdown(); }
}

[ 提示:设置Instance ]

当一个JVM需要启动多个Producer的时候,通过设置不同的InstanceName来区分,不设置的话系统使用默认名称“DEFAULT”。

[ 提示:设置发送失败的重试次数 ]

当网络出现异常的时候,这个次数影响消息的重复投递次数。想保证消息不丢失,可以设置多重试几次。

【消息发送的返回值】

FLUSH_DISK_TIMEOUT
刷盘超时(需要Broker设置为SYNC_FLUSH同步刷盘才会报这个错)
FLUSH_SLAVE_TIMEOUT
主从同步超时(在主备方式,且Broker设置为SYNC_MASTER情况下)
SLAVE_NOT_AVALIABLE
没有找到被设置成SLAVE的Broker。(在主备方式,且Broker设置成SYNC_MASTER的情况下)
SEND_OK
发送成功(需要结合所配置的 刷盘策略、主从策略来定)

【延迟消息】

RocketMQ支持延迟消息,Broker收到这类消息后,延迟一段时间再处理,使消息在规定的一段时间内生效。

延迟消息使用方法:

在创建Message对象时,调用setDelayTimeLevel(int level)方法设置延迟时间,然后再把这个新消息发送出去。

目前延迟消息不支持任意设置,仅支持预设值的时间长度(1s/5s/10s/30s/1m/2m/3m/4m/5m/6m/7m/8m/9m/10m/20m/30m/1h/2h)。如setDelayTimeLevel(3)表示延迟10s。

【自定义消息发送规则】

  一个Topic下会有多个MessageQueue,如果使用Producer的默认配置,这个Producer会轮流向各个MessageQueue发送消息。Consumer消费的时候,会根据负载均衡策略,消费分配到的MessageQueue。不经过特定设置,某条消息发往哪个MessageQueue,被哪个Consumer消费都是未知的,

[ 如果把同一类型的消息发往相同的MessageQueue? ]

想把同一类型的消息发往相同的MessageQueue,可以用MessageQueueSelector。

代码示例:

public class OrderMessageQueueSelector implements MessageQueueSelector {

    /**
* 根据订单的id值平均分配对应的MessageQueue
* @param mqs 消息队列
* @param msg 消息
* @param orderKey
* @return
*/
@Override
public MessageQueue select(List<MessageQueue> mqs, Message msg, Object orderKey) {
int id = Integer.parseInt(orderKey.toString());
int idMainIndex = id/;
int size = mqs.size(); //MessageQueue的总数
int index= idMainIndex /size ;
return mqs.get(index); //返回选中的MessageQueue
}
}

在发送消息的时候,把MessageQueueSelector的对象作为参数,使用

MQProducer接口的自定义发送方法:
SendResult send(final Message msg, final MessageQueueSelector selector, final Object arg)

在MessageQueueSelector的实现中,根据传入的Object参数,或者根据Message消息内容确定把消息发往哪个MessageQueue,返回被选中的MessageQueue。

【事务消息】

RocketMQ的事务消息:发送消息事件和其他事件需要同时成功或失败。

如转账操作:A账户转账1W到B账户,A发送"B账户加1W"的消息,要和"A账户扣除1W"的这个操作同时成功或失败。

[ 关键词 ]

两阶段提交。

[ 大致流程 ]

RocketMQ采用两阶段提交的方式实现事务消息。

TransactionMQProducer处理流程如下:

1.先发一个"B账户增加1W"的待确认消息。

2.发送成功后做"A账户扣除1W"的操作

3.根据"A账户扣除1W"的操作成功与否,决定之前"B账户增加1W"的消息是commit还是rollback。

[ 具体流程 ]

1.Producer向MQ发送"B账户增加1W"的待确认消息。

2.RocketMQ将这个待确认消息持久化成功后,向Producer回复消息发送成功,此时第一阶段消息发送完成。

3.执行本地事件逻辑,即"A账户扣除1W"的操作。

4.Producer根据本地事件执行结果向RocketMQ发送二次确认(Commit或RollBack)消息:

如果收到Commit状态则将第一阶段的待确认消息标记为“可投递”,Consumer将收到该消息;

如果收到RocketBack状态则删除第一阶段的待确认消息,Consumer无法收到该消息。

5.若中途出现异常,步骤4提交的二次确认最终未到达RocketMQ,服务器在经过固定的时间会对“待确认”消息发起回查请求。

6.Producer收到回查请求后,通过检查本地对应消息的本地事件执行结果返回Commit或RockBack状态(如果发送第一阶段待确认消息的Producer不能工作,回查请求将被发送到和Producer在同一个Group里的其他Producer)。

【为什么RocketMQ4.x版本删除事务消息】

虽然上述的方案很好地实现了事务消息功能,也是RocketMQ之前的版本实现事务消息的逻辑,因为RocketMQ依赖将数据顺序写到磁盘的这个特征来提高性能,步骤4需要更改第一阶段待确认消息的状态,这样会导致磁盘Catch的脏页过多,降低了系统性能,所以RocketMQ在4.x版本将这部分功能去除了。

RocketMQ读书笔记2——生产者的更多相关文章

  1. RocketMQ读书笔记7——吞吐量优先的场景

    [Broker端进行消息过滤] 在Broker端进行消息过滤,可以减少无效消息发送到Consumer,少占用网络宽带从而提高吞吐量. [过滤方式1——通过Tag过滤] [ 关于Tag和Key ] 对一 ...

  2. RocketMQ读书笔记6——可靠性优先的使用场景

    [顺序消息] 顺序消费是指消息的产生顺序和消费顺序相同. 比如订单的生成.付款.发货,这三个消息必须按顺序处理才可以. [顺序消息的分类] 全局顺序消息和部分顺序消息. 上面订单的例子,其实是部分顺序 ...

  3. RocketMQ读书笔记5——消息队列的核心机制

    [Broker简述] Broker是RocketMQ的核心,大部分“重量级”的工作都是由Broker完成的,包括: 1.接受Producer发过来的消息: 2.处理Consumer的消费信息请求: 3 ...

  4. RocketMQ读书笔记4——NameServer(MQ的协调者)

    [NameServer简述] 对于一个消息队列集群来说,系统由很多机器组成,每个机器的角色.IP地址都不相同,而且这些信息是变动的(如在某些情况下,会有新的Producer或Consumer加入). ...

  5. RocketMQ读书笔记3——消费者

    [不同类型的消费者] DefaultMQPushConsumer 由系统控制读取操作,收到消息后自动调用传入的处理方法来处理. DefaultMQPullConsumer 读取操作中的大部分功能由使用 ...

  6. RocketMQ读书笔记1——简述

    [消息队列的功能介绍] 分布式消息队列可以提供应用解耦.流量削峰.消息分发.保证最终一致性.方便动态扩容等功能. [MQ使用场景1——应用解耦] 复杂的系统如电商系统,会存在多个子系统,如订单系统.库 ...

  7. how tomcat works 读书笔记四 tomcat的默认连接器

    事实上在第三章,就已经有了连接器的样子了,只是那仅仅是一个学习工具,在这一章我们会開始分析tomcat4里面的默认连接器. 连接器 Tomcat连接器必须满足下面几个要求 1 实现org.apache ...

  8. <<操作系统精髓与设计原理>>读书笔记(一) 并发性:互斥与同步(1)

    <<操作系统精髓与设计原理>>读书笔记(一) 并发性:互斥与同步 并发问题是所有问题的基础,也是操作系统设计的基础.并发包括很多设计问题,其中有进程间通信,资源共享与竞争,多个 ...

  9. 《Apache kafka实战》读书笔记-管理Kafka集群安全之ACL篇

    <Apache kafka实战>读书笔记-管理Kafka集群安全之ACL篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家能看到这篇博客的小伙伴,估计你对kaf ...

随机推荐

  1. 基础篇:3)规范化:3d制图总章

    本章目的:明确3d绘图也有相应的准则,遵守者方有相应的进阶之路. 1.建模目标:拥有自己的建模思想 学习完成3d制图,最直接的评价标准就是--拥有自己的建模思想. 其表现为: 1)建模思路明确,能独立 ...

  2. 【算法笔记】B1044 火星数字

    1044 火星数字 (20 分)   火星人是以 13 进制计数的: 地球人的 0 被火星人称为 tret. 地球人数字 1 到 12 的火星文分别为:jan, feb, mar, apr, may, ...

  3. Q844 比较含退格的字符串

    给定 S 和 T 两个字符串,当它们分别被输入到空白的文本编辑器后,判断二者是否相等,并返回结果. # 代表退格字符. 示例 1: 输入:S = "ab#c", T = " ...

  4. 移动端自动化测试之Appium实战

    软件工程的趋势:目前大部分企业的软件研发模式是持续交付,而自动化是持续交付的根基,而且不仅仅是测试要自动化,所有的环节都在自动化,自动化是未来的方向这一点已成为行业共识. 之前咱们已经讲过了AppCr ...

  5. 当Appium中遇到alert(python篇)

    当Appium中遇到alert,可以使用switch_to_alert(),以下是微信登录切换登录方式的代码示例: #coding=utf-8 from appium import webdriver ...

  6. Ubuntu no such file or directory

    在运行可执行程序时,报错如上,检查步骤: 1.程序是否和Ubuntu版本位数一致. Linux系统查看:uname -a 程序版本查看:file <filename> 2.查看文件是否有可 ...

  7. CSAPP阅读笔记-数组分配与访问-来自第三章3.8的笔记-P176-P183

    这一节比较简单,仅记录几个比较重要的点: 1.C语言允许对指针进行运算,计算出的值会根据该指针引用的数据类型大小进行伸缩. 例子: 其中,xE是数组的起始地址.注意,指针运算时,若最终结果为指针,则指 ...

  8. (转)Uri详解之——Uri结构与代码提取

    前言:依然没有前言…… 相关博客:1.<Uri详解之——Uri结构与代码提取>2.<Uri详解之二——通过自定义Uri外部启动APP与Notification启动> 上几篇给大 ...

  9. Linux多个机器配置ssh免登陆

    多机器ssh免密码登录的教程,网上有很多,多的数不过来,但是我的安装过程不是很顺利,因为刚开始使用的是普通的user,虽然配置了sudo权限,但是没有root权限,导致了无论如何配置都不能实现免密码登 ...

  10. iphone数据存储之-- Core Data的使用

    一.概念 1.Core Data 是数据持久化存储的最佳方式 2.数据最终的存储类型可以是:SQLite数据库,XML,二进制,内存里,或自定义数据类型 在Mac OS X 10.5Leopard及以 ...