RocketMQ读书笔记6——可靠性优先的使用场景

【顺序消息】

顺序消费是指消息的产生顺序和消费顺序相同。

比如订单的生成、付款、发货，这三个消息必须按顺序处理才可以。

【顺序消息的分类】

全局顺序消息和部分顺序消息。

上面订单的例子，其实是部分顺序消息，只要保证同一个订单ID的三个消息能顺序消费即可。

【全局顺序消息】

【部分顺序消费】

在实际的场景中，更多的是像订单类消息那样，只需要部分有序即可。

[ MessageQueueSelector ]

Producer发送端使用MessageQueueSelector类来控制把消息发往哪个MessageQueue。

[ MessageListenerOrderly ]

Consumer消费端使用MesageListenerOrderly类来解决单MessageQueue的消息被并发处理的问题。

MessageListenerOrderly并不是简单地禁止并发处理，在MessageListenerOrderly的实现中，为每个Consumer Queue加个锁，消费每个消息前，需要获得这个消息对应的Consumer Queue所对应的锁，这样保证了同一时间，同一个Consumer Queue的消息不被并发消费，但不同的Consumer Queue的消息可以并发处理。

【消息重复问题】

消息重复一般情况下不会发生，但是消息量大、网络有波动的情况下，消息重复消费就是个大概率事件。

比如Producer有个方法setRetryTimesWhenSendFailed，是设置在消息发送失败时的自动重试次数，默认为2。

如果第一次发送消息时，Broker端收到了消息，但是没有正确返回发送成功的状态，就会造成消息重复。

[ 如何解决消息重复问题？ ]

方法1：

确保消费逻辑的幂等性，即多次调用和一次调用的效果一样。

方法2：

维护一个已消费消息的记录，消费前查询这个消息是否被消费过。

【动态增减机器1——NameServer】

1.集群的各个组件从NameServer获取各种属性和地址信息。

2.各个Broker会定时上报自己的状态信息到NameServer。

为了提高可靠性，建议启动多个NameServer，NameServer占用的资源不多，可以和Broker部署在同一台机器上。有多个NameServer后，减少NameServer不会对其他组件产生影响。

[ 设置NameServer地址的四种方式，优先级由高到低 ]

1.通过代码设置，即通过 Producer.setNameSrvAddr("127.0.0.1:9876;127.0.0.2:9876") 来设置。

2.使用Java启动参数设置，对应的是option的rocketmq.namesrv.addr。

3.通过Linux环境变量来设置，在启动前设置变量：NAMESRV_ADDR。

4.通过HTTP服务来设置，（重点：这是唯一支持动态增加NameServer，无需重启其它组件的方式！）如果上述的3个优先级更高的方式没有使用，程序会向一个HTTP地址请求来获取NameServer地址，默认URL是http://jmenv.tbsite.net:8080/rocketmq/nsaddr。

通过roketmq.namesrv.domain参数来覆盖jmenv.tbsite.net；

通过rocketmq.namesrv.domain.subgroup参数来覆盖nsaddr；

[ 注：]

上面第4中方式是唯一支持动态增加NameServer，无需重启其他组件的方式，使用这种方式后其他组件会每隔2分钟请求一次该URL，获取最新的NameServer地址。

【动态增减机器2——Broker】

[ 动态增加Broker机器是否会对原来的Topic产生影响？ ]

只增加Broker不会对原有的Topic产生影响，原来创建好的Topic中数据的读写依然在原来的那些Broker上进行。

[  集群扩容（新增Broker机器）后，怎么做? ]

1.把新建的Topic指定到新的Broker机器上，均衡利用资源。

2.另一种方式是通过updateTopic命令更改现有的Topic配置，在新加的Broker上创建新的队列。比如“TopicA”是现有的一个Topic，因为数据量增加后需要扩容，新增的一个Broker机器地址是127.0.0.3:10911，这个时候执行如下命令：

sh ./bin/mqadmin updateTopic -b 127.0.0.3: -t TopicA -n 127.0.0.1:

结果就是在新增的Broker机器上，为T“TopicA”创建了8个读写队列。

[ 如果需要减少Broker，怎么做？ ]

减少Broker要看是否有持续运行的Producer，当一个Topic只有一个Master Broker，停掉这个Broker后，消息的发送必定会受影响，需要再停止Broker前，停止发消息。

[ 如果某个Topic下有多个Master Broker，停掉了其中一个，这时候是否会丢失消息呢？ ]

和Producer使用的发消息的方式有关。

1.如果是同步方式发送：

在DefaultMQProducer内部有关而自动重试逻辑，其中一个Broker停了，会自动向另一个Broker发消息，不会出现丢消息的情况。

2.如果是异步方式或sendOneWay方式发送：

会丢失切换过程中的消息，因为在异步和sendOneWay方式下，Producer.setRetryTimesWhenSendFailed设置不会起作用，发送失败不会重试。

DefaultMQProducer默认每30S到NameServer请求最新的路由消息，Producer如果获取不到已停止的Broker下的队列消息，后续就自动不再想这些队列发送消息。

[ 如何置换Mster Broker机器？ ]

如果Producer能够暂停，在有一个Master和一个Slave的情况下也可以顺利切换，可以关闭Producer后关闭Master Broker，这个时候所有的读取会被定向到Slave Broker机器，消费消息不受影响。把Master Broker机器置换完后，基于原来的数据启动这个Master Broker，然后再启动Producer程序正常发送消息。

【各种故障对消息的影响，针对各种故障的处理方式 】

可能出现的故障：

.Broker正常关闭，启动。

.Broker异常Crash，然后启动。

.OS Crash，重启。

.机器断电，当能马上恢复供电。

.磁盘损坏。

.CPU、主板、内存等关键设备损坏。

现有的RocketMQ集群，一般每个Topic都配有多Master角色的Broker写入，并且每个Master都至少有一个Slave机器。

[ 1. Broker正常关闭，启动 ]

这种情况内存中的数据不会丢失。

　　如果重启过程中有持续运行的Consumer，Broker Master机器出故障后，Consumer会自动重连对应的Broker Slave机器，不会有消息丢失和偏差。

当Broker Master重启成功后，Consumer又会重现连接到Broker Master机器上。

　　如果重启过程中有持续运行的Producer，一台Broker Master出故障后，Producer会向该Topic下的其他Master机器发送消息，如果Producer采用的是同步发送的方式，不会有消息丢失。

[ 第2，3，4种情况的处理 ]

2，3，4属于软件故障，内存的数据有可能会丢失。

刷盘的策略不同，造成的影响不同。

如果Broker Master和Broker Slave都配置成SYNC_FLUSH同步刷盘，可以达到消息不丢失。

[ 第5，6种情况的处理 ]

第5，6种情况属于硬件故障，原有机器的磁盘数据可能会丢失，如果Master和Slave机器间配置成同步复制方式，某一台机器发生这样的故障，也可以达到消息不丢失的效果，如果Master和Slave之间是异步复制的方式，两次Sync之间的消息会丢失。

【各种故障处理的总结】

1.多Master，每个Master都带有多个Slave。

2.主从之间设置成SYNC_MASTER。同步复制。

3.Producer设置成同步方式写。

4.刷盘策略设置成SYNC_FLUSH，同步刷盘。