RocketMQ高可用集群

集群支持：

　　RocketMQ天生对集群的支持非常友好

单Master：

　　优点：除了配置简单没什么优点

　　缺点：不可靠，该机器重启或宕机，将导致整个服务不可用

多Master：

　　优点：配置简单，性能最高

　　缺点：可能会有少量消息丢失（配置相关），单台机器重启或宕机期间，该机器下未被消费的消息在机器恢复前不可订阅，影响消息实时性

多Master多Slave异步模式：

　　每个Master配一个Slave，有多对Master-Slave，集群采用异步复制方式，主备有短暂消息延迟，毫秒级

　　优点：性能同多Master几乎一样，实时性高，主备间切换对应用透明，不需人工干预

　　缺点：Master宕机或磁盘损坏时会有少量消息丢失

多Master多Slave同步模式：

　　每个Master配一个Slave，有多对Master-Slave，集群采用同步双写方式，主备都写成功，向应用返回成功

　　优点：服务可用性与数据可用性非常高

　　缺点：性能比异步集群略低，当前版本主宕备不能自动切换为主。

　　需要注意的是，在RocketMQ里面，1台机器只能要么是Master，要么是Slave。这个在初始的机器配置里面，就定死了。不会像kafka那样存在master动态选举的功能。其中Master的broker id = 0，Slave的broker id > 0。有点类似于mysql的主从概念，master挂了以后，slave仍然可以提供读服务，但是由于有多主的存在，当一个master挂了以后，可以写到其他的master上。

集群搭建：2M-2S-SYNC(两主两从同步写)

　　环境准备：rocket-4.4.0 ，JDK1.8 ，同时定好4个节点的端口，我这里主节点为默认10911，从节点设置成 10950，另外nameserver都是默认9876端口，这些都好了之后一定记得将这些端口全部开放。我这里两台节点分别是192.168.1.101，192.168.1.102.

　　记得修改两台机器上的 runbroker.sh 与 runserver.sh 的虚拟机参数。

　　设置好节点的数据存储路径：

mkdir /mysoft/rocketmq/data

mkdir /mysoft/rocketmq/data/store 存储路径

mkdir /mysoft/rocketmq/data/store/commitlog //commitLog 存储路径

mkdir /mysoft/rocketmq/data/store/consumequeue //消费队列存储路径存储路径

mkdir /mysoft/rocketmq/data/store/index //消息索引存储路径

　　这里需要配置4个配置文件，我们就在原来配置上进行一些简单的增加及修改，分别是:

192.168.1.101上的 ${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-a.properties,${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-b-s.properties
192.168.1.102上的 ${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-b.properties,${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-a-s.properties.

　　修改日志文件(两台机器):

mkdir -p /mysoft/rocketmq/logs

cd /mysoft/rocketmq/conf && sed -i 's#${user.home}#/mysoft/rocketmq#g' *.xml

192.168.1.101:${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-a.properties:

brokerClusterName=DefaultCluster

brokerName=broker-a

brokerId=

deleteWhen=

fileReservedTime=

brokerRole=SYNC_MASTER

flushDiskType=ASYNC_FLUSH

namesrvAddr=192.168.1.101:;192.168.1.102:

#store存储路径，master与slave目录要不同

storePathRootDir=/mysoft/rocketmq/data/store

#commitLog存储路径

storePathCommitLog=/mysoft/rocketmq/data/store/commitlog

brokerIP1=192.168.1.101
#很重要 slave通信用
brokerIP2=192.168.1.101

　　${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-b-s.properties:

brokerClusterName=DefaultCluster

brokerName=broker-b

brokerId=

brokerIP1=192.168.1.101

deleteWhen=

listenPort=

fileReservedTime=

brokerRole=SLAVE

flushDiskType=ASYNC_FLUSH

namesrvAddr=192.168.1.101:;192.168.1.102:

storePathRootDir=/mysoft/rocketmq/data/store/slave

storePathCommitLog=/mysoft/rocketmq/data/store/slave/commitlog

192.168.1.102上的 ${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-b.properties:

brokerClusterName=DefaultCluster

brokerName=broker-b

brokerId=

brokerIP1=192.168.1.102

deleteWhen=

fileReservedTime=

namesrvAddr=192.168.1.101:;192.168.1.102:

storePathRootDir=/mysoft/rocketmq/data/store

storePathCommitLog=/mysoft/rocketmq/data/store/commitlog

brokerRole=SYNC_MASTER

flushDiskType=ASYNC_FLUSH
brokerIP2=192.168.1.102

　　${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-a-s.properties:

brokerClusterName=DefaultCluster

brokerName=broker-a

listenPort=

brokerId=

deleteWhen=

fileReservedTime=

brokerIP1=192.168.1.102

brokerRole=SLAVE

namesrvAddr=192.168.1.101:;192.168.1.102:

storePathRootDir=/mysoft/rocketmq/data/store/slave

storePathCommitLog=/mysoft/rocketmq/data/store/slave/commitlog

flushDiskType=ASYNC_FLUSH

　　具体的配置可以参考一下这个文件去根据自身业务需求进行设置：

//所属集群名称，如果多个master，那么每个master配置的名称应该一致，要不然识别不了

brokerClusterName=rocketmq-cluster

//broker名称

brokerName=broker-a

//0 表示master，>0 表示slave

brokerId=

//nameServer地址，分号隔开

namesrvAddr=192.168.5.100:;192.168.5.101:

//在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=

//是否允许broker自动创建topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

//是否允许broker自动创建订阅组，建议线下开始，线上关闭

autoCreateSubscriptionGroup=true

//broker对外服务的监听端口，

//同一台机器部署多个broker，端口号要不同，且端口号之间要相距大些

listenPort=

//删除文件的时间节点，默认凌晨4点

deleteWhen=

//文件保留时间，默认48小时

fileReservedTime=

//commitLog每个文件的大小，默认大小1g

mapedFileSizeCommitLog=

//consumeQueue每个文件默认存30w条，根据自身业务进行调整

mapedFileSizeConsumeQueue=

destroyMapedFileInterval=

redeleteHangedFileInterval=

//检查物理文件磁盘空间

diskMaxUsedSpaceRatio=

//store存储路径，master与slave目录要不同

storePathRootDir=/mysoft/rocketmq/data/store

//commitLog存储路径

storePathCommitLog=/mysoft/rocketmq/data/store/commitlog

//限制的消息大小

maxMessageSize=

flushCommitLogLeastPages=

flushConsumeQueueLeastPages=

flushCommitLogThoroughInterval=

flushConsumeQueueThoroughInterval=

checkTransactionMessageEnable=false

//发消息线程池数

sendMessageThreadPoolNums=

//拉去消息线程池数

pullMessageThreadPoolNums=

//broker角色：

//ASYSC_MASTER 异步复制master

//SYSC_MASTER 同步复制master

//SLAVE 从

brokerRole=SYSC_MASTER

///刷盘方式

//ASYNC_FLUSH 异步刷盘

//SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

　　先启动两台的 namesrv 。记得查看日志信息，确保两台都启动了。然后启动broker。

//192.168.1.101

nohup sh mqbroker -c ../conf/2m-2s-sync/broker-a.properties &

nohup sh mqbroker -c ../conf/2m-2s-sync/broker-b-s.properties &

//192.168.1.102

nohup sh mqbroker -c ../conf/2m-2s-sync/broker-b.properties &

nohup sh mqbroker -c ../conf/2m-2s-sync/broker-a-s.properties &

　　启动后一定去看一下日志，出现以下信息应该就是启动成功了：

　　也可以通过命令查看：sh mqadmin clusterlist -n 192.168.1.101:9876

　　至此集群启动完成，客户端再链接的时候通过设置 namesrv 如下去链接，其他一致：

consumer.setNamesrvAddr("192.168.1.101:9876;192.168.1.102:9876");