RocketMQ多Master多Slave模式部署

每个 Master 配置一个 Slave，有多对Master-Slave，HA采用同步双写方式，主备都写成功，向应用返回成功。

优点：数据与服务都无单点，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高。
缺点：性能比异步复制模式略低，大约低10%左右，发送单个消息的RT会略高。目前主宕机后，备机不能自动切换为主机，后续会支持自动切换功能。

### 先启动 NameServer
### 在机器 A，启动第一个 Master
### 在机器 B，启动第二个 Master
### 在机器 C，启动第一个 Slave
### 在机器 D，启动第二个 Slave
以上 Broker 与 Slave 配对是通过指定相同的brokerName 参数来配对，Master的 BrokerId 必须是 0，Slave 的BrokerId 必须是大与 0 的数。
另外一个 Master 下面可以挂载多个 Slave，同一 Master 下的多个 Slave通过指定不同的 BrokerId来区分。

1. 服务器环境如下图所示，四台机器，IP位7为主节点，149是7的从节点。105是主节点，160是105的从节点

序号    IP                  用户名             角色                          模式

       192.168.1.7         root               nameServer1,brokerServer1     Master1

       192.168.1.105       root               nameServer2,brokerServer2     Master2

       192.168.1.149       root               nameServer3,brokerServer3     Master1-slave1

       192.168.1.160       root               nameServer4,brokerServer4     Master2-slave1

2. Hosts添加信息

IP              NAME

192.168.1.7     rocketmq-nameserver1

192.168.1.7     rocketmq-master1

192.168.1.105   rocketmq-nameserver2

192.168.1.105   rocketmq-master2

192.168.1.149   rocketmq-nameserver3

192.168.1.149   rocketmq-master1-slave1

192.168.1.160   rocketmq-nameserver4

192.168.1.160   rocketmq-master2-slave1

3.编辑hosts文件【4台机器】

# vim /etc/hosts

4.上传解压【4台机器】

# 上传alibaba-rocketmq-3.2..tar.gz文件至/home/xm6f/dev

# cd /home/xm6f/dev

# tar -zxvf alibaba-rocketmq-3.2..tar.gz

# mv alibaba-rocketmq rocketmq

5.创建存储路径【4台机器】

# mkdir /home/xm6f/dev/rocketmq/store

# mkdir /home/xm6f/dev/rocketmq/store/commitlog

# mkdir /home/xm6f/dev/rocketmq/store/consumequeue

# mkdir /home/xm6f/dev/rocketmq/store/index

6.RocketMQ配置文件【4台机器】--该文件有点类似于Redis里面的redis.con

# sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a.properties ##192.168..7配置文件

# sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a-s.properties ##192.168..149配置文件

# sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b.properties ##192.168..105配置文件

# sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b-s.properties ##192.168..160配置文件

broker-a.properties文件

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-a

#0 表示 Master，>0 表示 Slave

brokerId=0

#nameServer地址，分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10911

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/home/xm6f/dev/rocketmq/store

#commitLog 存储路径

storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue

#消息索引存储路径

storePathIndex=/home/xm6f/dev/rocketmq/store/index

#checkpoint 文件存储路径

storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint

#abort 文件存储路径

abortFile=/home/xm6f/dev/rocketmq/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=ASYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误

brokerIP1=192.168.1.7

broker-a-s.properties文件

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-a

#0 表示 Master，>0 表示 Slave

brokerId=1

#nameServer地址，分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10911

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/home/xm6f/dev/rocketmq/store

#commitLog 存储路径

storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue

#消息索引存储路径

storePathIndex=/home/xm6f/dev/rocketmq/store/index

#checkpoint 文件存储路径

storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint

#abort 文件存储路径

abortFile=/home/xm6f/dev/rocketmq/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SLAVE

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误

brokerIP1=192.168.1.149

broker-b.properties文件

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-b

#0 表示 Master，>0 表示 Slave

brokerId=0

#nameServer地址，分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10911

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/home/xm6f/dev/rocketmq/store

#commitLog 存储路径

storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue

#消息索引存储路径

storePathIndex=/home/xm6f/dev/rocketmq/store/index

#checkpoint 文件存储路径

storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint

#abort 文件存储路径

abortFile=/home/xm6f/dev/rocketmq/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=ASYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误

brokerIP1=192.168.1.105

broker-b-s.properties文件

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-b

#0 表示 Master，>0 表示 Slave

brokerId=1

#nameServer地址，分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10911

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/home/xm6f/dev/rocketmq/store

#commitLog 存储路径

storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue

#消息索引存储路径

storePathIndex=/home/xm6f/dev/rocketmq/store/index

#checkpoint 文件存储路径

storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint

#abort 文件存储路径

abortFile=/home/xm6f/dev/rocketmq/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SLAVE

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误

brokerIP1=192.168.1.160

7. 修改启动脚本参数【4台机器】

# vim /home/xm6f/dev/rocketmq/bin/runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -

XX:PermSize=128m -XX:MaxPermSize=320m"

# vim /home/xm6f/dev/rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -

XX:PermSize=128m -XX:MaxPermSize=320m"

注意：启动脚本设置不合理，可能报如下异常：
Error occurred during initialization of VM
Too small new size specified

8.防火墙
默认启动用使用3个端口9876,10911,10912
分别代表名称服务端口，broker端口，broker ha端口。
ha端口haListenPort表示Master监听Slave请求的端口，默认为服务端口+1

添加到/etc/sysconfig/iptables的filter表INPUT链中

-A INPUT -m state --state NEW -m tcp -p tcp --dport  -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport  -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport  -j ACCEPT

添加完成后重启防火墙
service iptables restart

9.启动NameServer【4台机器】

# cd /home/xm6f/dev/rocketmq/bin

# sudo nohup sh mqnamesrv &

10.启动BrokerServer 【4台机器】

注意配置文件需要根据实际配置/broker-X.properties

# cd /home/xm6f/dev/rocketmq/bin

# 192.168.1.7

# sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a.properties >/dev/null >& &

# 192.168.1.105

# sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b.properties >/dev/null >& &

# 192.168.1.149

# sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a-s.properties >/dev/null >& &

# 192.168.1.160

# sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b-s.properties >/dev/null >& &

说明：IP位7为主节点，149是7的从节点。105是主节点，160是105的从节点

输入jps看到如上图所示表示成功

停止服务broker：

# sh mqshutdown broker

11.在tomcat中部署rocketmq-console.war
修改rocketmq-console配置文件，找到/tomcat-8082/webapps/rocketmq-console/WEB-INF/classes/config.properties文件，添加如下：

rocketmq.namesrv.addr=192.168.1.7:;192.168.1.105:;192.168.1.149:;192.168.1.160:

throwDone=true

启动tomcat，在浏览器输入：http://192.168.1.105:8082/rocketmq-console/

多Master多Slave可以保证实时消费，比如说：我有一主一从，如果主机宕机，那么我从主机上获得的数据如果在没有从节点，那么这些消息将在主节点重启之前将无法被消费，直到主节点启动，如果这个主节点里面有从节点，从节点可以对外提供服务，并且从节点有从主节点同步过来的数据，那么还是可以将这些消息实时地消费掉。这点多Master方式无法做到。

当宕机的主节点起来之后，会和从节点进行数据的同步，不会重复消费刚刚消费过的数据。

12.数据清理

# cd /home/xm6f/devrocketmq/bin

# sh mqshutdown broker

# sh mqshutdown namesrv

# --等待停止

# rm -rf /home/xm6f/devrocketmq/store

# mkdir /home/xm6f/devrocketmq/store

# mkdir /home/xm6f/devrocketmq/store/commitlog

# mkdir /home/xm6f/devrocketmq/store/consumequeue

# mkdir /home/xm6f/devrocketmq/store/index

# --按照上面步骤重启NameServer与BrokerServer

启动时报错：
注释runserver.sh和runbroker.sh以下，并添加JAVA_HOME地址

#[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/home/xm6f/dev/jdk1..0_80

#[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/home/xm6f/dev/jdk1..0_80

#[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"

export JAVA_HOME="/home/xm6f/dev/jdk1.7.0_80"

export JAVA="$JAVA_HOME/bin/java"

.....

RocketMQ多Master多Slave模式部署的更多相关文章

RocketMQ多master迁移至多master多slave模式
一.项目背景由于当前生产环境RocketMQ机器使用年限较长,已经过保,并且其中一台曾经发生过异常宕机事件.并且早期网络规划较乱,生产.开发.测试等网络没有分开,公司决定对当前网络进行规划,区分各个 ...
redis配置master－slave模式
由于云服务器存在闪断现象,项目线上会存在基于redis的功能在闪断时段内出现异常,所以redis需要做master-slave模式.直接上代码: 原单机redis,RedisConnectionFac ...
hadoop的master和slave模式
hadoop的集群是基于master/slave模式. namenode和jobtracker属于master,datanode和tasktracker属于slave,master只有一个,而slav ...
RocketMQ环境搭建(双master双slave模式)
1.环境准备: 准备四台主机(我这里用CentOSx64) 主机角色 broker 192.168.192.130 Master1 BrokerServerA 192.168.192.131 Mas ...
Linux环境快速搭建RocketMQ双Master模式
RocketMQ的集群部署方式有多种,其中包括单个Master.多个Master.多Master多Slave模式(异步复制)以及多Master多Slave模式(同步双写).本次以多Master集群模式 ...
RocketMQ多master多salve集群搭建
一.RocketMQ集群模式简介单Master方式风险比较大, 一旦Broker重启或者宕机, 将导致整个环境不可用, 不建议线上使用. 多Master模式一个集群中没有slave, 全是mas ...
Docker 部署 RocketMQ 双主双从模式（版本v4.7.0）
文章转载自:http://www.mydlq.club/article/96/ 系统环境: 系统版本:CentOS 7.8 RocketMQ 版本:4.7.0 Docker 版本:19.03.13 一 ...
ActiveMQ集群支持Master/Slave模式
现在ActiveMQ, 在Failover方面有两种解决方案:Pure Master Slave和Shared File System Master Slave. 先看Pure Master ...
Jenkins—Master/Slave模式
Jenkins可部署在windows或者linux平台上,项目系统的用户多数为windows系统.如果Jenkins部署在linux上,而自动化任务要在windows平台执行,那么就需要使用Jenki ...

随机推荐

1098 Insertion or Heap Sort
1098 Insertion or Heap Sort (25 分) According to Wikipedia: Insertion sort iterates, consuming one in ...
mysql_变量
set names gbk; 变量变量分为两种:系统变量,自定义变量系统变量:系统定义好的,大部分情况用户不需要使用系统变量,如autocommit,auto_increment_incremen ...
nodeclub models
之前看过keystone的结构,所以现在看nodeclub时,总会和keystone进行比较. nodeclub models会有一个index来作为facade,通过它连接mongodb,expor ...
Android之TextView灵活使用
Android之TextView灵活使用在项目中有无遇到过这样一种程况,例如文字"王明今年10岁了", 但是数字10是从网络返回的数据, 而你又想把这个文字写在xml中, 过往我 ...
图解FTP服务器搭建(Windows Server 2008)
http://wenku.baidu.com/link?url=aUMoUYvSXKbHdbOHt4lUUCq0BhjnPRTM8jNb80jjwJ4_CM5LFq3lSm6f1ZlPNbFo6HEj ...
Android-Kotlin-具名参数
先看一个这样的案例,[案例一]: package cn.kotlin.kotlin_base05 fun showAction1(country: String, volk: String) { pr ...
应该知道的Linux技巧【转】
这篇文章来源于Quroa的一个问答<What are some time-saving tips that every Linux user should know?>—— Linux用户 ...
Aggregate类型以及值初始化
引言在C++中,POD是一个极其重要的概念.要理解POD类型,我们首先需要理解Aggregate类型.下文结合stackoverflow上的高票回答将对Aggregate类型做一个全面的解读. 对于 ...
用XPath查找HTML节点或元素
更新版以后会在我的新博客更新,请您移步 https://blog.clso.fun/posts/2019-03-03/46.html 虽然JQ和JS都能很方便的查找包含了ID及类名的元素,但某些情况下 ...
微服务 - Eureka注册中心
我们来解决微服务的第一问题,服务的管理. 服务中心对外提供服务,需要对外暴露自己的地址.而consumer(调用者)需要记录服务提供者的地址.将来地址出现变更,还需要及时更新.这在服务较少的时候并不觉 ...

RocketMQ多Master多Slave模式部署

RocketMQ多Master多Slave模式部署的更多相关文章

随机推荐

热门专题