rocketmq高可用集群部署（RocketMQ-on-DLedger Group）

rocketmq高可用集群部署（RocketMQ-on-DLedger Group）

rocketmq部署架构

rocketmq部署架构非常多，都是为了解决一些问题，越来越高可用，越来越复杂。

1. 单master模式

   这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。

2. 多master

   一个集群无Slave，全是Master，例如2个Master或者3个Master

   • 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
   • 缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。

3. 多master异步复制slave

   每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

   • 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；
   • 缺点：Master宕机，磁盘损坏情况下会丢失少量消息。

4. 多master同步复制slave。

   每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的优缺点如下：

   • 优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；
   • 缺点：性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。

5. RocketMQ-on-DLedger Group（可自动主从容灾）

   之前的几种方式，能解决数据冗余备份，一定高可用问题。但是master故障后，多master多slave架构能提供继续想slave消费数据。但是生产数据呢？这会导致生产服务中断不可用。所以又出现了RocketMQ-on-DLedger Group架构。可自主容灾。引入了DLedger工具。

rocketmq架构：

部署架构

部署架构：RocketMQ-on-DLedger Group

服务器数量3台。

部署操作步骤

1. 官网下载rocketmq二进制包

   官网下载地址：http://rocketmq.apache.org/dowloading/releases/

2. 解压并安装

   cd /opt
   wget http://192.168.0.155:9999/rocketmq-all-4.9.1-bin-release.zip
   unzip rocketmq-all-4.9.1-bin-release.zip
   mkdir /data/rocketmq-4.9.1-raftcluster
   

3. 3台主机分别配置nameserver

   修改bin目录下的文件：runserver.sh，将jvm调整至1G。（由于我服务器资源内存有限）
   
   

4. 3台主机分别启动nameserver

   cd ./bin   #切换到bin目录
   nohup sh mqnamesrv > ./nameserver.log 2>&1 &
   

   每台nameserver是不需要互相通信，NameServer之间数据不同步。和hdfs的nameserver不是一样的概念。

   通过命令netstat -tunlp | grep 9876检查端口9876是否存在

5. 编辑broker的配置文件

   第一台主机node0的配置（192.168.0.218）：vim ./conf/dledger/broker-n0.conf

   内容如下：

   brokerClusterName = RaftCluster  #集群名
   brokerName=RaftNode00  #broker组名，建议和dLegerGroup名一致
   listenPort=30911
   namesrvAddr=192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876
   storePathRootDir=/data/rocketmq-4.9.1-raftcluster/rmqstore/node00
   storePathCommitLog=/data/rocketmq-4.9.1-raftcluster/rmqstore/node00/commitlog
   enableDLegerCommitLog=true
   dLegerGroup=RaftNode00  #dleger组名
   dLegerPeers=n0-192.168.0.218:40911;n1-192.168.0.89:40911;n2-192.168.0.77:40911  #注意配置格式
   ## must be unique
   dLegerSelfId=n0  #每个dleger组下面的实例ip，保证唯一
   sendMessageThreadPoolNums=4  #发送线程数，建议和服务器cpu一致
   

   第二台主机node1的配置（192.168.0.89）：vim ./conf/dledger/broker-n1.conf

   内容如下：

   brokerClusterName = RaftCluster  #集群名
   brokerName=RaftNode00  #broker组名，建议和dLegerGroup名一致
   listenPort=30911
   namesrvAddr=192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876
   storePathRootDir=/data/rocketmq-4.9.1-raftcluster/rmqstore/node01
   storePathCommitLog=/data/rocketmq-4.9.1-raftcluster/rmqstore/node01/commitlog
   enableDLegerCommitLog=true
   dLegerGroup=RaftNode00  #dleger组名
   dLegerPeers=n0-192.168.0.218:40911;n1-192.168.0.89:40911;n2-192.168.0.77:40911  #注意配置格式
   ## must be unique
   dLegerSelfId=n1   #每个dleger组下面的实例ip，保证唯一
   sendMessageThreadPoolNums=4
   

   第三台主机node2的配置（192.168.0.77）：vim ./conf/dledger/broker-n2.conf

   内容如下：

   brokerClusterName = RaftCluster
   brokerName=RaftNode00
   listenPort=30911
   namesrvAddr=192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876
   storePathRootDir=/data/rocketmq-4.9.1-raftcluster/rmqstore/node02
   storePathCommitLog=/data/rocketmq-4.9.1-raftcluster/rmqstore/node02/commitlog
   enableDLegerCommitLog=true
   dLegerGroup=RaftNode00
   dLegerPeers=n0-192.168.0.218:40911;n1-192.168.0.89:40911;n2-192.168.0.77:40911  #注意配置格式
   ## must be unique
   dLegerSelfId=n2
   sendMessageThreadPoolNums=4
   

6. 修改3台broker的jvm大小，默认是8G

   在./bin目录下，由于我服务器没有8G内存，需修改jvm大小。

   vim runbroker.sh

1. 每台实例启动broker实例进程

   cd /data/rocketmq-4.9.1-raftcluster/rocketmq-all-4.9.1-bin-release/bin  #安装路径
   #在第一台服务器上启动broker
   nohup ./mqbroker -c ../conf/dledger/broker-n0.conf > ./broker.log 2>&1 &
   #在第二台服务器上启动broker
   nohup ./mqbroker -c ../conf/dledger/broker-n1.conf > ./broker.log 2>&1 &
   #在第三台服务器上启动broker
   nohup ./mqbroker -c ../conf/dledger/broker-n2.conf > ./broker.log 2>&1 &
   

   验证：

   查看输出日志或者用netstat -tunlp | grep 30911命令查看端口是否启动

2. 用命令行查看dleger集群的状态

   sh bin/mqadmin clusterList -n 127.0.0.1:9876

3. 安装rocketmq-console的web管理页面(rocketmq-dashboard)

   备注：新版本rocketmq-console已经改名叫rocketmq-dashboard。

   rocketmq-dashboard下载地址为：https://github.com/apache/rocketmq-dashboard

   unzip rocketmq-dashboard-master.zip
   cd rocketmq-dashboard-master
   mvn clean package -Dmaven.test.skip=true  #打包如果失败，可以多尝试几次
   #构建成功后，jar包在target目录里面
   #启动rocketmq-dashboardd的jar包
   java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar --rocketmq.config.namesrvAddr="192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876" --server.port=8080
   

   访问服务器的192.168.0.218:8080端口，能看到集群信息，如下：

1. RocketMQ-on-DLedger Group集群部署完成。

其他

1. rocketmq的默认日志文件在启动用户的家目录下的logs里面。

   如需变更需要修改以下3个文件

1. 本教程部署的RocketMQ-on-DLedger Group。只有一个分片，如果服务器数量充足，可以部署多分片。部署方式参考前面的操作步骤。只是部署更多的服务器，修改配置而已。