RabbitMQ的使用(二)- RabbitMQ服务在单机中做集群

作者:markjiang7m2

原文地址:https://www.cnblogs.com/markjiang7m2/p/12837151.html

官网地址:http://letyouknow.net

在上一篇RabbitMQ的使用(一)- RabbitMQ服务安装 中总结的是在Windows服务器上安装服务,对于一个高可用部署方案,必须要做集群。我自己在用的就是一台Windows系统机器,如果做集群的话,运行几个虚拟机或者跑几个Docker就可以很简单地实现了,但是我看了下官文关于集群的配置,是支持直接在当前系统中开多个服务配置集群的,所以就有了这一篇折腾文章了。

官文配置集群链接https://www.rabbitmq.com/clustering.html

Windows系统单机做RabbitMQ集群

单机启动多个RabbitMQ服务

其实在单机做集群的适用场景可能是在于开发环境和测试环境,而使用单机跟多机做集群之间的差别是在于如何在单机上启动多个RabbitMQ服务,只要把服务安装好了,后面的步骤跟多机就是一样的。

官网关于单机做集群的指引在这里https://www.rabbitmq.com/clustering.html#single-machine,但是以Linux系统为例的,Windows系统还不能直接使用例子上面的命令。

如例子中创建RabbitMQ服务的指令:

RABBITMQ_NODE_PORT=5672 RABBITMQ_NODENAME=rabbit rabbitmq-server -detached

在Windows系统的DOS命令就需要分为多个指令:

set RABBITMQ_NODE_PORT=5672
set RABBITMQ_NODENAME=rabbit
rabbitmq-server -detached

我还启用了RabbitMQ管理界面,所以我的完整指令:

set RABBITMQ_NODE_PORT=5673
set RABBITMQ_NODENAME=rabbit1
set RABBITMQ_CONFIG_FILE=D:\Mark\Tempfiles\rabbitmq.conf
set RABBITMQ_SERVER_START_ARGS=-rabbitmq_management listener [{port,15673}]
rabbitmq-server -detached

启动效果如下:

然后以相同的方式再启动多一个节点rabbit2。

单机添加多个节点到同一个集群中

在上一篇文章中安装RabbitMQ服务时,就已经默认了端口为5672的RabbitMQ服务。这一次,我就以这个服务为主节点,将节点rabbit1,rabbit2添加到这个集群中。

在添加到集群之前,我们来看一下原有的集群配置,配置文件在C:\Users\%UserName%\AppData\Roaming\RabbitMQ\db\%nodename%-mnesia目录下,文件名为cluster_nodes.config。可以看到现在三个节点的配置都是类似的,{[%nodename%],[%nodename%]}.,意为每个节点都在自己独立的集群中。

根据官文的指引,要添加到同一个集群,执行下面的指令即可:

rabbitmqctl -n rabbit1 stop_app
rabbitmqctl -n rabbit1 join_cluster rabbit@%hostname%
rabbitmqctl -n rabbit1 start_app

效果如下:

此时可以发现http://localhost:15672/#/http://localhost:15673/#/显示是一样的了,包括集群名称。

以相同的方式将rabbit2加入到该集群中。

这个时候我们再看集群配置文件cluster_nodes.config,已经包含了三个节点,格式如下:

{[%node1name%,%node2name%,%nodename%],[%node1name%,%node2name%,%nodename%]]}.

从集群中移除节点

简单的集群就已经做完了。那如果想要将其中一个节点从集群中移除,需要什么指令呢?

下面是我从集群中移除节点rabbit2

rabbitmqctl -n rabbit2 stop_app
rabbitmqctl -n rabbit1 forget_cluster_node rabbit2@%hostname%
rabbitmqctl -n rabbit2 reset
rabbitmqctl -n rabbit2 start_app

rabbitmqctl -n rabbit2 reset这一步是不可少的,如果移除节点后,直接启动节点会报错。

此时再看管理界面,也会发现rabbit2被移除了,列表中只有两个节点。

还有一点需要注意的是Erlang cookie。每个节点都必须保持一致,可以将主节点的home dir目录下的cookie值复制到其它节点中。

home dir目录可以在RabbitMQ日志中找到,一般默认值为:C:\Windows\System32\config\systemprofile。cookie文件名为:.erlang.cookie

其它节点的Erlang cookie需要被覆盖的有两个地方,home dir目录和user目录下的.erlang.cookie文件,user目录为C:\Users\%username%。这个覆盖操作一般都是针对多机集群的,因为我这里用的是单机做集群,所有节点的home dir和user目录都是一样的,所以我这里不需要覆盖。

RabbitMQ HA高可用镜像队列

官文地址:https://www.rabbitmq.com/ha.html

上面就建立起了有三个节点的RabbitMQ集群。默认情况下,RabbitMQ集群中队列的内容位于单个节点(声明该队列的节点)上。这与交换机和绑定相反,交换机和绑定始终可以被视为在所有节点上,这就会导致了当队列的内容存在于A节点,当A节点宕机了,B节点仍然存在A节点中的队列,但无法获取A节点队列的内容。此时,我们可以选择使队列跨多个节点进行镜像。

我们可以通过策略配置镜像参数。一个策略按名称匹配一个或多个队列(使用正则表达式模式),并且包含一个定义(可选参数的映射),该定义被添加到匹配队列的全部属性中。

我这里使用的虚拟主机为markhost,然后在Admin-> Policies-> Add/update a policy 创建一个策略,如下:

这里有两个地方比较注意的地方。

Pattern : ^mark1 此处意为当命名以mark1开头的队列进行镜像。

ha-mode: all 此处意为对所有节点都进行镜像,这里的参数设置参考官文说明https://www.rabbitmq.com/ha.html#mirroring-arguments

创建两个队列,分别命名为mark_queuemark1_queue

mark1_queue队列中,Node为rabbit@xxx表示该队列是属于rabbit节点的,+2的标志表示有两个镜像节点,Features含有mark_Pli1,表示该队列符合mark_Pli1策略。

mark_queue队列因为不符合策略,所以并没有镜像节点。

现在我尝试将rabbit节点停止了,运行指令rabbitmqctl -n rabbit stop_app,再看队列情况。

会发现mark1_queue队列已经自动转移到rabbit2节点中,而且依然正常运行,而mark_queue队列的状态则被标记为down,这是因为做了镜像的队列内容存在于所有节点中,当所属节点宕机了,会继续通过其它节点正常发布和消费,而没有做镜像的队列只有当所属节点恢复正常后才能正常被发布和消费。

至于需要用多少节点做镜像,像我例子中的做法将所有节点都做镜像,这个是最保守的做法,最大程度保证数据不丢失,但在实际情况下需要考虑额外的压力,如网络I/O,磁盘I/O等,因为做镜像节点越多,所占用的带宽就越多,磁盘I/O同理。根据官文建议,如果集群有3个节点,可以选择2个节点做镜像,5个节点可以选择3个节点镜像,当然也不是所有数据都需要做镜像,特别对于那些只是瞬态或者对时间敏感的数据,是不需要镜像的,所以需要设置合理的策略。

集群服务延伸

其实也许有朋友会发现使用rabbitmq-server指令创建的服务,并非在Windows服务中创建的,而是当前Windows用户使用erl.exe创建的一个进程,因此一旦当前用户退出了系统,RabbitMQ节点也就退出了服务,所以上面创建服务的指令可以使用rabbitmq-service

set RABBITMQ_NODE_PORT=5673
set RABBITMQ_NODENAME=rabbit1
set RABBITMQ_SERVICENAME=rabbit1
set RABBITMQ_CONFIG_FILE=D:\Mark\Tempfiles\rabbitmq.conf
set RABBITMQ_SERVER_START_ARGS=-rabbitmq_management listener [{port,15673}]
rabbitmq-service install
rabbitmq-service start

这样就可以创建一个名为rabbit1的Windows后台服务,该服务归属于SYSTEM,因此即使当前用户注销了,服务仍然可用。

再延伸一下

如果系统重启了,这样创建的服务会无法正常启动,这是因为我们上面的指令set是临时更改环境变量的,当服务重新启动的时候,这些环境变量会恢复到原有值。

就这个情况,我们可以创建一个批处理文件,包含指令:

set RABBITMQ_NODE_PORT=5673
set RABBITMQ_NODENAME=rabbit1
set RABBITMQ_SERVICENAME=rabbit1
set RABBITMQ_CONFIG_FILE=D:\Mark\Tempfiles\rabbitmq.conf
set RABBITMQ_SERVER_START_ARGS=-rabbitmq_management listener [{port,15673}]
rabbitmq-service start

然后将这个批处理文件添加到任务计划程序中,选择触发器为计算机启动时。这样即使系统重启了,也会正常启动RabbitMQ的所有节点,保证集群正常运行。

总结

本文就记录了我在windows系统中使用单机做RabbitMQ集群,也简单地做了一个高可用集群方案,单机集群方案更多地只是会出现在开发测试环境,实际生产环境还是会每台机器部署一个服务的,但因为对于多机集群,配置步骤也相差不大,所以对于实际生产环境的部署,本文也是有一定参考价值的,希望可以能对各位有一定的帮助。

RabbitMQ的使用(二)- RabbitMQ服务在单机中做集群的更多相关文章

  1. Redis安装(单机及各类集群,阿里云)

    Redis安装(单机及各类集群,阿里云) 前言 上周,我朋友突然悄悄咪咪地指着手机上的一篇博客说,这是你的博客吧.我看了一眼,是之前发布的<Rabbit安装(单机及集群,阿里云>.我朋友很 ...

  2. 【web】 亿级Web系统搭建——单机到分布式集群

      当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压力带来问题,我们需要在Web系统架 ...

  3. [转]亿级Web系统搭建:单机到分布式集群

    当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压力带来问题,我们需要在Web系统架构层 ...

  4. 亿级Web系统搭建:单机到分布式集群【转】

    当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压力带来问题,我们需要在Web系统架构层 ...

  5. Centos7安装Nacos单机模式以及集群模式(包含nignx安装以及实现集群)的相关配置

    Nacos 致力于帮助您发现.配置和管理微服务.Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现.服务配置.服务元数据及流量管理. Nacos支持三种部署模式 单机模式 - 用于测试 ...

  6. 亿级Web系统搭建:单机到分布式集群

    亿级Web系统搭建:单机到分布式集群 当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压 ...

  7. Mosquitto搭建Android推送服务(三)Mosquitto集群搭建

    文章钢要: 1.进行双服务器搭建 2.进行多服务器搭建 一.Mosquitto的分布式集群部署 如果需要做并发量很大的时候就需要考虑做集群处理,但是我在查找资料的时候发现并不多,所以整理了一下,搭建简 ...

  8. Zookeeper 集群搭建--单机伪分布式集群

    一. zk集群,主从节点,心跳机制(选举模式) 二.Zookeeper集群搭建注意点 1.配置数据文件 myid 1/2/3 对应 server.1/2/3 2.通过./zkCli.sh -serve ...

  9. RabbitMQ-rabbitmqctl多机多节点和单机多节点集群搭建(五)

    准备 1.准备3台物理机 我这里通过本地机和2台虚拟模拟我是mac通过(Parallel Desktop 实现) 2.按照签名的liux安装步骤在3台机器都安装rabiitMq 3.将任意一节点的co ...

随机推荐

  1. 记录:如何使用ASP.NET Core和EnityFramework Core实现服务和数据分离

    前情提要: 现有一个网站框架,包括主体项目WebApp一个,包含 IIdentityUser 接口的基架项目 A.用于处理用户身份验证的服务 AuthenticationService 位于命名空间B ...

  2. Application.Exit

    Application.Exit:通知winform消息循环退出.Environment.Exit:终止当前进程,返回exitcode给操作系统 Application.Exit会在所有前台线程退出后 ...

  3. work of weekend 12/12/2015~12/14/2015

    part 组员                周末工作+今日工作 工作耗时/h 明日计划 工作耗时/h backup 冯晓云 try the backup plan:brower:rewrite bi ...

  4. Matlab学习-(3)

    1. 二维图 绘制完图形以后,可能还需要对图形进行一些辅助操作,以使图形意义更加明确,可读性更强. 1.1 图形标注 title(’图形名称’) (都放在单引号内)xlabel(’x轴说明’)ylab ...

  5. php phpStudy session存放位置

    如果你仅仅是想知道session保存的文件在哪里,你可以在你的PHP文件当中运行函数:session_save_path之后查看运行结果即可知道session文件的存放目录. 或者: 在php-ini ...

  6. Nagios基本搭建

    Nagios简述: 1.一款用来监视系统和网络的开源软件 2.利用其从多的插件实现对本机和远端服务的监控 3.当被监控对象异常时,回及时向管理员警告 4.提供一批预设好的监控插件,用户可以直接调用 5 ...

  7. JVM原理与深度调优(一)

    什么是jvm jvm是java虚拟机 运行在用户态.通过应用程序实现java代码跨平台.与平台无关.实际上是"一次编译,到处执行" 1.从微观来说编译出来的是字节码!去到哪个平台都 ...

  8. 引入OpenCV导致私有内存巨大

    引入OpenCV导致私有内存巨大 opencvC++VS2015 说明 在调试程序的时候 发现自己的程序在VS的调试窗口占用很高, 花时间关注了一下这个问题, 手动写了小的程序复现这个问题,最终确定了 ...

  9. linux-网络管理(常用命令)

    网络查看 ifconfig : 查看与临时配置网络 ifdown 网卡设备名 : 关闭网卡 ifup 网卡设备名 : 启用网卡 netstat 网络状态查询 -t 列出TCP协议端口 -u 列出UDP ...

  10. Spring源码学习——自定义标签

    2019独角兽企业重金招聘Python工程师标准>>> 1.自定义标签步骤 创建一个需要扩展的组件 定义xsd文件描述组件内容 创建一个文件,实现BeanDefinitionPars ...