RabbitMQ集群和高可用配置
概述
RabbitMQ是一个开源的AMQP实现,服务器端用Erlang语言编写,支持多种客户端,如:Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等,支持AJAX。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。
运行模式大概有3种:
单一模式:非集群模式,单台。
普通模式:RabbitMQ默认的集群模式。
对于Queue来说,消息实体只存在于其中一个节点,A、B两个节点仅有相同的元数据,即队列结构。当消息进入A节点的Queue中后,consumer从B节点拉取时,RabbitMQ会临时在A、B间进行消息传输,把A中的消息实体取出并经过B发送给consumer。
所以consumer应尽量连接每一个节点,从中取消息。即对于同一个逻辑队列,要在多个节点建立物理Queue。否则无论consumer连A或B,出口总在A,会产生瓶颈。
该模式存在一个问题就是当A节点故障后,B节点无法取到A节点中还未消费的消息实体。
如果做了消息持久化,那么得等A节点恢复,然后才可被消费;如果没有持久化会丢失消息。
镜像模式:Queue同时存在多个节点,可通过改模式实现HA高可用
该模式解决了上述问题,其实质和普通模式不同之处在于,消息实体会主动在镜像节点间同步,而不是在consumer取数据时临时拉取。
该模式带来的副作用也很明显,除了降低系统性能外,如果镜像队列数量过多,加之大量的消息进入,集群内部的网络带宽将会被这种同步通讯大大消耗掉。
下面来通过配置RabbitMQ镜像模式来熟悉这3种运行模式
1. 环境说明
RabbitMQ集群安装在3个节点上:10.0.0.1、10.0.0.2、10.0.0.3
HAProxy安装在10.0.0.4上,用于对外提供RabbitMQ均衡
3个节点在/etc/hosts文件中分别添加如下内容:
- 10.0.0.1 rabbit1
- 10.0.0.2 rabbit2
- 10.0.0.3 rabbit3
2. 安装erlang、rabbitmq
- cd oneinstack/src
- wget http://erlang.org/download/otp_src_18.3.tar.gz
- tar xzf otp_src_18.3.tar.gz
- cd otp_src_18.3
- ./configure --prefix=/usr/local/erlang --enable-shared-zlib --with-ssl --enable-threads --enable-smp-support --enable-kernel-poll --enable-hipe --without-javac
- make && make install
- cd ..
- wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.5.7/rabbitmq-server-generic-unix-3.5.7.tar.gz
- tar xzf rabbitmq-server-generic-unix-3.5.4.tar.gz
- mv rabbitmq_server-3.5.4 rabbitmq
- sed -i 's@^ERL_DIR=.*@ERL_DIR=/usr/local/erlang/bin/@' /usr/local/rabbitmq/sbin/rabbitmq-defaults
- sed -i 's@^LOG_BASE=.*@LOG_BASE=/usr/local/rabbitmq/var/log/rabbitmq@' /usr/local/rabbitmq/sbin/rabbitmq-defaults #日志目录
- mkdir -p /usr/local/rabbitmq/var/{lib,log}/rabbitmq
3. 一般用户(rabbitmq)运行RabbitMQ
- useradd rabbitmq
- wget http://pkgs.fedoraproject.org/cgit/rpms/rabbitmq-server.git/plain/rabbitmq-script-wrapper
- sed -i 's@cd /var/lib/rabbitmq@cd /usr/local/rabbitmq/var/lib/rabbitmq@g' rabbitmq-script-wrapper #更改rabbitmq数据存储目录
- sed -i 's@/usr/lib/rabbitmq/bin/@/usr/local/rabbitmq/sbin/@g' rabbitmq-script-wrapper
- chmod +x rabbitmq-script-wrapper
- cp rabbitmq-script-wrapper /usr/sbin/rabbitmqctl
- cp rabbitmq-script-wrapper /usr/sbin/rabbitmq-server
- cp rabbitmq-script-wrapper /usr/sbin/rabbitmq-plugins
- chown -R rabbitmq.rabbitmq /usr/local/rabbitmq/var
4. 日志割接
- cat >> /etc/logrotate.d/rabbitmq-server << EOF
- /usr/local/rabbitmq/var/log/rabbitmq/*.log {
- weekly
- missingok
- rotate 20
- compress
- delaycompress
- notifempty
- sharedscripts
- postrotate
- /sbin/service rabbitmq-server rotate-logs > /dev/null
- endscript
- }
- EOF
5. 启动脚本
参考: 《RabbitMQ启动脚本》
6. 设置Erlang Cookie
Erlang Cookie文件:/home/rabbitmq/.erlang.cookie。这里将rabbit1的该文件复制到rabbit2、rabbit3,并设置400权限
- chmod 400 /home/rabbitmq/.erlang.cookie
- chown rabbitmq.rabbitmq /home/rabbitmq/.erlang.cookie
7. 修改配置文件
密码和集群配置:
- cat > /usr/local/rabbitmq/etc/rabbitmq/rabbitmq.config << EOF
- [
- {rabbit, [
- {cluster_nodes, {['rabbit@rabbit1','rabbit@rabbit2', 'rabbit@rabbit3'], disc}},
- {tcp_listeners,[{"0.0.0.0",5672}]},
- {default_vhost, <<"/">>},
- {default_user, <<"linuxeye">>},
- {default_pass, <<"linuxeye@123">>},
- {loopback_users, ["linuxeye"]},
- {default_permissions, [<<".*">>, <<".*">>, <<".*">>]}
- ]}
- ].
- EOF
启用rabbitmq_management
- cat > /usr/local/rabbitmq/etc/rabbitmq/enabled_plugins << EOF
- [rabbitmq_management].
- EOF
8. 分别启动3个节点rabbitmq
使用rabbitmqctl cluster_status命令表示集群搭建成功
- [root@rabbit2 ~]# rabbitmqctl cluster_status
- Cluster status of node rabbit@rabbit2 ...
- [{nodes,[{disc,[rabbit@rabbit1,rabbit@rabbit2,rabbit@rabbit3]}]},
- {running_nodes,[rabbit@rabbit3,rabbit@rabbit1,rabbit@rabbit2]},
- {cluster_name,<<"rabbit@rabbit2">>},
- {partitions,[]}]
9. 设置镜像队列策略
在任意一个节点上执行:
- rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
10. 配置HAProxy
配置好HAProxy后,浏览器访问http://10.0.0.4:15672, 看到如下证明rabbitmq镜像模式搭建成功

RabbitMQ集群和高可用配置的更多相关文章
- RabbitMQ 集群与高可用配置
集群概述 通过 Erlang 的分布式特性(通过 magic cookie 认证节点)进行 RabbitMQ 集群,各 RabbitMQ 服务为对等节点,即每个节点都提供服务给客户端连接,进行消息发送 ...
- (转)RabbitMQ 集群与高可用配置
集群概述 环境 配置步骤 集群概述 通过 Erlang 的分布式特性(通过 magic cookie 认证节点)进行 RabbitMQ 集群,各 RabbitMQ 服务为对等节点,即每个节点都提供服务 ...
- Rabbitmq安装、集群与高可用配置
历史: RabbitMQ是一个由erlang开发的AMQP(Advanced Message Queue )的开源实现.AMQP 的出现其实也是应了广大人民群众的需求,虽然在同步消息通讯的世界里有很多 ...
- centos7 rabbitmq集群搭建+高可用
环境 [root@node1 ~]# cat /etc/redhat-release CentOS Linux release (Core) [root@node1 ~]# uname -r -.el ...
- 高可用OpenStack(Queen版)集群-3.高可用配置(pacemaker&haproxy)
参考文档: Install-guide:https://docs.openstack.org/install-guide/ OpenStack High Availability Guide:http ...
- 消息中间件-RabbitMQ集群和高可用
多机多节点集群部署 一. 环境准备 准备三台安装好RabbitMQ 的机器,安装方法见 安装步骤 10.10.1.41 10.10.1.42 10.10.1.43 提示:如果使用虚拟机,可以在一台VM ...
- 浅谈web应用的负载均衡、集群、高可用(HA)解决方案(转)
1.熟悉几个组件 1.1.apache —— 它是Apache软件基金会的一个开放源代码的跨平台的网页服务器,属于老牌的web服务器了,支持基于Ip或者域名的虚拟主机,支持代理服务器,支持安 ...
- hadoop 集群HA高可用搭建以及问题解决方案
hadoop 集群HA高可用搭建 目录大纲 1. hadoop HA原理 2. hadoop HA特点 3. Zookeeper 配置 4. 安装Hadoop集群 5. Hadoop HA配置 搭建环 ...
- Nginx+Zuul集群实现高可用网关
代码参考:https://github.com/HCJ-shadow/Zuul-Gateway-Cluster-Nginx Zuul的路由转发功能 前期准备 搭建Eureka服务注册中心 服务提供者m ...
随机推荐
- RabbitMQ 汇总
<RabbitMQ Tutorial>译文 第 1 章 简介 <RabbitMQ Tutorial>译文 第 2 章 工作队列 <RabbitMQ Tutorial> ...
- R语言学习 第一篇:变量和向量
R是向量化的语言,最突出的特点是对向量的运算不需要显式编写循环语句,它会自动地应用于向量的每一个元素.对象是R中存储数据的数据结构,存储在内存中,通过名称或符号访问.对象的名称由大小写字母.数字0-9 ...
- css小技巧::not()选择器的妙用
比如,要实现下面的效果(例如:一个列表的最后一项没有边框): See the Pen gmrGOV by 杨友存 (@Gavin-YYC) on CodePen. 一般的文档结构如下: <!-- ...
- OpenGL:使用顶点数组法绘制正六面体
在今天的opengl的课程以及实验中,我们学习了如何使用顶点数组的方法来绘制图形,但相信还有很多同学对它的实际使用方法不太了解,我们就用我们今天实验课上的实例来简单讲解一下 题目及要求 绘制一个正六面 ...
- 汉码盘点机PDA无缝对接思迅思迅盘点机思迅条码数据采集器批号商品盘点的方法
1.1. 盘点批号 如果某些商品进行了批号管理,我们不仅仅要清点什么商品总数有多少个,我们还要区分该商品的某个批号有多少个数量,因此以前批号盘点工作量是非常大的. 我们的盘点机PDA支持批号盘点 ...
- Tomcat源码学习(1)
Tomcat源码学习(1) IntelliJ IDEA 17.3.3 导入 Tomcat 9.0.6源码 下载源码 tomcat_9.0.6 启动 IDEA. 点击 Open,选择刚才下载的文件解压后 ...
- 1083. List Grades (25)-简单的排序
给定区间[L,R],给出在这区间之内的学生,并且按照他们的成绩非升序的顺序输出. #include <iostream> #include <cstdio> #include ...
- 12.17daily_scrum
悬浮窗的优化设计工作已经展开,各界面的测试也在有条不紊的进行,大家都尽量做到了在发现了软件自身的一些问题和bug后,做到在第一时间及时恢复和修改,工作进度的安排也在预期之中,明日的任务发布如下: 具体 ...
- “Linux内核分析”实验三报告
构造一个简单的Linux系统 张文俊+原创作品转载请注明出处+<Linux内核分析>MOOC课程http://mooc.study.163.com/course/USTC-10000290 ...
- 设置matplotlib画图支持中文显示
1.安装中文字体 git clone https://github.com/tracyone/program_font && cd program_font && ./ ...