中小研发团队架构实践之RabbitMQ快速入门及应用

原文:中小研发团队架构实践之RabbitMQ快速入门及应用

使用过分布式中间件的人都知道，程序员使用起来并不复杂，常用的客户端API就那么几个，比我们日常编写程序时用到的API要少得多。但是分布式中间件在中小研发团队中使用得并不多，为什么会这样呢？原因是中间件的职责相对单一，客户端的使用虽然简单，但整个环境搭起来却不容易。所以对于中间件的使用，我们重点放在解决门槛问题，把服务端环境搭好(生产环境可直接使用云或运维解决)，把中间件的基本职责和功能介绍好，把客户端Demo写好，让程序员抬抬脚，在调试代码中即可轻松入门。根据我们以往几年的经验，初次接触也可以自主快速学习。文章和Demo以实用为主，能用代码说明的就不用文字，以下是消息队列RabbitMQ的快速入门及应用。

一、为什么要用消息队列

1.1 使用消息队列的好处

1. 业务系统往往要求响应能力特别强，能够起到削峰填谷的作用。

1. 解耦和高可用。如果一个系统挂了，则不会影响另外个系统的继续运行。

1. 业务系统往往有对消息的高可靠要求，以及有对复杂功能如Ack的要求。

1. 增强业务系统的异步处理能力，减少甚至几乎不可能出现并发现象。

1.2 案例说明

使用消息队列就好比为了防汛而建葛洲坝，有大量数据的堆积能力，然后可靠地进行异步输出。以下是我们业务案例的传统做法，存在如下问题：

1. 一旦业务处理时间超过了定时器时间间隔，就会导致漏单。

1. 如果采用新开线程的方式获取数据，那么由于大量新开线程处理，会容易造成服务器宕机。

1. 数据库压力大，易并发。

基于以上问题，我们使用消息队列RabbitMQ改进了系统。先定时从数据库获取数据，然后存入MQ消息队列，最后Job定期扫描MQ消息队列进行处理，改进后好处如下：

1. 业务可注册、可配置。

1. 获取数据规则可配置。

1. 成功消费MQ中的消息才会被Ack，提高可靠性。

1. 大大增强了异步处理业务作业的能力，假设Job扫描后先预取5条消息，然后异步处理这5条消息，也就是说这5条消息可能会同时被处理。

二、RabbitMQ简介

RabbitMQ是基于AMQP实现的一个开源消息组件，主要用于在分布式系统中存储转发消息，由因高性能、高可用以及高扩展而出名的 Erlang 语言写成。其中，AMQP（Advanced Message Queuing Protocol，即高级消息队列协议），是一个异步消息传递所使用的应用层协议规范，为面向消息的中间件设计。RabbitMQ特点如下：

• 高可靠：RabbitMQ 提供了多种多样的特性让你在可靠性和性能之间做出权衡，包括持久化、发送应答、发布确认以及高可用性。

• 高可用队列：支持跨机器集群，支持队列安全镜像备份，消息的生产者与消费者不论哪一方出现问题，均不会影响消息的正常发出与接收。

• 灵活的路由：所有的消息都会通过路由器转发到各个消息队列中，RabbitMQ内建了几个常用的路由器，并且可以通过路由器的组合以及自定义路由器插件来完成复杂的路由功能。

• 支持多客户端：对主流开发语言（如：Python、Ruby、C#、Java、C、PHP、ActionScript等）都有客户端实现。

• 集群：本地网络内的多个Server可以聚合在一起，共同组成一个逻辑上的Broker。

• 扩展性：支持负载均衡，动态增减服务器简单方便。

• 权限管理：灵活的用户角色权限管理，Virtual Host是权限控制的最小粒度。

• 插件系统：支持各种丰富的插件扩展，同时也支持自定义插件，其中最常用的插件是Web管理工具RabbitMQ_Management，其Web UI访问地址：http://139.198.13.12:6233/，登录账号：flight，密码：yyabc123。

三、RabbitMQ工作原理

消息从发送端到接收端的流转过程即RabbitMQ的消息工作机制，请见下图。

消息发送与接收的工作机制

四、RabbitMQ基本用法

共有6种基本用法：单对单、单对多、发布订阅模式、按路由规则发送接收、主题、RPC（即远程存储调用）。我们将介绍单对单、单对多和主题的用法。

• 单对单：单发送、单接收。请见下图。

• 单对多：一个发送端，多个接收端，如分布式的任务派发。请见下图。

• 主题：Exchange Type为topic。

发送消息时需要指定交换机及Routing Key，消费者的消息队列绑定到该交换机并匹配到Routing Key实现消息的订阅，订阅后则可接收消息。只有消费者将队列绑定到该交换机且指定的Routing Key符合匹配规则，才能收到消息。其中Routing Key可以设置成通配符，如：*或#（*表示匹配Routing Key中的某个单词，#表示任意的Routing Key的消息都能被收到）。如果Routing Key由多个单词组成，则单词之间用.来分隔。

• 命名规范：

交换机名的命名建议：Ex{AppID}.{自定义ExchangeName}，队列名的命名建议：MQ{AppID}.{自定义QueueName} 。

五、Demo下载及更多资料

• RabbitMQDemo下载地址：https://github.com/das2017/RabbitMQDemo

• RabbitMQ的官方网址：http://www.rabbitmq.com