基础拾遗----RabbitMQ
基础拾遗
前言
消息队列,在高并发环境下,由于来不及同步处理,请求往往会发生堵塞,比如说双十一很多人进行下单,购买物品这是对于数据的操作是非常之大的,不管是是insert还是update是不是都有及时操作数据库,那么就有可能造成数据库思索移除什么堆积阻塞。那么我们这时是不是加入异步,nosql是不是能减轻其压力,那么这中间剑气的桥梁就是mq了,当然她的使用场景有很多,我们接下来把社么是消息队列了解清楚它是怎么一回事之后,希望大家能在自己的项目中灵活应用即可。
消息队列(MQ)
我们先从图文上说一下它的使用场景,异步处理,应用解耦,流量削锋和消息通讯四个场景。因为以前开发过商城所以就以下载订单来叙述一下,他的适应场景吧。
异步处理
比如我们下载订单后发送邮件与短信给使用者(简单举例一般不会哈)。那么我们在写程序一般怎么处理呢?(1)把下单信息存入数据库中,调用邮件,短信接口,发送(并行发送或者一个一个发送),返回界面。但是我们计算一下如果每个操作时间为30ms那么最少也需要60ms,多的情况是90ms,
那么如果我们加入消息队列将是一个怎样的情况呢,我们先把下单信息存入数据库,同时把信息放到消息队列。然后就不用管它了。这样的话所用时间就是30ms+1ms(存消息队列)。其实放消息队列中还是要管的的,但那是消费者的事和下单这个生产这无关。
应用解耦
还是商城下载订单的问题,当我们商城下载订单,然后公司内部erp中库存管理相应库存进行同步。一般我们怎么处理,下载完订单,调用erp系统,然后处理erp数据,接着把erp数据库中的信息进行同步到商城,这个时候处理上面提到的效率,还有一个问题,需要解决:如果两个系统不能同时访问,你会怎么做。那么我们就要对两个系统进行解耦了对不对。这个时候消息队列就有了用武之地。如下图:其实消息队列在这个功能下,我们的erp系统也有写入的时候,在这不再累述业务,大家了解消息队列的用途即可。
流量削锋
做过商城的应该都会遇到这个问题,当举行活动是拥挤大量的用户,可能会是系统崩溃,这时候流量控制,和异常处理是一件特别重要的工作。当然请不要说在这其他方法,我们不对其进行讨论,我们尽对消息队列的使用做简单介绍。
消息通讯
消息通讯是指,消息队列一般都内置了高效的通信机制,因此也可以用在纯的消息通讯。比如实现点对点消息队列,或者聊天室等
以上我们大致说了一下他的使用场景,那么不知道大家有没有了解到它到底是个什么东西?
其实吧消息队列就是一个生产者,把相应消息(对象)放到消息队列(中间件中),然后它就什么都不用管了,接下来消费者(或者叫订阅者)去消息队列中间件中去获取订阅的信息,它自己再去处理。能解决的问题咱们从上面的场景应该已经了解到了,解耦,提高效率。那么重点来了消息队列中间件又是什么呢?它都有哪些,又是怎么实现的呢?下面我们就来了解其中的一个中间件RabbitMq。
RabbitMq
大家大致知道什么是消息队列了,那么它的实现是什么样的呢?现在基本上也知道它实现重要的一环是消息对立中间件,rabbitmq,就是其中之一,其中还包括:Active MQ,Rocket Mq,Kafka,Zero MQ甚至也有人用redis来实现。
从我的角度来说我去了解了两个AcctionMQ与RabbitMq这两种最终选择了它,也简单做了相应的封装,来我先来介绍一下RabbitMq.
RabbitMQ是一个消息代理 - 一个消息系统的媒介。它可以为你的应用提供一个通用的消息发送和接收平台,并且保证消息在传输过程中的安全。它提供的内部机制包括持久性机制、投递确认、发布者证实和高可用性机制,多协议,集群,联合我们可以在实现的过程中针对于性能与可靠性进行相应权衡。
看一下:rabbitmq可视化工具如下(此可视化web的操作请大家自行查询):
其实消息队列的协议是AMQP,有很多对此的介绍在这不再累述。结果上面的了解我们大致知道它是个什么东西,不过我们也要在此提一下,几个概念。消息、队列、路由(包括点对点和发布/订阅),生产者,消费者,具体解释我觉得不需要了,就是你理解的字面意思。
其中队列我们一般用P来表示,消费者一般用C,队列(存消息的集合)用q。路由是R.多个消费者可以访问多个q。接下来开始我们的实现了。
RabbitMq的代码实现
RabbitMq连接
首先看一下配置文件信息:
<appSettings> <!--rabbitMQ--> <add key="serveraddress" value="amqp://192.168.0.76:5672/"/> <add key="virtualhost" value="erpadminvirtualhost"/> <add key="username" value="tx_junpin"/> <add key="password" value="abc.1234%"/>
以上分别是访问服务地址,虚拟地址(可在可视化上手动添加,记得要加一条数据进去,然后删除,好比初始haunted一样),用户,密码。其中web访问地址一般为端口后改为“15672”.
连接关键数据准备好之后就是c# 中代码的实现了
private RabbitConsumerConfig RBGetinfo; private ConnectionFactory cf = new ConnectionFactory(); private IConnection conn; //建立联接 /// <summary> /// 初始化Rabbit连接 /// </summary> /// <param name="rbinfo"></param> public RabbitConsumer(RabbitConsumerConfig rbinfo) { RBGetinfo = rbinfo; cf = new ConnectionFactory() { UserName = RBGetinfo.UserName, Password = RBGetinfo.Password, VirtualHost = RBGetinfo.VirtualHost, RequestedHeartbeat = , Uri = RBGetinfo.ServerAddress }; conn = cf.CreateConnection(); }
以上ConnectionFactory 内部为中间件提供的连接工厂。方便与AMQP代理相关联的Connection。用兴趣的小伙伴请F12去看代码吧。
调用代码封装
/// <summary> /// 队列出列的方法,传入处理队列中body的方法,并传入队列名称 /// </summary> /// <param name="messageProcessAction">要执行的方法(委托)</param> /// <param name="queuename">队列名称</param> /// <param name="count">获取数据条数</param> public void ConsumeMessage(Action<string> messageProcessAction, string queuename, ushort count) { if (string.IsNullOrEmpty(queuename)) { throw new ArgumentNullException("queuename"); } CheckConn(); using (IModel ch = conn.CreateModel()) { //第二种取法QueueingBasicConsumer基于订阅模式 QueueingBasicConsumer consumer = new QueueingBasicConsumer(ch); ch.BasicQos(, count, true); ch.BasicConsume(queuename, false, consumer); while (true) { string message = ""; try { BasicDeliverEventArgs e = (BasicDeliverEventArgs)consumer.Queue.Dequeue(); IBasicProperties props = e.BasicProperties; byte[] body = e.Body; message = System.Text.Encoding.UTF8.GetString(body); messageProcessAction.Invoke(System.Text.Encoding.UTF8.GetString(body).Replace("\0\0\0body\0\n", "").Replace("\0", "").ToString()); ch.BasicAck(e.DeliveryTag, false); } catch (Exception ex) { throw new RabbitException() { InternalException = ex, QueueName = queuename, RabbitInfo = RBGetinfo.ToString(), CurrentMessage = message }; } } } }
其中 CheckConn()判断是否连接如果没连接继续连接诶:
private void CheckConn() { if (RBGetinfo != null && !IsOpen) { cf = new ConnectionFactory() { UserName = RBGetinfo.UserName, Password = RBGetinfo.Password, VirtualHost = RBGetinfo.VirtualHost, RequestedHeartbeat = , Uri = RBGetinfo.ServerAddress }; conn = cf.CreateConnection(); } }
可能大家看到注释了,是的,RabbitMQ Consumer 获取消息有两种方式(poll、subscribe) 。-----订阅与轮询。我们用的是订阅模式。写到者突然件想有时间还是要把上面提到的那个几个概念再梳理一下吧。
其中委托调用的方法:
public void StockTBCExecute(string body) { logger.Error("StockTBCExecute" + body); }
你有可能会问。我可不可以定义委托方法为多个参数?我只能说,你看一下代码:
byte[] body = e.Body; message = System.Text.Encoding.UTF8.GetString(body); messageProcessAction.Invoke(System.Text.Encoding.UTF8.GetString(body).Replace("\0\0\0body\0\n", "").Replace("\0", "").ToString());
至于能否扩展你们自己去研究吧。
向中间件插入数据
public class RabbitMQManager { private static readonly string _serverAddress; private static readonly string _virtualHost; private static readonly string _userName; private static readonly string _password; private static readonly ILog _logger = LogManager.GetLogger(typeof(RabbitMQManager)); private static RabbitProducer _rabbitProducer; static RabbitMQManager() { _serverAddress = ConfigurationManager.AppSettings["serveraddress"]; _virtualHost = ConfigurationManager.AppSettings["virtualhost"]; _userName = ConfigurationManager.AppSettings["username"]; _password = ConfigurationManager.AppSettings["password"]; } /// <summary> /// 交换链接信息 /// </summary> /// <param name="routingKey">路由关键字</param> /// <param name="queueName">队列名称</param> /// <param name="message">消息内容</param> public static void SendRabbitMQ(string routingKey, string queueName, string message) { RabbitProducerConfig _rabbitConfig = new RabbitProducerConfig() { ServerAddress = _serverAddress, VirtualHost = _virtualHost, UserName = _userName, Password = _password, Exchange = "erp.service", ExchangeType = "direct", RoutingKey = routingKey }; if (_rabbitProducer == null || !_rabbitProducer.IsOpen) { _rabbitProducer = new RabbitProducer(_rabbitConfig); } try { _rabbitProducer.ProduceMessage(message, queueName); } catch (Exception ex) { _logger.Error(ex); } finally { _rabbitProducer.Close(); } } }
以上代码好像也没有什么好解释的,这里面用到的路由与于队列参数,基本上我使用的一个队列会对应一个路由,但是 rabbitmq并非只有这种方式。
那么就在这多说一点吧。
RabbitMQ三种路由方式
Direct Exchange(直接路由)
任何发送到Direct Exchange的消息都会被转发到RouteKey中指定的Queue.(我封装的方法是这种)
1
.一般情况可以使用rabbitMQ自带的Exchange:"(该Exchange的名字为空字符串,下文称其为
default
Exchange)。
2
.这种模式下不需要将Exchange进行任何绑定(binding)操作
3
.消息传递时需要一个“RouteKey”,可以简单的理解为要发送到的队列名字。
4
.如果vhost中不存在RouteKey中指定的队列名,则该消息会被抛弃。
Fanout Exchange(广播路由)
任何发送到Fanout Exchange的消息都会被转发到与该Exchange绑定(Binding)的所有Queue上。
1
.可以理解为路由表的模式
2
.这种模式不需要RouteKey
3
.这种模式需要提前将Exchange与Queue进行绑定,一个Exchange可以绑定多个Queue,一个Queue可以同多个Exchange进行绑定。
4
.如果接受到消息的Exchange没有与任何Queue绑定,则消息会被抛弃
Topic Exchange(主题订阅模式路由)
任何发送到Topic Exchange的消息都会被转发到所有关心RouteKey中指定话题的Queue上
1
.这种模式较为复杂,简单来说,就是每个队列都有其关心的主题,所有的消息都带有一个“标题”(RouteKey),Exchange会将消息转发到所有关注主题能与RouteKey模糊匹配的队列。
2
.这种模式需要RouteKey,也许要提前绑定Exchange与Queue。
3
.在进行绑定时,要提供一个该队列关心的主题,如“#.log.#”表示该队列关心所有涉及log的消息(一个RouteKey为”MQ.log.error”的消息会被转发到该队列)。
4
.“#”表示
0
个或若干个关键字,“*”表示一个关键字。如“log.*”能与“log.warn”匹配,无法与“log.warn.timeout”匹配;但是“log.#”能与上述两者匹配。
5
.同样,如果Exchange没有发现能够与RouteKey匹配的Queue,则会抛弃此消息。
最后的最后源码
源码:https://github.com/kmonkey9006/RabbitMQ
不管你是否了解上面我说的,你可以直接用下面的方法来使用我封装的这个类库:
插入指定队列一条数据:
RabbitMQManager.SendRabbitMQ(RoutKey.RoutKey_stock_eshop, Queuen.Queuen_Stock_Eshop, "0108ZLY036");
获取队列中的数据(先进先出):
public void Execute1() { while (true) { try { if (rc1 == null || !rc1.IsOpen) { rc1 = new RabbitConsumer(rcc); } rc1.ConsumeMessage(StockEshopExecute, RabbitMQ.RabbitMqConst.Queuen.Queuen_Stock_Eshop, ); } catch (Exception ex) { logger.ErrorFormat("Execute1,异常:{0}", ex.Message); } } }
总结:
大致讲的是怎么在项目中使用,其中有很多细节与需要注意的东西详细阐述,大家可自己详细的去了解,针对于代码,我已经传到github上去,如果有什么问题大家可以给我提出来,有什么需要讨论的,请在公告来中找到QQ与我联系。
基础拾遗----RabbitMQ的更多相关文章
- 基础拾遗----RabbitMQ(含封装类库源码)
基础拾遗 基础拾遗------特性详解 基础拾遗------webservice详解 基础拾遗------redis详解 基础拾遗------反射详解 基础拾遗------委托详解 基础拾遗----- ...
- 基础拾遗------redis详解
基础拾遗 基础拾遗------特性详解 基础拾遗------webservice详解 基础拾遗------redis详解 基础拾遗------反射详解 基础拾遗------委托详解 基础拾遗----- ...
- 基础拾遗------webservice详解
基础拾遗 基础拾遗------特性详解 基础拾遗------webservice详解 基础拾遗------redis详解 基础拾遗------反射详解 基础拾遗------委托详解 基础拾遗----- ...
- 基础拾遗-----mongoDB操作
基础拾遗 基础拾遗------特性详解 基础拾遗------webservice详解 基础拾遗------redis详解 基础拾遗------反射详解 基础拾遗------委托详解 基础拾遗----- ...
- Java基础拾遗(二)
(尊重劳动成果,转载请注明出处:http://blog.csdn.net/qq_25827845/article/details/76358523冷血之心的博客) 马上就要秋招了,新的一轮笔试面试马上 ...
- Java基础拾遗(一)
(尊重劳动成果,转载请注明出处:http://blog.csdn.net/qq_25827845/article/details/76358391冷血之心的博客) 马上就要秋招了,新的一轮笔试面试马上 ...
- C#基础拾遗系列之二:使用ILSpy探索C#7.0新增功能点
C#基础拾遗系列之二:使用ILSpy探索C#7.0新增功能点 第一部分: C#是一种通用的,类型安全的,面向对象的编程语言.有如下特点: (1)面向对象:c# 是面向对象的范例的一个丰富实现, 它 ...
- Python基础(四) 基础拾遗、数据类型进阶
一.基础拾遗 (一).变量作用域 外层变量,可以被内层变量直接调用:内层变量,无法被外层变量使用.这种说法在其它语言中适用,在python中除了栈以外,正常的变量作用域,只要执行声明并在内存中存在,该 ...
- Python 面向对象之五 基础拾遗
Python 面向对象之五 基础拾遗 今天呢,就剩下的面向对象的相关知识进行学习,主要会学习以下几个方面的知识:1.上下文管理协议,2.为类加装饰器 3.元类 一.上下文管理协议 在学习文件操作的时候 ...
随机推荐
- 构建NetCore应用框架之实战篇系列
构建NetCore应用框架之实战篇 构建NetCore应用框架之实战篇(一):什么是框架,如何设计一个框架 构建NetCore应用框架之实战篇(二):BitAdminCore框架定位及架构 构建Net ...
- Sql语法高级应用之七:如何在存储过程中使用事务
普通事物: USE Wot_Inventory; GO BEGIN TRANSACTION tr; DECLARE @error INT; SET @error = 0; SELECT * FROM ...
- openstack 虚机迁移 Unacceptable CPU info: CPU doesn't have compatibility
问题: Unacceptable CPU info: CPU doesn't have compatibility 解决: vim /usr/lib/python2.7/site-packages/n ...
- 程序媛计划——python爬虫
#用selenium打开百度首页 #第一次运行代码时应该在safari开发者选项中设置'allow remote automation' from selenium import webdriver ...
- 学习 swift (1)
https://developer.apple.com/library/prerelease/ios/referencelibrary/GettingStarted/DevelopiOSAppsSwi ...
- 利用nginx实现负载均衡
1.安装nginx和tomcat 我这里是使用docker安装的.安装流程可参照 dockerfile 这里安装了两个tomcat,端口分别是42000和42001.第二个tomcat的首页随便加了些 ...
- svn update 产生Node remains in conflict的问题
输入:sudo svn revert --depth=infinity frontend/web/js/workplace/organization.js 最后在执行 svn up 就ok了
- JIRA Rest JAVA Client API实现问题管理及自定义字段(原创)
JIRA是一个缺陷跟踪管理系统,被广泛应用于缺陷跟踪.客户服务.需求收集.流程审批.任务跟踪.项目跟踪和敏捷管理等工作领域,当我们需要把第三方业务系统集成进来时,可以调用他的API. JIRA本身的A ...
- phpqrcode 分别生成普通、带logo、带背景带logo二维码
前提:下载好 phpqrcode 类库 1.生成普通二维码 //引入类库 include('phpqrcode/phpqrcode.php'); //二维码里面的链接地址 $url="htt ...
- 【BZOJ3992】【SDOI2015】序列统计 EGF+多项式快速幂+循环卷积
如果是求$n$个数之和在模$m$意义下为$x$,那么做法是显然的. 但是这道题问的是$n$个数之积在模m意义下为$x$,那么做法就和上面的问题不同. 考虑如何把乘法转换成加法(求log): 题目中有一 ...