.NET文件并发与RabbitMQ(初探RabbitMQ)
本文版权归博客园和作者吴双本人共同所有。欢迎转载,转载和爬虫请注明原文地址:http://www.cnblogs.com/tdws/p/5860668.html
想必MQ这两个字母对于各位前辈们和老司机们并不陌生。本文初探RabbitMQ的简单分享可能值得学习之处不怎么多,本人对于RabbitMQ的研究目前也很初级,这个月打算按照好的学习线路提高一下,欢迎新老司机留下你们的见解。

首先提到第一个简单的场景,文件并发。我先手动实现一下文件并发,引发异常,请看如下代码。
static void Main(string[] args)
{
new Thread(write1).Start();
new Thread(write1).Start();
new Thread(write1).Start();
Console.WriteLine("等待");
Console.ReadKey();
}
public static void write1()
{
for (int i = ; i < ; i++)
{
WriteLog(i);
}
//Console.ReadKey();
}
public static void WriteLog(int i)
{
using (FileStream f = new FileStream(@"d:\\A.txt", FileMode.Append))
{
using (StreamWriter sw = new StreamWriter(f, Encoding.Default))
{
sw.Write(i);
}
}
}
我使用多线程并发向同一个append数据。相信你应该知道接下来运行起来会发生什么!

是的,正如你所料,该文件正由另一个进程使用,因此该进程无法访问此文件。也许这个场景,就像你写应用程序运行日志,异常日志。如果你没使用任何插件或者组件,就只能直接向文件中append。这样的问题,是你不得不解决的。
这个时候就是队列出场的时候了。当然队列的组件有很多,.NET框架下也有自带的队列Queue,微软也有独立的队列组件MSQueue。Apache有其ActiveMQ,另外知名的消息队列还有Equeue,ZeroMQ等。消息队列的使用场景,大概包括解耦,提高峰值处理能力,送达和排序保证,缓冲等。
RabbitMQ是一个消息中间件,其主要的观点很简单:接受和转发消息。你可以把他想象成邮局,当你发送新建到邮递箱,你很确定邮递员最终将会把你的新建传递到你的收件人手中。我们使用邮递箱和邮递员来隐喻RabbitMQ。关于RabbitMQ和邮局之前的主要区别在于邮局处理纸质信件,而MQ存储和转发二进制数据-message。下面提到RabbitMQ的几个”行话“。
生产者意味着发送消息。一个发送消息的应用程序是一个生产者,我们称其为"P"。

队列queue意味着邮递箱。他存在于RabbitMQ当中.尽管消息在RabbitMQ和你的应用程序中”流通“,他们可以被仅存在一个队列当中。一个队列不受任何限制,他可以存储你想要存储的消息量,它本质上是一个无限的缓冲区。多个生产者可以向同一个队列发送消息,多个消费者可以尝试从同一个消息队列中接收数据。一个队列像下面这样,上面是它的队列名称。

消费者意味着接收,消费者是等待接收处理消息的应用程序。

最后的关系就如下图:

接下来,我将使用RabbitMQ来解决最开始的文件并发问题。也就是说为了避免文件并发,我们要将生产者所需append到文件中的内容存入到消息队列当中,然后取出队列中的message让消费者写入到文件当中。关于RabbitMQ的安装和配置请先看张善友老师的文章:http://www.cnblogs.com/shanyou/p/4067250.html ,写的特别详细。只不过历经数月RabbitMQ C#客户端方法上有略微的更新。
下面我将新建两个ConsoleApp应用程序。一个负责Receive,消费者,写文件。另一个Send,生产者,将所需写入的数据推到RabbitMQ当中。
Receive代码如下:
static void Main(string[] args)
{
var factory = new ConnectionFactory() { HostName = "127.0.0.1", UserName = "WuShuang", Password = "" };
using (var connection = factory.CreateConnection())
using (var channel = connection.CreateModel())
{
channel.QueueDeclare(queue: "hello",
durable: false,
exclusive: false,
autoDelete: false,
arguments: null); var consumer = new EventingBasicConsumer(channel);
consumer.Received += (model, ea) =>
{
var body = ea.Body;
var message = Encoding.UTF8.GetString(body);
WriteLog(message);
};
channel.BasicConsume(queue: "hello",
noAck: true,
consumer: consumer); Console.WriteLine(" Press [enter] to exit.");
Console.ReadLine();
}
}
public static void WriteLog(string i)
{
using (FileStream f = new FileStream(@"d:\\A.txt", FileMode.Append))
{
using (StreamWriter sw = new StreamWriter(f, Encoding.Default))
{
sw.Write(i + "\n");
}
}
}
Send代码如下:
static void Main(string[] args)
{
new Thread(write1).Start();
new Thread(write1).Start();
new Thread(write1).Start();
Console.WriteLine(" Press [enter] to exit.");
Console.ReadLine();
} public static void write1()
{
var factory = new ConnectionFactory() { HostName = "127.0.0.1", UserName = "WuShuang", Password = "" };
using (var connection = factory.CreateConnection())
using (var channel = connection.CreateModel())
{
channel.QueueDeclare(queue: "hello", durable: false,
exclusive: false,
autoDelete: false,
arguments: null);
channel.QueueBind("hello", "wsExchange", "hello");
for (int i = ; i < ; i++)
{
string message = "Hello World ws!" + i;
var body = Encoding.UTF8.GetBytes(message); channel.BasicPublish(exchange: "wsExchange",
routingKey: "hello",
basicProperties: null,
body: body);
Console.WriteLine(" [x] Sent {0}", message);
}
} //Console.ReadKey();
}
有了代码后,首先把Receive项目运行起来。等待生产者Send消息到队列中,然后Receive订阅的事件将会取出消息,并将消息写入到文件当中。

左侧的ConsoleApp持续向队列中写入消息,右侧的Receive的ConsoleApp运行过程中,会不断写文件。生产者承受了多线程并发些数据,当然消费者有序的取出队列中的数据,也不会发生最开始的文件并发异常。
今天的分享就这么简单,关于RabbitMQ有待继续深入学习。
如果您觉得我的点滴分享,对您有点滴帮助,欢迎点赞,也为您自己的进步点赞!
点击下方关注,我们共同进步!

分享的过程中,总会遇到不断地惊喜。
参考文章:
张善友老师:Windows上安装RabbitMQ指南
RabbitMQ(开源)官方文档 Hello world
.NET文件并发与RabbitMQ(初探RabbitMQ)的更多相关文章
- RabbitMq初探——安装
rabbitmq Server安装 rabbitmq server安装很简单. 安装erlang环境 rpm -ihv erlang-18.1-1.el6.x86_64.rpm rpm -ihv ra ...
- RabbitMq初探——消息均发
消息均发 前言 由前文 RabbitMq初探——消息分发 可知,rabbitmq自带分发机制——消息会按顺序的投放到该队列下的多个消费者,例如1,3,5投放消费者C1,2,4,6投放消费者C2. 这就 ...
- Java秒杀实战 (六) 服务级高并发秒杀优化(RabbitMQ+接口优化)
转自:https://blog.csdn.net/qq_41305266/article/details/81146716 一.思路:减少数据库访问 1.系统初始化,把商品库存数量加载到Redis 2 ...
- 我为什么要选择RabbitMQ ,RabbitMQ简介,各种MQ选型对比(转载)
转载自:https://www.sojson.com/blog/48.html 前言: MQ 是什么?队列是什么,MQ 我们可以理解为消息队列,队列我们可以理解为管道.以管道的方式做消息传递. 场景: ...
- 【RabbitMQ】 RabbitMQ配置开机启动
环境 系统:Linux(CentOS 7.2) Erlang环境:21.1(安装参考[Erlang]源码安装) RabbitMQ:3.7.9(安装参考[RabbitMQ] RabbitMQ安装) 配置 ...
- 为什么要选择RabbitMQ ,RabbitMQ简介,各种MQ选型对比
原文:https://www.sojson.com/blog/48.html 前言: MQ 是什么?队列是什么,MQ 我们可以理解为消息队列,队列我们可以理解为管道.以管道的方式做消息传递. 场景: ...
- 快速掌握RabbitMQ(一)——RabbitMQ的基本概念、安装和C#驱动
1 RabbitMQ简介 RabbitMQ是一个由erlang开发的AMQP(Advanced Message Queue )的开源实现,官网地址:http://www.rabbitmq.com.Ra ...
- 【详细】【转】C#中理解委托和事件 事件的本质其实就是委托 RabbitMQ英汉互翼(一),RabbitMQ, RabbitMQ教程, RabbitMQ入门
[详细][转]C#中理解委托和事件 文章是很基础,但很实用,看了这篇文章,让我一下回到了2016年刚刚学委托的时候,故转之! 1.委托 委托类似于C++中的函数指针(一个指向内存位置的指针).委托 ...
- 【RabbitMQ】RabbitMQ的一些基础概念
工作中使用的是RabbitMQ,需要对其进行熟悉.使用之前,弄清楚它是什么东西,解决什么问题. 场景 一些不必实时执行的任务 开发中,有一些任务并无须实时执行,比如: 会员更新个人信息,更新会员信息之 ...
随机推荐
- Python应用03 使用PyQT制作视频播放器
作者:Vamei 出处:http://www.cnblogs.com/vamei 严禁任何形式转载. 最近研究了Python的两个GUI包,Tkinter和PyQT.这两个GUI包的底层分别是Tcl/ ...
- gitHub使用入门和github for windows的安装教程
在看这篇教程之前我想大家也在搜索怎样使用gitHub托管自己的项目,在使用gitHub之前我也遇到过各种问题,在网上我也搜索了很多,但总觉得网上搜索到的东西很多很杂,有的根本不知道是在表达什么.在这过 ...
- 计算机程序的思维逻辑 (60) - 随机读写文件及其应用 - 实现一个简单的KV数据库
57节介绍了字节流, 58节介绍了字符流,它们都是以流的方式读写文件,流的方式有几个限制: 要么读,要么写,不能同时读和写 不能随机读写,只能从头读到尾,且不能重复读,虽然通过缓冲可以实现部分重读,但 ...
- 推荐10款超级有趣的HTML5小游戏
HTML5的发展速度比任何人的都想像都要更快.更加强大有效的和专业的解决方案已经被开发......甚至在游戏世界中!这里跟大家分享有10款超级趣味的HTML5游戏,希望大家能够喜欢! Kern Typ ...
- Tableau未必最佳,国内BI也能突破重围!
如今,百度一下商业智能或BI工具,总能看到Tableau的身影.并不是Tableau的营销做得好,而是国内对于商业智能工具的认知和选择似乎都落在了Tableau身上.导致不管业内业外都对商业智能的概念 ...
- Android之使用文件进行IPC
一.文件进行IPC介绍 共享文件也是一种不错的进程间通信方式,两个进程通过读/写同一个文件来交换数据.在Windows上,一个文件如果被加了排斥锁将会导致其他线程无法对其进行访问,包括读写,而由于An ...
- Jenkins的一个bug-同时build一个项目两次导致失败
我们有一个job A, A只是配置了一些参数,它会去触发模板job B. 我一开始点击构建A, 马上发现参数配置不对,于是撤消了构建,但是我没有发现B已经被触发,我重新配置参数,然后再次构建A,这个时 ...
- 技术笔记:Delphi多线程应用读写锁
在多线程应用中锁是一个很简单又很复杂的技术,之所以要用到锁是因为在多进程/线程环境下,一段代码可能会被同时访问到,如果这段代码涉及到了共享资源(数据)就需要保证数据的正确性.也就是所谓的线程安全.之前 ...
- 借助亚马逊S3和RapidMiner将机器学习应用到文本挖掘
本挖掘典型地运用了机器学习技术,例如聚类,分类,关联规则,和预测建模.这些技术揭示潜在内容中的意义和关系.文本发掘应用于诸如竞争情报,生命科学,客户呼声,媒体和出版,法律和税收,法律实施,情感分析和趋 ...
- VR ( Virtual Reality )、AR(Augmented Reality)、MR(Mix Reality)和CR(Cinematic Reality)是什么鬼?
整个社会对虚拟现实的研究和开发源于上个世纪六十年代,计算机图形学.人机接口技术.图像处理与模式识别.多传感技术.语音处理与音响技术.高性能计算机系统.人工智能等领域在之后半个世纪取得了长足的发展为虚拟 ...