C# 生产者与消费者模式
情景:一个线程不断获取数据,另一个线程不断处理这些数据。
常规方法:数据列表加锁,两个线程获取锁,拿到操作权;类似代码如下:(不推荐)
static void Main(string[] args)
{
lockClass l = new lockClass();
for (int i = 0; i < 1000000; i++)
{
l.Equeue(i.ToString()); }
} public class lockClass
{
Queue<string> currentQueue = new Queue<string>(10000000);//当前要插入数据的队列
static readonly object objlock = new object();
FileStream f = new FileStream("D://1.txt", FileMode.Create, FileAccess.Write, FileShare.None);
StreamWriter writer;
public lockClass()
{
writer = new StreamWriter(f);
var backgroundWorker = new BackgroundWorker();
backgroundWorker.DoWork += backgroundWorker_DoWork;
backgroundWorker.RunWorkerAsync();
}
void backgroundWorker_DoWork(object sender, DoWorkEventArgs e)
{
while (true)
{
lock (objlock)
{
if (currentQueue.Count > 0)
{
var item = currentQueue.Dequeue();
Console.WriteLine(item);
writer.WriteLine(item); } } }
} public void Equeue(string item)
{
lock (objlock)
{ currentQueue.Enqueue(item); }
} }
方法2:双缓存队列处理,意思就是说,用两个队列,一个队列用于获取数据,另一个队列用于操作数据,通过信号量来处理线程调度,来取消“锁”带来的资源切换浪费,参考代码如下:
static void Main(string[] args)
{
var test = new DoubleBufferedQueue();
for (int i = 0; i < 1000000; i++)
{
test.Equeue(i.ToString()); }
} public class DoubleBufferedQueue
{
public readonly Queue<string> Queue1 = new Queue<string>(10000000);
public readonly Queue<string> Queue2 = new Queue<string>(10000000);
private readonly ManualResetEvent lock1 = new ManualResetEvent(true);//一开始可以执行
private readonly ManualResetEvent lock2 = new ManualResetEvent(false);
private readonly AutoResetEvent _autoReset = new AutoResetEvent(true);
private volatile Queue<string> currentQueue = new Queue<string>(10000000);//当前要插入数据的队列
FileStream f = new FileStream("D://1.txt", FileMode.Create, FileAccess.Write, FileShare.None);
StreamWriter writer;
public DoubleBufferedQueue()
{
writer = new StreamWriter(f);
currentQueue = Queue1;
var backgroundWorker = new BackgroundWorker();
backgroundWorker.DoWork += backgroundWorker_DoWork;
backgroundWorker.RunWorkerAsync();
} void backgroundWorker_DoWork(object sender, DoWorkEventArgs e)
{
while (true)
{
this._autoReset.WaitOne();//没有成员入队列时不进行其他操作;
this.lock2.Reset();
this.lock1.WaitOne();
var readQueue = currentQueue;
currentQueue = (currentQueue == Queue1) ? Queue2 : Queue1;
this.lock2.Set();
writeToConsonle(currentQueue); }
} void writeToConsonle(Queue<string> readQueue)
{ while (readQueue.Count > 0)
{
var item= readQueue.Dequeue();
Console.WriteLine(item);
writer.WriteLine(item);
}
} public void Equeue(string item)
{
this.lock2.WaitOne();
this.lock1.Reset();
currentQueue.Enqueue(item);
lock1.Set();
_autoReset.Set();
} }
方法3:用微软提供的BlockingCollection(线程安全的,可阻塞的资源的),个人理解就是资源安全的队列,并且当没有操作的时候(队列空闲的时候)不耗费资源,个人觉得和方法2原理类似(推荐使用)
static void Main(string[] args)
{ var block = new blockingCollectionClass();
for (int i = 0; i < 10000; i++)
{ block.Add(i.ToString()); }
Console.ReadKey();
} public class blockingCollectionClass
{
BlockingCollection<string> blockingCollection = new BlockingCollection<string>();
FileStream f = new FileStream("D://1.txt", FileMode.Create, FileAccess.Write, FileShare.None);
StreamWriter writer;
public void Add(string Item)
{
blockingCollection.Add(Item);
} public blockingCollectionClass()
{
writer = new StreamWriter(f);
var backgroundWorker = new BackgroundWorker();
backgroundWorker.DoWork += backgroundWorker_DoWork;
backgroundWorker.RunWorkerAsync();
} void backgroundWorker_DoWork(object sender, DoWorkEventArgs e)
{
foreach (string value in blockingCollection.GetConsumingEnumerable())
{
Console.WriteLine(value);
writer.WriteLine(value);
}
} }
情景2:秒杀活动、抢票等活动时,并发性很高,导致服务器阻塞,用户请求丢失;
策略1:可以采用以上队列的形式处理服务器高并发问题,所有的请求先加入队列,排队,后台线程来处理队列里面的请求;
策略2:够建一个队列容器,接收请求的线程从容器中取一个空的对列,当队列填满后,放回到容器中,再次从容器中取一个空队列;处理线程需要从容器中取出非空的队列,处理完队列为空,放回到容器去;从容器中取放队列需要加锁。如果要保证处理的顺序,容器可以选队列(放队列的队列);
C# 生产者与消费者模式的更多相关文章
- 使用libuv实现生产者和消费者模式
生产者和消费者模式(Consumer + Producer model) 用于把耗时操作(生产线程),分配给一个或者多个额外线程执行(消费线程),从而提高生产线程的响应速度(并发能力) 定义 type ...
- java生产者与消费者模式
前言: 生产者和消费者模式是我们在学习多线程中很经典的一个模式,它主要分为生产者和消费者,分别是两个线程, 目录 一:生产者和消费者模式简介 二:生产者和消费者模式的实现 声明:本例来源于java经典 ...
- condition版生产者与消费者模式
1.简介 在爬虫中,生产者与消费者模式是经常用到的.我能想到的比较好的办法是使用redis或者mongodb数据库构造生产者消费者模型.如果直接起线程进行构造生产者消费者模型,线程容易假死,也难以构造 ...
- Java并发编程(4)--生产者与消费者模式介绍
一.前言 这种模式在生活是最常见的,那么它的场景是什么样的呢? 下面是我假象的,假设有一个仓库,仓库有一个生产者和一个消费者,消费者过来消费的时候会检测仓库中是否有库存,如果没有了则等待生产,如果有就 ...
- Java多线程设计模式(2)生产者与消费者模式
1 Producer-Consumer Pattern Producer-Consumer Pattern主要就是在生产者与消费者之间建立一个“桥梁参与者”,用来解决生产者线程与消费者线程之间速度的不 ...
- 【爬虫】Condition版的生产者和消费者模式
Condition版的生产者和消费者模式 threading.Condition 在没有数据的时候处于阻塞状态,有数据可以使用notify的函数通知等等待状态的线程运作 threading.Condi ...
- 【爬虫】Load版的生产者和消费者模式
''' Lock版的生产者和消费者模式 ''' import threading import random import time gMoney = 1000 # 原始金额 gLoad = thre ...
- java 线程并发(生产者、消费者模式)
线程并发协作(生产者/消费者模式) 多线程环境下,我们经常需要多个线程的并发和协作.这个时候,就需要了解一个重要的多线程并发协作模型“生产者/消费者模式”. Ø 什么是生产者? 生产者指的是负责生产数 ...
- java进阶(40)--wait与notify(生产者与消费者模式)
文档目录: 一.概念 二.wait的作用 三.notify的作用 四.生产者消费者模式 五.举例 ---------------------------------------分割线:正文------ ...
- Java实现生产者与消费者模式
生产者不断向队列中添加数据,消费者不断从队列中获取数据.如果队列满了,则生产者不能添加数据:如果队列为空,则消费者不能获取数据.借助实现了BlockingQueue接口的LinkedBlockingQ ...
随机推荐
- C#文件操作 File(静态类)
操作某一个文件/文件夹,需要一个文件的完整路径 一.使用File的静态方法进行文件操作 1 2 3 4 5 6 7 8 9 //使用file的静态方法进行复制 File.C ...
- 工作笔记--对接三方Http接口遇到的问题
在使用 HttpClient 4.4 调用第三方 http api 时遇到了很多问题,还好最后都解决了,记录一下遇到的问题及解决办法,希望对同样有此问题的你有所帮助. 环境说明 首先说明一点是,对方的 ...
- 游戏开发3D基础知识
概念学习: 向量 向量简介 我们将所有彼此平行的向量进行平移,使其起点与坐标原点重合,当某一向量的起始端与坐标原点重合,我们成该向量处于标准位置.这样,我们就可用向量的终点坐标来描述一个处于标准位置的 ...
- 线上调试bug
在以往的工作中,线上一有bug,就需要把文件弄到本地来改,但经常会碰见本地环境又和线上不一样,导致调试困难,闭着眼睛改好之后传到线上去看对不对,不对的话又要改,循环往复,要多麻烦就有多麻烦啊. 今天给 ...
- hdoj 4762 Cut the Cake
题意很简单就不说了. 解题的关键就是这个公式 answer=n/(m^(n-1)); 要用到大数的乘法.然后java水过. import java.util.*; import java.math.* ...
- JS中以一个方法作为参数的写法
一:以方法作为参数 这下来说直接以一个方法来作为参数的写法,直接上代码: -----------这样调用的方法------------- go(function(){ alert("succ ...
- Dialog 使用详解
极力推荐文章:欢迎收藏 Android 干货分享 阅读五分钟,每日十点,和您一起终身学习,这里是程序员Android 本篇文章主要介绍 Android 开发中的部分知识点,通过阅读本篇文章,您将收获以 ...
- 数据结构之队列java版
//java由于泛型的擦除,用起来十分不方便 abstract class BaseQueue<T>{ abstract boolean enQueue(T x); abstract T ...
- Python3源代码编译安装
Python3源代码编译安装 安装必要工具 yum-utils ,它的功能是管理repository及扩展包的工具 (主要是针对repository) $ sudo yum install yum-u ...
- centos虚拟机配置静态ip
昨天在配置虚拟机的时候因为之前没有设置静态IP,而是使用DHCP动态分配的,导致关机后下次开机虚拟机的ip是随机变动的.严重影响了工作体验啊,遂设置静态ip以保全! 虚拟机使用的是CentOS6.5, ...