基于阻塞队列的生产者消费者C#并发设计
这是从上文的<<图文并茂的生产者消费者应用实例demo>>整理总结出来的,具体就不说了,直接给出代码,注释我已经加了,原来的code请看<<.Net中的并行编程-7.基于BlockingCollection实现高性能异步队列>>,我改成适合我的版本了,直接给code:
调用code:
static void Main(string[] args)
{
ProcessQueue<int> processQueue = new ProcessQueue<int>();
processQueue.ProcessExceptionEvent += ProcessQueue_ProcessExceptionEvent;
processQueue.ProcessItemEvent += ProcessQueue_ProcessItemEvent; for (int i = ; i < ; i++)
{
processQueue.Enqueue(i);
} Console.WriteLine("阻塞队列的数量: {0}", processQueue.GetInternalItemCount()); processQueue.Flush(); Console.Read();
} /// <summary>
/// 该方法对入队的每个元素进行处理
/// </summary>
/// <param name="value"></param>
private static void ProcessQueue_ProcessItemEvent(int value)
{
Console.WriteLine("输出: {0}", value);
} /// <summary>
/// 处理异常
/// </summary>
/// <param name="obj">队列实例</param>
/// <param name="ex">异常对象</param>
/// <param name="value">出错的数据</param>
private static void ProcessQueue_ProcessExceptionEvent(dynamic obj, Exception ex, int value)
{
Console.WriteLine(ex.ToString());
}
封装的队列:
public class ProcessQueue<T>
{
private BlockingCollection<T> _queue;
private CancellationTokenSource _cancellationTokenSource;
private CancellationToken _cancellToken;
//内部线程池
private List<Thread> _threadCollection; //队列是否正在处理数据
private int _isProcessing;
//有线程正在处理数据
private const int Processing = ;
//没有线程处理数据
private const int UnProcessing = ;
//队列是否可用 单个线程下用while来判断,多个线程下用if判断,随后while循环队列的数量
private volatile bool _enabled = true;
//内部处理线程数量
private int _internalThreadCount;
// 消费者处理事件
public event Action<T> ProcessItemEvent;
//处理异常,需要三个参数,当前队列实例,异常,当时处理的数据
public event Action<dynamic, Exception, T> ProcessExceptionEvent; public ProcessQueue()
{
_queue = new BlockingCollection<T>();
_cancellationTokenSource = new CancellationTokenSource();
_internalThreadCount = ;
_cancellToken = _cancellationTokenSource.Token;
_threadCollection = new List<Thread>();
} public ProcessQueue(int internalThreadCount) : this()
{
this._internalThreadCount = internalThreadCount;
} /// <summary>
/// 队列内部元素的数量
/// </summary>
public int GetInternalItemCount()
{
//return _queue.Count;
return _threadCollection.Count;
}
//生产者生产
public void Enqueue(T items)
{
if (items == null)
{
throw new ArgumentException("items");
} _queue.Add(items);
DataAdded();
} public void Flush()
{
StopProcess(); while (_queue.Count != )
{
T item = default(T);
if (_queue.TryTake(out item))
{
try
{
ProcessItemEvent(item);
}
catch (Exception ex)
{
OnProcessException(ex, item);
}
}
}
}
// 通知消费者消费队列元素
private void DataAdded()
{
if (_enabled)
{
if (!IsProcessingItem())
{
Console.WriteLine("DataAdded");
ProcessRangeItem();
StartProcess();
}
}
} //判断是否队列有线程正在处理
private bool IsProcessingItem()
{
// 替换第一个参数, 如果相等
//int x = Interlocked.CompareExchange(ref _isProcessing, Processing, UnProcessing);
return !(Interlocked.CompareExchange(ref _isProcessing, Processing, UnProcessing) == UnProcessing);
}
// 多消费者消费
private void ProcessRangeItem()
{
for (int i = ; i < this._internalThreadCount; i++)
{
ProcessItem();
}
}
// 开启消费处理
private void ProcessItem()
{
Thread currentThread = new Thread((state) =>
{
T item = default(T);
while (_enabled)
{
try
{
try
{
if (!_queue.TryTake(out item))
{
//Console.WriteLine("阻塞队列为0时的item: {0}", item);
//Console.WriteLine("ok!!!");
break;
}
// 处理事件
ProcessItemEvent(item);
}
catch (OperationCanceledException ex)
{
DebugHelper.DebugView(ex.ToString());
} }
catch (Exception ex)
{
OnProcessException(ex, item);
}
}
});
_threadCollection.Add(currentThread);
}
// 开启消费者
private void StartProcess()
{
//Console.WriteLine("线程的数量: {0}", _threadCollection.Count);
foreach (var thread in _threadCollection)
{
thread.Start();
thread.IsBackground = true;
}
}
// 终止运行
private void StopProcess()
{
this._enabled = false;
foreach (var thread in _threadCollection)
{
if (thread.IsAlive)
{
thread.Join();
}
}
_threadCollection.Clear();
} private void OnProcessException(Exception ex, T item)
{
var tempException = ProcessExceptionEvent;
Interlocked.CompareExchange(ref ProcessExceptionEvent, null, null); if (tempException != null)
{
ProcessExceptionEvent(this, ex, item);
}
} }
基于阻塞队列的生产者消费者C#并发设计的更多相关文章
- 基于异步队列的生产者消费者C#并发设计
继上文<<基于阻塞队列的生产者消费者C#并发设计>>的并发队列版本的并发设计,原文code是基于<<.Net中的并行编程-4.实现高性能异步队列>>修改 ...
- Java并发(基础知识)—— 阻塞队列和生产者消费者模式
1.阻塞队列 Blocki ...
- Java并发编程()阻塞队列和生产者-消费者模式
阻塞队列提供了可阻塞的put和take方法,以及支持定时的offer和poll方法.如果队列已经满了,那么put方法将阻塞直到有空间可用:如果队列为空,那么take方法将会阻塞直到有元素可用.队列可以 ...
- Java多线程—阻塞队列和生产者-消费者模式
阻塞队列支持生产者-消费者这种设计模式.该模式将“找出需要完成的工作”与“执行工作”这两个过程分离开来,并把工作项放入一个“待完成“列表中以便在随后处理,而不是找出后立即处理.生产者-消费者模式能简化 ...
- Java BlockingQueue Example(如何使用阻塞队列实现生产者-消费者问题)
Today we will look into Java BlockingQueue. java.util.concurrent.BlockingQueue is a java Queue that ...
- java 用阻塞队列实现生产者消费者
package com.lb; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.Blocking ...
- Python之路(第三十八篇) 并发编程:进程同步锁/互斥锁、信号量、事件、队列、生产者消费者模型
一.进程锁(同步锁/互斥锁) 进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的, 而共享带来的是竞争,竞争带来的结果就是错乱,如何控制,就是加锁处理. 例 ...
- [并发编程 - socketserver模块实现并发、[进程查看父子进程pid、僵尸进程、孤儿进程、守护进程、互斥锁、队列、生产者消费者模型]
[并发编程 - socketserver模块实现并发.[进程查看父子进程pid.僵尸进程.孤儿进程.守护进程.互斥锁.队列.生产者消费者模型] socketserver模块实现并发 基于tcp的套接字 ...
- 并发、并行、同步、异步、全局解释锁GIL、同步锁Lock、死锁、递归锁、同步对象/条件、信号量、队列、生产者消费者、多进程模块、进程的调用、Process类、
并发:是指系统具有处理多个任务/动作的能力. 并行:是指系统具有同时处理多个任务/动作的能力. 并行是并发的子集. 同步:当进程执行到一个IO(等待外部数据)的时候. 异步:当进程执行到一个IO不等到 ...
随机推荐
- ROS_Kinetic_x 基於ROS和Gazebo的RoboCup中型組仿真系統(多機器人協作)
國防科學技術大學發布了RoboCup中型組仿真平臺,基於ROS和Gazebo設計. 該平臺可以用於多機器人協作研究.參考資料如下: ROS新聞:1 http://www.ros.org/news ...
- Android性能优化之Bitmap的内存优化
1.BitmapFactory解析Bitmap的原理 BitmapFactory提供的解析Bitmap的静态工厂方法有以下五种: Bitmap decodeFile(...) Bitmap decod ...
- RAMCloud:内存云存储的内存分配机制
现在全闪存阵列已经见怪不怪了,EMC的XtremIO,还有VNX-F(Rockies),IBM FlashSystem.全闪存真正为效率而生,重新定义存储速度.凭借极致性能,高可用性,为您极大提高企业 ...
- IDEA中运行DirectKafkaWordCount程序
1,将SPARK_HOME中的DirectKafkaWordCount程序复制到idea中. 2,由于在KafkaWordCount中已引入相关jar包,此步可略过 3,配置configuration ...
- java设计模式---合成模式3
实例 下面以一个逻辑树为例子,以上面的原理图为蓝本,看看如何实现并如何使用这个树,这个结构很简单,但是如何去使用树,遍历树.为我所用还是有一定难度的. 这里主要用到树的递归遍历,如何递归.如何控制 ...
- JAVA之旅(十八)——基本数据类型的对象包装类,集合框架,数据结构,Collection,ArrayList,迭代器Iterator,List的使用
JAVA之旅(十八)--基本数据类型的对象包装类,集合框架,数据结构,Collection,ArrayList,迭代器Iterator,List的使用 JAVA把完事万物都定义为对象,而我们想使用数据 ...
- UNIX环境高级编程——文件和目录
一.获取文件/目录的属性信息 int stat(const char *path, struct stat *buf); int fstat(int fd, struct stat *buf); in ...
- 关于会话、进程、请求的几个常用SQL
1.检查自己的SID SELECT sid FROM v$session WHERE sid = (SELECT sid FROM v$mystat WHERE rownum = 1); 2. 几个I ...
- Java将网络地址对应的图片转成本地的图片
只知道浏览器使用的是HTTP协议,那么如何将网络资源使用JavaHTTP下载下来呢! 这只是一个非常简单的小示例,只是不想每次碰到关于此方面的内容忘了就无从下手! 示例创建HttpURLConn ...
- 数据结构基础(3) --Permutation & 插入排序
Permutation(排列组合) 排列问题: 设R = {r1, r2, ... , rn}是要进行排列的n个元素, Ri = R-{ri}; 集合X中元素的全排列记为Permutation(X), ...