任务:几千条(大量)数据往服务器数据库填写。要求单开线程执行,分割成小数据包,多线程运行。

实现方法:Parallel与TaskFactory都可以。

主要代码:

Parallel:

Barrier _bar;
int _maxLength = 20, _maxChannel = 2;//同时最多2条通道,每条通道最多20个数据
bool _isCancel = false;
private void btnWrite_Click(object sender, EventArgs e)
{
var tmpEmails = _emails.Where(x => !x.Value).Select(x => x.Key).ToList();
var state = 0; _isCancel = false;
SetControlEnable(false);
lblProgress.Text = "* 已完成 0%";
var channels = (tmpEmails.Count / _maxLength) + ((tmpEmails.Count % _maxLength > 0) ? 1 : 0);//总共多少条通道 var times = (channels / _maxChannel) + ((channels % _maxChannel > 0) ? 1 : 0);//单服务器分多次
new Action(() =>
{
for (int j = 0; j < times; j++)
{
if (_isCancel)
{
MessageBox.Show("任务取消!");
break;
}
var currChannel = Math.Min(_maxChannel, (channels - j * _maxChannel));//两者取其小的
_bar = new Barrier(currChannel);//根据次数设置栅栏
var tasks = new Action[currChannel];
for (int i = 0; i < currChannel; i++)
{
var subData = tmpEmails.Skip((i + j * _maxChannel) * _maxLength).Take(_maxLength).ToList();
tasks[i] = () =>
{
if (_isCancel) return;
var resMsg = 0;
Connect2WCF.RunSync(sc => resMsg = sc.UpdateMailState(subData, state));
if (resMsg == -1)
MessageBox.Show("保存失败了?详情可以查数据库日志表");
else if (resMsg == 0)
subData.ForEach(one => _emails[one] = true);//标记已经完成的。
new Action(() => txtEmails.Text = string.Join("\r\n", _emails.Where(x => !x.Value).Select(x => x.Key))).InvokeRun(this);
_bar.SignalAndWait();
};
}
Parallel.Invoke(tasks);
new Action(() => lblProgress.Text = "* 已完成 " + ((100 * (j + 1) / times)) + "%").InvokeRun(this);
}
new Action(() => SetControlEnable(true)).InvokeRun(this);
}).RunThread();
}

用Barrier和Parallel.Invoke结合来实现分割小数据包,每次用两个线程,每个线程传递20条数据,两个线程的数据都完成后,刷新完成的进度。isCancel作为取消操作的开关。实现的效果较下面的TaskFactory好。

TaskFactory:

CancellationTokenSource cts = new CancellationTokenSource();
int maxLength = 20, maxChannel = 2;//同时最多2条通道,每条通道最多20个数据
private void btnWrite_Click(object sender, EventArgs e)
{
cts = new CancellationTokenSource();
var tmpEmails = _emails.Where(x => !x.Value).Select(x => x.Key).ToList();
var state = 0; SetControlEnable(false);
lblProgress.Text = "* 已完成 0%";
var channels = (tmpEmails.Count / maxLength) + ((tmpEmails.Count % maxLength > 0) ? 1 : 0);//总共多少条通道 var times = (channels / maxChannel) + ((channels % maxChannel > 0) ? 1 : 0);//单服务器分多次
Action<List<string>, CancellationToken> doSave = (data, ct) =>
{
if (ct.IsCancellationRequested) return;
var msg = 0;
Connect2WCF.RunSync(sc => msg = sc.UpdateMailState(data, state));
if (msg == -1)
MessageBox.Show("保存失败了?详情可以查数据库日志表");
else if (msg == 0)
data.ForEach(one => _emails[one] = true);//标记已经完成的。
new Action(() => txtEmails.Text = string.Join("\r\n", _emails.Where(x => !x.Value).Select(x => x.Key))).InvokeRun(this);
}; for (int j = 0; j < times; j++)
{
int k = j;
if (cts.Token.IsCancellationRequested)
{
MessageBox.Show("任务取消!");
break;
}
var currChannel = Math.Min(maxChannel, (channels - j * maxChannel));//两者取其小的 TaskFactory taskFactory = new TaskFactory();
Task[] tasks = new Task[currChannel];
for (int i = 0; i < currChannel; i++)
{
var subData = tmpEmails.Skip((i + j * maxChannel) * maxLength).Take(maxLength).ToList();
tasks[i] = new Task(() => doSave(subData, cts.Token), cts.Token);
}
taskFactory.ContinueWhenAll(tasks,
x => new Action(() => lblProgress.Text = "* 已完成 " + ((100 * (k + 1) / times)) + "%").InvokeRun(this), CancellationToken.None);
Array.ForEach(tasks, x => x.Start());
}
SetControlEnable(true);
}

用TaskFactory和CancellationTokenSource结合来实现,在保存修改数据上,实现的效果和上面的方法差不多,但是在中间取消的效果上差很多,取消后,不会有“任务取消”的弹框。后台的执行逻辑猜测是这样:由于Task是单开线程跑,所以在btn的事件中, 所有Tasks和TaskFactory的声明基本上是很快就执行完成了的(电脑执行速度来看可能是一瞬间)。至于保存数据的代码,则在每个Task的后台线程中各自执行,此时操作的时间早已经跳出了btn的事件函数,于是,点击取消之后,由于btn的事件函数早已执行完,因此不会出现"任务取消"的弹框。而每个Task的执行受到线程个数的限制以及每个TaskFactory的ContinueWhenAll函数的监视,它们是有先后顺序但是却又无序地执行。点击取消后,可能有几个线程正在执行保存数据的任务,已经跳过了cancel的判断,所以取消的命令不会立刻反应到后台执行中,会有一部分任务在取消后,仍然在运行。而剩下的其他任务会判断cancel之后取消。由于线程的执行速度不是固定的,因此,小数据包保存执行的顺序虽然大概按照增序执行,但是细节的排序可能有些插队。

所以,总体而言TaskFactory的执行顺序不可控。断点不可控。而parallel.Invoke函数只有在传入的Action[]全部执行完之后,才会返回,所以有效的保证了大层面的执行顺序。至于Action[]这个队列执行的顺序,在Parallel里面也是不可控的。

补充:4092条数据,开启一个通道时,TaskFactory:Parallel = 19:25;

开启5个通道时,多次测试的结果为TaskFactory:Parallel = {18,16,15}:{19,16,15},速度差不多。

一个明显的现象:在数据很多的时候,可以清晰的看到TaskFactory中已完成的百分数出现忽大忽小的情况。例如:1,4,7,12,17,6,12,19,23...

另外,Parallel刚开始执行时,有明显的停顿感,猜测可能是启动并行时产生的效率损耗。

如果希望能够操作过程中能暂停处理,可以使用Parallel,它有一个执行主线程,方便随时停止。如果没有暂停需要,而且电脑的核心数不多(只有一个)时,可以考虑用TaskFactory,效率要明显高于Parallel。

c#执行并行任务之Parallel与TaskFactory的更多相关文章

  1. 并行模式库PPL应用实战(一):使用task类创建并行任务

    自 VS2010 起,微软就在 CRT 中集成了并发运行时(Concurrency Runtime),并行模式库(PPL,Parallel Patterns Library)是其中的一个重要组成部分. ...

  2. 第九节:深究并行编程Parallel类中的三大方法 (For、ForEach、Invoke)和几大编程模型(SPM、APM、EAP、TAP)

    一. 并行编程 1. 区分串行编程和串行编程 ①. 串行编程:所谓的串行编程就是单线程的作用下,按顺序执行.(典型代表for循环 下面例子从1-100按顺序执行) ②. 并行编程:充分利用多核cpu的 ...

  3. 异步和多线程,委托异步调用,Thread,ThreadPool,Task,Parallel,CancellationTokenSource

    1 进程-线程-多线程,同步和异步2 异步使用和回调3 异步参数4 异步等待5 异步返回值 5 多线程的特点:不卡主线程.速度快.无序性7 thread:线程等待,回调,前台线程/后台线程, 8 th ...

  4. 【读书笔记】.Net并行编程高级教程--Parallel

    一直觉得自己对并发了解不够深入,特别是看了<代码整洁之道>觉得自己有必要好好学学并发编程,因为性能也是衡量代码整洁的一大标准.而且在<失控>这本书中也多次提到并发,不管是计算机 ...

  5. Parallel.Invoke并行你的代码

    Parallel.Invoke并行你的代码 使用Parallel.Invoke并行你的代码 优势和劣势 使用Parallel.Invoke的优势就是使用它执行很多的方法很简单,而不用担心任务或者线程的 ...

  6. gulp顺序执行任务

    gulp的任务的执行是异步的. 所以,当我写完一系列的任务,准备一股脑地执行. # gulp.task('prod', ['clean', 'compass', 'image', 'style', ' ...

  7. Omnithreadlibary学习(3)-IOmniTask异步执行SendMessage

    在任务中发送消息, 可以是函数或者对象方法 TOmniTaskMessageEvent = procedure(const task: IOmniTaskControl; const msg: TOm ...

  8. Net并行编程高级教程--Parallel

    Net并行编程高级教程--Parallel 一直觉得自己对并发了解不够深入,特别是看了<代码整洁之道>觉得自己有必要好好学学并发编程,因为性能也是衡量代码整洁的一大标准.而且在<失控 ...

  9. ORA-12805: parallel query server died unexpectedly ORA-04030 (sort subheap,sort key) 原因排查与解决方法

    今日,某服务器pga调整为30G,_pga_max_size调整为8G之后(原来是2G,但是one passes语句较多,性能太低),执行出现ORA-12805: parallel query ser ...

随机推荐

  1. jQuery Table2CSV插件(表格转CSV) 完美支持colspan和rowspan

    table2csv:将表格转化为csv数据 参数:一个JSON对象 { 'repeatChar':'拆分单元格填充字符', //默认为null则将单元格值填充到拆分的每个单元格中,如果给定字符串则用给 ...

  2. Java获取线程的对象和名称

    /*获取线程对象以及名称(很有意义的) 原来线程都有自己默认的名称Thread-编号  该编号从0开始 Thread 父类的方法static  Thread currentThread() :获取当前 ...

  3. nodejs学习[持续更新]

    1.退出node process.exit(0) 2.把API从上往下全部看一遍,先混个眼熟. 3. end

  4. Batch: Display & Redirect Output

    Batch How To ... Display & Redirect Output http://www.robvanderwoude.com/battech_redirection.php ...

  5. 解决:error: 'Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2)'

    在使用 deamon@deamon-H55M-S2:/usr/bin$ mysqladmin -u root -p shutdown 关闭MySQL之后试图通过: deamon@deamon-H55M ...

  6. <<深入Java虚拟机>>-虚拟机类加载机制-学习笔记

    类加载的时机 遇到new.getstatic.putstatic或invokestatic这4个字节码指令时,如果类没有进行过初始化,则需要先触发其初始化.生成这4条指令最常见的Java场景是:使用n ...

  7. Mac OS X平台上Java环境的配置

    最近换了工作,以前是做c/c++的,但是现在公司的主打产品是使用Java开发,为了以后维护代码,现在开始抽空学习一下Java相关的内容. 在学习之前,首先需要搭建各种平台的开发环境,而我选用的操作系统 ...

  8. java感触一则

    看到开源中国上边有那么多关于java的开源项目,从数据库到3D游戏再到IDE工具,甚至有iQQ,形形种种都是一些比较成熟的,工程很大的项目.才意识到Java是如此的强大和流行. 这么多开源的代码我不可 ...

  9. div之间有间隙以及img和div之间有间隙的原因及解决方法

    原因: div 中 存在 img标签,由于img标签的 display:inline-block 属性. display:inline-block布局的元素在chrome下会出现几像素的间隙,原因是因 ...

  10. 之前可运行mongodb,后来却不行了显示Unclean shutdown detected mongodb

    解决办法有三个: 第一个:如果你之前可以运行,说明你已经有数据存放目录了,你可以把数据存放目录之前的数据清空再启动,在配置一下 第二个:使用mongod --repair --dbpath D:\Mo ...