说起Parallel.For大家都不会陌生,很简单,不就是一个提供并行功能的for循环吗? 或许大家平时使用到的差不多就是其中最简单的那个重载方法,而真实情况

下Parallel.For里面有14个重载,而其中那些比较复杂的重载方法,或许还有同学还不知道怎么用呢~~~ 刚好我最近我有应用场景了,给大家介绍介绍,废话不多说,

先给大家看一下这个并行方法的重载一览表吧。。。

一:遇到的场景

我遇到的场景是这样的,项目中有这样一个功能,这个功能需要根据多个维度对一组customerIDList进行筛选,最后求得多个维度所筛选出客户的并集,我举个

例子:现有8个维度:

1. 交易行为

2.营销活动

3.地区

4.新老客户

5.营销渠道

6.客户属性

7.客户分组

8.商品

每个维度都能筛选出一批customerid出来,然后对8组customerid求并集,这种场景很明显要提升性能的话,你必须要做并行处理,当然能够实现的方式有很多种,

比如我定义8个task<T>,然后使用WaitAll等待一下,最后再累计每个Result的结果就可以了,代码如下:

 class Program
{
static void Main(string[] args)
{
List<string> rankList = Enum.GetNames(typeof(FilterType)).ToList(); Task<HashSet<int>>[] tasks = new Task<HashSet<int>>[rankList.Count]; var hashCustomerIDList = new HashSet<int>(); //求customerid的并集 for (int i = ; i < tasks.Length; i++)
{
tasks[i] = Task.Factory.StartNew<HashSet<int>>((obj) =>
{
//业务方法,耗损性能中。。。
var smallCustomerIDHash = GetXXXMethod(rankList[(int)obj]); return smallCustomerIDHash;
}, i);
} Task.WaitAll(tasks); foreach (var task in tasks)
{
foreach (var item in task.Result)
{
hashCustomerIDList.Add(item);
}
}
} static HashSet<int> GetXXXMethod(string rank)
{
return new HashSet<int>();
} public enum FilterType
{
交易行为 = ,
营销活动 = ,
地区 = ,
新老客户 = ,
营销渠道 = ,
客户属性 = ,
客户分组 = ,
商品 =
}
}

上面的代码的逻辑还是很简单的,我使用的是Task<T>的模式,当然你也可以用void形式的Task,然后在里面lock代码的时候对hashCustomerIDList进行

插入,实现起来也是非常简单的,我就不演示了,那下面的问题来了,有没有更爽更直接的方式,看人家看上去更有档次一点的方法,而且还要达到这种效果呢?

二:Parallel.For复杂重载

回到文章开头的话题,首先我们仔细分析一下下面这个复杂的重载方法。

  //
// 摘要:
// 执行具有线程本地数据的 for(在 Visual Basic 中为 For)循环,其中可能会并行运行迭代,而且可以监视和操作循环的状态。
//
// 参数:
// fromInclusive:
// 开始索引(含)。
//
// toExclusive:
// 结束索引(不含)。
//
// localInit:
// 用于返回每个任务的本地数据的初始状态的函数委托。
//
// body:
// 将为每个迭代调用一次的委托。
//
// localFinally:
// 用于对每个任务的本地状态执行一个最终操作的委托。
//
// 类型参数:
// TLocal:
// 线程本地数据的类型。
//
// 返回结果:
// 包含有关已完成的循环部分的信息的结构。
//
// 异常:
// T:System.ArgumentNullException:
// body 参数为 null。- 或 -localInit 参数为 null。- 或 -localFinally 参数为 null。
//
// T:System.AggregateException:
// 包含在所有线程上引发的全部单个异常的异常。
public static ParallelLoopResult For<TLocal>(int fromInclusive, int toExclusive, Func<TLocal> localInit, Func<int, ParallelLoopState, TLocal, TLocal> body, Action<TLocal> localFinally);

从上面的代码区域中看,你可以看到上面提供了5个参数,而最后意思的就是后面三个,如果你对linq的扩展方法比较熟悉的话,你会发现这个其实就是一个并行版本

的累加器(Aggregate)操作,因为他们都是具有三个区域:第一个区域就是初始化区域(localInit),就是累积之前的一个初始化操作,第二个区域其实就是一个迭代

区域,说白了就是foreach/for循环,for循环之中,会把计算结果累计到当初初始化区域设置的变量中,第三个区域就是foreach/for之后的一个最终计算区,三者合起

来就是一个并行累加器,为了方便大家更好的理解,我就扒一下源码给大家看看:

由于图太大,就截两张图了,大家一定要仔细体会一下这里面的tlocal变量,因为这个tlocal的使用贯穿着三个区域,所以大家一定要好好体会下面这几句代码

 TLocal tLocal = default(TLocal);

 tLocal = localInit();

 while(xxx<xxx){
tLocal = bodyWithLocal(num5, parallelLoopState, tLocal);
}
localFinally(tLocal);

当你理解了tLocal具有累积foreach中的item结果之后,你就应该很明白下面这个body=>(item, loop, total) 和 finally => (total) 中total的含义了,

对吧,当你明白了,然后大家可以看看下面这段代码,是不是用一个方法就搞定了原来需要分阶段实现的一个业务逻辑呢?

 class Program
{
static void Main(string[] args)
{
List<string> rankList = Enum.GetNames(typeof(FilterType)).ToList(); var hashCustomerIDList = new HashSet<int>(); //求customerid的并集 //并行计算 7个 维度的 总和
Parallel.For(, rankList.Count, () => { return new List<int>(); }, (item, loop, total) =>
{
//业务方法,耗损性能中。。。
var smallCustomerIDHash = GetXXXMethod(rankList[item]); total.AddRange(smallCustomerIDHash); return total;
}, (total) =>
{
lock (hashCustomerIDList)
{
foreach (var customerID in total)
{
hashCustomerIDList.Add(customerID);
}
}
});
} static HashSet<int> GetXXXMethod(string rank)
{
return new HashSet<int>();
} public enum FilterType
{
交易行为 = ,
营销活动 = ,
地区 = ,
新老客户 = ,
营销渠道 = ,
客户属性 = ,
客户分组 = ,
商品 =
}
}

好了,本篇就先说这么多,希望这个具有并行累加器效果的Parallel.For能够给你带来一丝灵感~~~

Parallel.For 你可能忽视的一个非常实用的重载方法的更多相关文章

  1. Linq下有一个非常实用的SelectMany方法,很多人却不会用

    在平时开发中经常会看到有些朋友或者同事在写代码时会充斥着各种for,foreach,这种程式代码太多的话阅读性特别差,而且还显得特别累赘,其实在FCL中有很多帮助我们提高阅读感的方法,而现实中很多人不 ...

  2. Java中是否可以调用一个类中的main方法?

    前几天面试的时候,被问到在Java中是否可以调用一个类中的main方法?回来测试了下,答案是可以!代码如下: main1中调用main2的主方法 package org.fiu.test; impor ...

  3. springmvc2 一个控制器写多个方法(非注解方式)

    出处:http://blog.csdn.net/xuewenke/article/details/23895999 springmvc2 一个控制器写多个方法(非注解方式) 分类: spring 20 ...

  4. 一个Java复制目录的方法(递归)

    /** * 将目标目录复制为指定目录(也可以用于复制文件) * @param src 源路径 * @param dest 目标路径 * @throws IOException */ public st ...

  5. JAVA中获得一个月最大天数的方法(备忘)

    Calendar 类是一个抽象类,为日历字段之间的转换提供了一些方法.其中有一个重要方法 getActualMaximum ,该方法用于返回指定日历字段实际的最大值. 利用这个方法(Calendar. ...

  6. SpringMVC实现一个controller写多个方法

    MultiActionController与ParameterMethodNameResolver在一个Controller类中定义多个方法,并根据使用者的请求来执行当中的某个方法,相当于Struts ...

  7. 一个类有两个方法,其中一个是同步的,另一个是非同步的; 现在又两个线程A和B,请问:当线程A访问此类的同步方法时,线程B是否能访问此类的非同步方法?

    一个类有两个方法,其中一个是同步的,另一个是非同步的:现在又两个线程A和B,请问:当线程A访问此类的同步方法时,线程B是否能访问此类的非同步方法? 答案:可以 验证 package com.my.te ...

  8. [C语言]一个很实用的服务端和客户端进行TCP通信的实例

    本文给出一个很实用的服务端和客户端进行TCP通信的小例子.具体实现上非常简单,只是平时编写类似程序,具体步骤经常忘记,还要总是查,暂且将其记下来,方便以后参考. (1)客户端程序,编写一个文件clie ...

  9. python每次处理一个字符的三种方法

    python每次处理一个字符的三种方法 a_string = "abccdea" print 'the first' for c in a_string: print ord(c) ...

随机推荐

  1. Quartz_理解2

    一.核心概念   Quartz的原理不是很复杂,只要搞明白几个概念,然后知道如何去启动和关闭一个调度程序即可.   1.Job 表示一个工作,要执行的具体内容.此接口中只有一个方法 void exec ...

  2. Myeclipese改变背景色

    https://www.baidu.com/s?wd=Myeclipese%E6%94%B9%E5%8F%98%E8%83%8C%E6%99%AF%E8%89%B2&ie=utf-8& ...

  3. vue自定义日期组件

    vue-datepicker 基于 vuejs 2.x 可自定义主题的日期组件 github Usage 只需要在项目中加入 calendar.vue,就可以使用了. 向组件传入 prop 即可改变 ...

  4. linux系统盘使用率达到100%的问题查找和解决方法

    今天公司云服务器报警系统发来短信,系统磁盘空间不够,登录服务器进行查看,磁盘使用虑达到100%,       感觉比较奇怪,所存的东西并不多,怎么会将磁盘占满,而且数据都是存在数据盘下,通过简单的进行 ...

  5. Cookie与Passport安全

    对于web系统而言,由于HTTP协议无状态的特性,用户登录时需要服务端生成通行证返回给浏览器.浏览器保存该通行证并在接下来的请求中携带该通行证.通常来讲,web系统使用http cookie来保存和传 ...

  6. C# 添加、获取及删除PDF附件

    C# 添加.获取及删除PDF附件 前言 附件在PDF文档中很常见,这些附件可以是PDF或其他类型的文件.在PDF中,附件有两种存在方式,一种是普通的文件附件(document-level file a ...

  7. [java多线程] - Thread&Runnable运用

    负载是一个很大的话题,也是一个非常重要的话题.不管是在大的互联网软件中,还是在一般的小型软件,都对负载有一定的要求,负载过高会导致服务器压力过大:负载过低又比较浪费服务器资源,而且当高请求的时候还可能 ...

  8. POJ 2914 Minimum Cut Stoer Wagner 算法 无向图最小割

    POJ 2914 题意:给定一个无向图 小于500节点,和边的权值,求最小的代价将图拆为两个联通分量. Stoer Wagner算法: (1)用类似prim算法的方法求"最大生成树" ...

  9. php编译安装

    php编译安装含mcrypt扩展 开始前准备 1.php源码下载 这里用的是php5.6.22版本 wget -c http://cn2.php.net/get/php-5.6.22.tar.gz/f ...

  10. BZOJ 3479: [Usaco2014 Mar]Watering the Fields(最小生成树)

    这个= =最近刷的都是水题啊QAQ 排除掉不可能的边然后就最小生成树就行了= = CODE: #include<cstdio>#include<iostream>#includ ...