C# 中的IOCP线程池

原文地址：http://www.theukwebdesigncompany.com/articles/iocp-thread-pooling.php

PartOne ： Introduction

当使用C#构建服务器端应用时，创建线程池是一个十分重要的能力。线程池允许服务器端程序通过队列最大程度的处理任务。除了构建线程池之外，还有两个方案：

1.        使用单线程处理所有的任务。

2.        当任务需要时就产生子线程来处理任务。

本文定义任务为需要处理的事件，这些工作也许是也许不是分布式的数据。目标是以最高的效率和最短的时间处理这些任务。

首先是一个通用的原则，如果可以用单线程处理所有任务，那么使用单线程。如果同时使用多线程处理任务是不必要的，意味着应用程序有更多的事情要做，或者单线程处理更快。比如当多个线程请求同一资源时，会产生阻塞，必须等待前面的线程处理完之后才可以获取资源，完成任务处理。在发生阻塞时，等待的线程会进入休眠状态，不做任何工作。但是实际上这些线程会对操作系统产生很大的负担。操作系统必须监控任务处理情况，当资源释放时，决定唤醒哪个线程进行处理。如果需要处理任务的线程因为等待资源而处于休眠状态，这样我们就需要处理这个任务。在这种情况下可以将这些线程放入队列，并用单个线程处理这个队列。

最先等待资源的线程不一定先得到资源，如图-1所示。

图-1 线程示例图

如果任务之间是相互独立的，这儿的相互独立是指不会发生资源冲突，在处理多任务时可以产生多个线程来处理不同的任务。此时的问题是操作系统，比如windows操作系统，运行多个线程时，需要等待CPU。Windosw操作系统需要管理所有的线程，而UNIX操作系统则不需要。如果有大量线程同时运行，系统性能将会大大降低。

在.net框架，“system.Threading”命名空间内有一个ThreadPool类。不幸的是这个类是一个静态类，只能有一个线程池。这个线程池不允许设定线程的并发级别。不同的并发级别允许并发的线程不同。如果我们设置合适的并发级别，我们会得到最高的效率。

假设我们有一个可以允许4个线程并发级别为1的线程池。然后有三个任务发送给线程池处理。只能有一个线程处理任务，其他的线程都处在等待状态。如图-2。

图-2 线程池

那么当并发级别设置为1时，如果运行多个线程？如果图-2 中的线程1 进行休眠，线程池将会启动另外一个线程。如图-3。

图-3

突然的线程1 被唤醒，线程4很有可能还没有结束。这样我们就有了两个线程同时运行，虽然并发级别仍然为1.如图-4。

图-4

其他的线程只有等这两个线程都进入休眠状态才能运行。即使并发级别限制活动线程池中在任意给定时间的数量，我们可以有更多的活动线程然后并发级别允许。这一切都取决于池中的线程的状态，以及如何快速的线程可以完成，他们正在处理的工作。

一个好的设置并发级别的策略是按照系统的CPU的数量进行设置。如果CPU处在空闲状态，此时有任务需要处理，则启动一个新的线程来处理任务。如果CPU忙，则不会新建线程。同时我们需要注意，不要让一个线程长时间的处于休眠状态，这会导致所有的线程池都处在激活状态，影响线程池的效率和服务器的效率。

下面会介绍如何添加 IOCP线程池到应用中。

Part2: Defining the Solution

略。