一文速通 Python 并行计算：12 Python 多进程编程-进程池 Pool

Python 进程池 Pool 和前面讲解的 python 线程池类似，虽然使用多进程能提高效率，但是进程的创建会消耗大量的计算机资源（进程 Process 的创建远远大于线程 Thread 创建占用的资源），线程是计算机最小的运行单位，连线程都需要使用线程池，进程有什么理由不使用进程池？

多进程库提供了 Pool 类来实现简单的多进程任务，Pool 类可以提供指定数量的进程供用户调用，当有新的请求提交到 Pool 中时，如果池还没有满，就会创建一个新的进程来执行请求。如果池满，请求就会告知先等待，直到池中有进程结束，才会创建新的进程来执行这些请求。

Pool 类定义如下：

Pool([processes[, initializer[, initargs[, maxtasksperchild[, context]]]]])

（1）processes 是要使用的工作进程数目。如果 processes 为 None，则使用 os.cpu_count() 返回的值；

（2）initializer 是每个工作进程启动时要执行的可调用对象，默认为None，

initargs是要传给initializer的参数组；

（3）context 可被用于指定启动的工作进程的上下文。通常一个进程池是使用函数 multiprocessing.Pool() 或者一个上下文对象的 Pool() 方法创建的。在这两种情况下， context 都是适当设置的。

注意，进程池对象的方法只有创建它的进程能够调用。

Pool 类主要方法包括：

apply() — 该函数用于传递不定参数，主进程会被阻塞直到函数执行结束（不建议使用，并且 3.x 以后不再出现），函数原型如下：

apply_async— 与 apply 用法一致，但它是非阻塞的且支持结果返回后进行回调，函数原型如下：

map() — Pool 类中的 map 方法，与内置的 map 函数用法基本一致，它会使进程阻塞直到结果返回，函数原型如下：

注意：虽然第二个参数是一个迭代器，但在实际使用中，必须在整个队列都就绪后，程序才会运行子进程。

map_async()— 与 map 用法一致，但是它是非阻塞的。其有关事项见 apply_async，函数原型如下：

close() — 关闭进程池（pool），使其不再接受新的任务。
terminal() — 结束工作进程，不再处理未处理的任务。
join()— 主进程阻塞等待子进程的退出， join 方法要在 close 或 terminate 之后使用。

同时，方法 apply_async() 和 map_async() 的返回值是 AsyncResul 的实例 obj。实例具有以下方法：

obj.get()：返回结果，如果有必要则等待结果到达。timeout 是可选的。如果在指定时间内还没有到达，将引发一场。如果远程操作中引发了异常，它将在调用此方法时再次被引发；
obj.ready()：如果调用完成，返回 True；
obj.successful()：如果调用完成且没有引发异常，返回 True，如果在结果就绪之前调用此方法，引发异常；
obj.wait([timeout])：等待结果变为可用；
obj.terminate()：立即终止所有工作进程，同时不执行任何清理或结束任何挂起工作。如果 p 被垃圾回收，将自动调用此函数。

2.apply()方法同步调用

下面的代码中，我们在进程池中创建三个进程，并且使用 apply() 方法同步执行 work() 函数，直到本次任务执行完毕拿到 res，最后在主进程打印结果。同步就是指一个进程在执行某个请求的时候，若该请求需要一段时间才能返回信息，那么这个进程将会一直等待下去，直到收到返回信息才继续执行下去。

import os,time

from multiprocessing import Pool

def work(n):

    print('%s run' %os.getpid())

    time.sleep(0.5)

    return n**2

if __name__ == '__main__':

    p=Pool(3)

    res_l=[]

    for i in range(10):

        res=p.apply(work,args=(i,))

        res_l.append(res)

    print(res_l)

可以看到，虽然 pool 有三个空闲进程，但后面的十个 work 函数都是依次串行执行，并没有并行计算。

3.apply_async()方法异步调用

下面的代码中，我们在进程池中创建三个进程，并且使用 apply_async() 方法异步执行 work() 函数，返回结果之后，将结果放入列表，归还进程，之后再执行新的任务。需要注意的是，进程池中的三个进程不会同时开启或者同时结束，而是执行完一个就释放一个进程，这个进程就去接收新的任务。

import os

import time

import random

from multiprocessing import Pool

def work(n):

    print('%s run' %os.getpid())

    time.sleep(random.random())

    return n**2

if __name__ == '__main__':

    p=Pool(3)

    res_l=[]

    for i in range(10):

        res=p.apply_async(work,args=(i,))

        res_l.append(res)

    p.close()

    p.join()

    for res in res_l:

        print(res.get())

如下为运行结果：

可以看到多个 work() 函数并行执行。10 个任务，3 个进程，由于在进程池构造的时候允许同时最多执行 3 个进程，所以同时执行任务 1/任务 2/任务 3，重代码的输出结果来看，任务 1/任务 2/任务 3 执行后，for 循环进入阻塞状态，直到任务 1/任务 2/任务 3 其中一个结束之后才会 for 才会继续执行任务 4/任务 5/任务 6，并保证同时执行的最多只有 3 个任务（进程池 multiprocessing.Pool 和线程池 ThreadPoolExecutor 原理相同）。

这里注意，使用 apply_async 异步提交的任务，主进程需要使用 join() 方法，等待进程池内任务都处理完，然后可以用 get 方法收集 apply_aync 的结果。异步是指进程不需要一直等下去，而是继续执行下面的操作，不管其他进程的状态。当有消息返回时系统会通知进程进行处理，这样可以提高执行的效率。

4.使用 map 方法调用

下面的例子展示了如果通过进程池来执行一个并行应用。我们创建了有 4 个进程的进程池，然后使用 map() 方法进行一个简单的计算，map() 在得到结果之前一直阻塞，此方法将可迭代的数据的每一个元素作为进程池的一个任务来执行。

import multiprocessing

def function_square(data):

    result = data*data

    return result

if __name__ == '__main__':

    inputs = list(range(100))

    pool = multiprocessing.Pool(processes=4)

_    # pool.map()方法将一些独立的任务提交给进程池_

    pool_outputs = pool.map(function_square, inputs)

    pool.close()

    pool.join()

_    # 计算的结果存储在()pool_outputs()中。_

_    # 最后的结果打印出来：_

    print ('Pool    :', pool_outputs)

如下为运行结果：

5.callback 回调函数

在如下场景中，我们需要使用回调函数：进程池中任何一个任务一旦处理完了，就立即告知主进程处理任务结果，主进程则调用回调函数去处理该结果。我们可以把耗时间（阻塞）的任务放到进程池中，然后指定回调函数（主进程负责执行），这样主进程在执行回调函数时就省去了 I/O 的过程，直接拿到的是任务的结果。

这里我们以多进程进度条示例进行说明，首先我们需要使用 pip 方法安装 tqdm 库，tqdm 是 Python 进度条库，可以在 Python 长循环中添加一个进度提示信息。用户只需要封装任意的迭代器，是一个快速、扩展性强的进度条工具库。

tqdm 对象基本参数包括：

desc（'str'）: 传入进度条的前缀

mininterval（float）：最小的更新时间 [default: 0.1] seconds

set_postfix : 设置信息

elapsed：消耗的时间

remaining：剩余时间

rate_fmt：速率

示例代码如下：

from tqdm import tqdm

from multiprocessing import Pool

import time

import os

_# 创建进度条对象_

_# 并设置进度以10递进_

pbar = tqdm(total=10)

_# 设置进度条的描述文字，用于显示任务的概要信息_

pbar.set_description('Sleep')

_# 使用labmda操作符将进度条更新函数转换为回调对象_

update = lambda *args: pbar.update()

def work(n):

    print('%s run' %os.getpid())

    time.sleep(1)

    return n**2

if __name__ == '__main__':

    p=Pool(3)

    res_l=[]

    for i in range(10):

        _# 在回调函数更新进度条_

        res=p.apply_async(work,args=(i,), callback=update)

        res_l.append(res)

    p.close()

    p.join()

    for res in res_l:

        print(res.get())

如下为运行结果，可以看到进程池每处理完一个任务，就会调用一次 tqdm 的 update()，从而实现多进程的进度条显示。