个人笔记,如有疏漏,还请指正。

使用多线程(threading)和多进程(multiprocessing)完成常规的并发需求,在启动的时候 start、join 等步骤不能省,复杂的需要还要用 1-2 个队列。

随着需求越来越复杂,如果没有良好的设计和抽象这部分的功能层次,代码量越多调试的难度就越大。

对于需要并发执行、但是对实时性要求不高的任务,我们可以使用 concurrent.futures 包中的 PoolExecutor 类来实现。

这个包提供了两个执行器:线程池执行器 ThreadPoolExecutor 和进程池执行器 ProcessPoolExecutor,两个执行器提供同样的 API。

池的概念主要目的是为了重用:让线程或进程在生命周期内可以多次使用。它减少了创建创建线程和进程的开销,提高了程序性能。重用不是必须的规则,但它是程序员在应用中使用池的主要原因。

池,只有固定个数的线程/进程,通过 max_workers 指定。

  1. 任务通过 executor.submit 提交到 executor 的任务队列,返回一个 future 对象。

    • Future 是常见的一种并发设计模式。一个Future对象代表了一些尚未就绪(完成)的结果,在「将来」的某个时间就绪了之后就可以获取到这个结果。
  2. 任务被调度到各个 workers 中执行。但是要注意,一个任务一旦被执行,在执行完毕前,会一直占用该 worker!
    • 如果 workers 不够用,其他的任务会一直等待!因此 PoolExecutor 不适合实时任务。
import concurrent.futures
import time
from itertools import count number_list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] def evaluate_item(x):
for i in count(x): # count 是无限迭代器,会一直递增。
print(f"{x} - {i}")
time.sleep(0.01) if __name__ == "__main__":
# 进程池
start_time_2 = time.time() # 使用 with 在离开此代码块时,自动调用 executor.shutdown(wait=true) 释放 executor 资源
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
# 将 10 个任务提交给 executor,并收集 futures
futures = [executor.submit(evaluate_item, item) for item in number_list] # as_completed 方法等待 futures 中的 future 完成
# 一旦某个 future 完成,as_completed 就立即返回该 future
# 这个方法,使每次返回的 future,总是最先完成的 future
# 而不是先等待任务 1,再等待任务 2...
for future in concurrent.futures.as_completed(futures):
print(future.result())
print ("Thread pool execution in " + str(time.time() - start_time_2), "seconds")

上面的代码中,item 为 1 2 3 4 5 的五个任务会一直占用所有的 workers,而 6 7 8 9 10 这五个任务会永远等待!!!

API 详细说明

concurrent.futures 包含三个部分的 API:

  1. PoolExecutor:也就是两个执行器的 API

    • 构造器:主要的参数是 max_workers,用于指定线程池大小(或者说 workers 个数)
    • submit(fn, *args, **kwargs):将任务函数 fn 提交到执行器,args 和 kwargs 就是 fn 需要的参数。
      • 返回一个 future,用于获取结果
    • map(func, *iterables, timeout=None, chunksize=1):当任务是同一个,只有参数不同时,可以用这个方法代替 submit。iterables 的每个元素对应 func 的一组参数。
      • 返回一个 futures 的迭代器
    • shutdown(wait=True):关闭执行器,一般都使用 with 管理器自动关闭。
  2. Future:任务被提交给执行器后,会返回一个 future
    • future.result(timout=None)最常用的方法,返回任务的结果。如果任务尚未结束,这个方法会一直等待!

      • timeout 指定超时时间,为 None 时没有超时限制。
    • exception(timeout=None):给出任务抛出的异常。和 result() 一样,也会等待任务结束。
    • cancel():取消此任务
    • add_done_callback(fn):future 完成后,会执行 fn(future)
    • running():是否正在运行
    • done():future 是否已经结束了,boolean
    • ...详见官方文档
  3. 模块带有的实用函数
    • concurrent.futures.as_completed(fs, timeout=None):等待 fs (futures iterable)中的 future 完成

      • 一旦 fs 中的某 future 完成了,这个函数就立即返回该 future。
      • 这个方法,使每次返回的 future,总是最先完成的 future。而不是先等待任务 1,再等待任务 2...
      • 常通过 for future in as_completed(fs): 使用此函数。
    • concurrent.futures.wait(fs, timeout=None, return_when=ALL_COMPLETED):一直等待,直到 return_when 所指定的事发生,或者 timeout
      • return_when 有三个选项:ALL_COMPLETED(fs 中的 futures 全部完成),FIRST__COMPLETED(fs 中任意一个 future 完成)还有 FIRST_EXCEPTION(某任务抛出异常)

Future 设计模式

这里的 PoolExecutor 的特点,在于它使用了 Future 设计模式,使任务的执行,与结果的获取,变成一个异步的流程。

我们先通过 submit/map 将任务放入任务队列,这时任务就已经开始执行了!然后我们在需要的时候,通过 future 获取结果,或者直接 add_done_callback(fn)

这里任务的执行是在新的 workers 中的,主进程/线程不会阻塞,因此主线程可以干其他的事。这种方式被称作异步编程。

画外

concurrent.futures 基于 multiprocessing.pool 实现,因此实际上它比直接使用 线程/进程 的 Pool 要慢一点。但是它提供了更方便简洁的 API。

参考

Python 并发编程:PoolExecutor 篇的更多相关文章

  1. Python并发编程的几篇文章

    Python几种并发实现方案的性能比较 http://www.elias.cn/Python/PyConcurrency?from=Develop.PyConcurrency python并发编程 h ...

  2. python之并发编程初级篇8

    一.进程理论 1)进程介绍 .什么是进程 一个正在进行的过程,或者说是一个程序的运行过程 其实进程是对正在运行的程序的一种抽象/概括的说法 进程的概念起源操作系统,进程是操作最核心的概念之一 操作系统 ...

  3. Python并发编程之深入理解yield from语法(八)

    大家好,并发编程 进入第八篇. 直到上一篇,我们终于迎来了Python并发编程中,最高级.最重要.当然也是最难的知识点--协程. 当你看到这一篇的时候,请确保你对生成器的知识,有一定的了解.当然不了解 ...

  4. Python并发编程系列之多线程

    1 引言 上一篇博文详细总结了Python进程的用法,这一篇博文来所以说Python中线程的用法.实际上,程序的运行都是以线程为基本单位的,每一个进程中都至少有一个线程(主线程),线程又可以创建子线程 ...

  5. Python并发编程系列之多进程(multiprocessing)

    1 引言 本篇博文主要对Python中并发编程中的多进程相关内容展开详细介绍,Python进程主要在multiprocessing模块中,本博文以multiprocessing种Process类为中心 ...

  6. python并发编程&多线程(一)

    本篇理论居多,实际操作见:  python并发编程&多线程(二) 一 什么是线程 在传统操作系统中,每个进程有一个地址空间,而且默认就有一个控制线程 线程顾名思义,就是一条流水线工作的过程,一 ...

  7. python并发编程&多进程(一)

    本篇理论居多,实际操作见:  python并发编程&多进程(二) 一 什么是进程 进程:正在进行的一个过程或者说一个任务.而负责执行任务则是cpu. 举例(单核+多道,实现多个进程的并发执行) ...

  8. 快速了解Python并发编程的工程实现(上)

    关于我 一个有思想的程序猿,终身学习实践者,目前在一个创业团队任team lead,技术栈涉及Android.Python.Java和Go,这个也是我们团队的主要技术栈. Github:https:/ ...

  9. Python并发编程__多进程

    Python并发编程_多进程 multiprocessing模块介绍 python中的多线程无法利用多核优势,如果想要充分地使用多核CPU的资源(os.cpu_count()查看),在python中大 ...

随机推荐

  1. Sla子分类账表结构

    --基础事件关系图Select * From xla_entity_types_vl; --事件实体Select * From xla_entity_id_mappings;--实体ID对应表Sele ...

  2. css3 风车旋转

    <style> .box{width:400px;height:400px;margin:100px auto;transition:1s;} .box div{width:180px;h ...

  3. printf(&quot;&quot;); 输出小题目

    #define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h>  int main(){ int i=43; printf("%d\n&q ...

  4. Lock+Condition 相对于 wait+notify 的一个优势案例分析

    问题的描述 启动3个线程打印递增的数字, 线程1先打印1,2,3,4,5, 然后是线程2打印6,7,8,9,10, 然后是线程3打印11,12,13,14,15. 接着再由线程1打印16,17,18, ...

  5. 【模板】Big-Step-Giant-Step 大步小步

    求一个 的最小整数解 bsgs 当h是质数的时候使用 extbsgs 不满足上面那种情况的时候 具体参见http://tonyfang.is-programmer.com/posts/178997.h ...

  6. Android中那些权限

    Permission Permission Permission Group Permission Tree Users Permission ACCESS_CHECKIN_PROPERTIES 允许 ...

  7. [HNOI 2014]世界树

    Description 题库链接 给出一棵 \(n\) 个节点的树, \(q\) 次询问,每次给出 \(k\) 个关键点.树上所有的点会被最靠近的关键点管辖,若距离相等则选编号最小的那个.求每个关键点 ...

  8. Ansible快速上手

    ansible 是通过python 语言开发的自动化运维工具,可以实现批量系统设置.批量程序部署.批量执行命令等功能 下面是基于docker使用ansible测试示例,可以让新手快速上手使用 一.新建 ...

  9. hadoop学习笔记肆--元数据管理机制

    1.首先,认识几个名词 (1).NameNode中读.写.以及DataNode映射等信息叫做“元数据” ,NameNode元数据存放位置有.内存.fsimage.edits log三个位置. (2). ...

  10. [luogu3388][割点]

    题目链接 思路 真板子题.割点是指在一个无向图中,删去之后图将不再连通的点.可以用tarjan算法求.根据割点有两种情况,一种是根,一种是非根.如果不是根的就去判断在tarjan的时候当前节点所能到的 ...