concurrent.futures模块简单介绍(线程池,进程池)
一、基类Executor
Executor类是ThreadPoolExecutor 和ProcessPoolExecutor 的基类。它为我们提供了如下方法:
submit(fn, *args, **kwargs):提交任务。以 fn(*args **kwargs) 方式执行并返回 Future 对像。
fn:函数地址。
*args:位置参数。
**kwargs:关键字参数。
map(func, *iterables, timeout=None, chunksize=1):
func:函数地址。
iterables:一个可迭代对象,以迭代的方式将参数传递给函数。
timeout:这个参数没弄明白,如果是None等待所有进程结束。
chunksize:使用 ProcessPoolExecutor 时,这个方法会将 iterables 分割任务块,并作为独立的任务提交到执行池中。这些块的数量可以由 chunksize 指定设置。 对很长的迭代器来说,设置chunksize 值比默认值 1 能显著地提高性能。 chunksize 对 ThreadPoolExecutor 没有效果。
shutdown(wait=True):如果为True会等待线程池或进程池执行完成后释放正在使用的资源。如果 wait 为 False,将立即返回,所有待执行的期程完成执行后会释放已分配的资源。 不管 wait 的值是什么,整个 Python 程序将等到所有待执行的期程完成执行后才退出。
二、线程池对象
ThreadPoolExecutor 是 Executor 的子类,下面介绍ThreadPoolExecutor 的参数。
class concurrent.futures.ThreadPoolExecutor(max_workers=None, thread_name_prefix='', initializer=None, initargs=()):
max_workers:线程池的数量。
thread_name_prefix:线程名前缀。默认线程名ThreadPoolExecutor-线程数。
initializer:一个函数或方法,在启用线程前会调用这个函数(给线程池添加额外任务)。
initargs :以元祖的方式给initializer中的函数传递参数。
这里需要说明的是除了max_workers这个参数外其它三个参数基本很少用。max_workers很好理解就是线程池的数量。
下面来说initializer和initargs 这两个奇怪的家伙。
示例一:
from concurrent.futures import ThreadPoolExecutor
def work():
print('工作线程')
def test(num):
print('test:',num)
executor = ThreadPoolExecutor(max_workers=2,initializer=test(7)) # 开启2个线程 initializer指定参数test(7)
executor.submit(work)
executor.submit(work) # 打印内容如下
test: 7
工作线程
工作线程
示例二:
from concurrent.futures import ThreadPoolExecutor
def work():
print('工作线程')
def test(num):
print('test:',num)
executor = ThreadPoolExecutor(max_workers=2,initializer=test,initargs=(7,)) # 这里我们使用initargs=(7,)的方式给test传递参数。
executor.submit(work)
executor.submit(work) # 打印内容如下
test: 7
工作线程
工作线程
test: 7
通过示例一和示例二我们可以发现initializer=test(7)时,test函数只被调用了1次,当initializer=test,initargs=(7,)时,test被调用了2次。具体原因没有去分析。感觉没什么用。以后有时间看看源码在补上。
三、进程池对象
ProcessPoolExecutor 也是 Executor 的子类,下面是ProcessPoolExecutor 参数介绍:
class concurrent.futures.ProcessPoolExecutor(max_workers=None, mp_context=None, initializer=None, initargs=())
max_workers:工作进程数。如果 max_workers 为 None 或未给出,它将默认为机器的处理器个数。 如果 max_workers 小于等于 0,则将引发 ValueError。 在 Windows 上,max_workers 必须小于等于 61,否则将引发 ValueError。 如果 max_workers 为 None,则所选择的默认最多为 61,即使存在更多处理器。
mp_context :可以是一个多进程上下文或是 None。 它将被用来启动工作进程。 如果 mp_context 为 None 或未给出,将使用默认的多进程上下文。
initializer:一个函数或方法,在启用线程前会调用这个函数。
initargs :以元祖的方式给initializer中的函数传递参数。
关于说initializer和initargs 与ThreadPoolExecutor 类似这里不多说了。
四、创建线程池
from concurrent.futures import ThreadPoolExecutor
import time
def work(num):
time.sleep(1)
print('工作线程:',num)
if __name__ == '__main__':
executor = ThreadPoolExecutor(max_workers=5) # 创建线程池,数量为5
for i in range(5):
executor.submit(work, i)
print('主线程') # 打印内容如下
主线程
工作线程: 0
工作线程: 1
工作线程: 2
工作线程: 3
工作线程: 4
# 使用shutdown等待所有线程结束后在打印主线程
from concurrent.futures import ThreadPoolExecutor
import time
def work(num):
time.sleep(1)
print('工作线程:',num)
if __name__ == '__main__':
executor = ThreadPoolExecutor(max_workers=5) # 创建线程池,数量为5
for i in range(5):
executor.submit(work, i)
executor.shutdown(wait=True) # 等待线程池结束
print('主线程') # 打印内容如下
工作线程: 0
工作线程: 1
工作线程: 2
工作线程: 3
工作线程: 4
主线程
如果想要在线程执行的过程中添加额外的功能,可以使用initializer参数,如下:
from concurrent.futures import ThreadPoolExecutor def work(num):
print('工作线程:',num)
def test(num):
print('额外任务:',num)
if __name__ == '__main__':
executor = ThreadPoolExecutor(max_workers=5,initializer=test,initargs=(7,)) # 添加额外任务
for i in range(5):
executor.submit(work, i)
executor.shutdown(wait=True)
print('主线程') # 打印内容如下
额外任务: 7
工作线程: 0
额外任务: 7
工作线程: 1
额外任务: 7
工作线程: 2
额外任务: 7
工作线程: 3
额外任务: 7
工作线程: 4
主线程
五、进程池
进程池与线程池用法基本一致,只是名字和实现不一样而已。
from concurrent.futures import ProcessPoolExecutor
import time
def work(num):
time.sleep(1)
print('工作进程:',num)
if __name__ == '__main__':
executor = ProcessPoolExecutor(max_workers=5) # 创建进程池,数量为5
for i in range(5):
executor.submit(work, i)
print('主线程') # 打印内容如下
主线程
工作进程: 0
工作进程: 1
工作进程: 2
工作进程: 3
工作进程: 4 # 使用shutdown等待所有线程结束后在打印主线程
from concurrent.futures import ProcessPoolExecutor
import time
def work(num):
time.sleep(1)
print('工作进程:',num)
if __name__ == '__main__':
executor = ProcessPoolExecutor(max_workers=5) # 创建进程池,数量为5
for i in range(5):
executor.submit(work, i)
executor.shutdown(wait=True) # 等待进程池结束
print('主线程')
# 打印内容如下
工作进程: 0
工作进程: 1
工作进程: 2
工作进程: 3
工作进程: 4
主线程
如果想要在线程执行的过程中添加额外的功能,可以使用initializer参数,如下:
from concurrent.futures import ProcessPoolExecutor def work(num):
print('工作进程:',num)
def test(num):
print('额外任务:',num)
if __name__ == '__main__':
executor = ProcessPoolExecutor(max_workers=5,initializer=test,initargs=(7,)) # 添加额外任务
for i in range(5):
executor.submit(work, i)
executor.shutdown(wait=True)
print('主线程') # 打印内容如下
额外任务: 7
工作进程: 0
工作进程: 1
工作进程: 2
工作进程: 3
工作进程: 4
额外任务: 7
额外任务: 7
额外任务: 7
额外任务: 7
主线程
六、Future Objects
future类封装了可调用文件的异步执行。future的实例由executor.submit()时被创建的,除了测试之外不应该直接实例化future对象,所以为了获取future对象我们可以f=executor.submit()即可。
class concurrent.futures.Future类中的方法:
cancel():尝试取消执行线程池中的函数调用。如果调用当前正在执行或已完成运行,并且无法取消,则方法将返回false,否则调用将被取消,方法将返回true。
cancelled():如果线程池中的函数执行成功返回True,调用失败返回false。
running():如果线程池中的调用当前正在执行且无法取消,则返回true。
done():如果呼叫成功取消或完成运行,则返回true。否则返回false
result(timeout=None):返回线程函数的返回值。如果线程函数未执行完成,则此方法将最多等待timeout秒,如果线程函数未在超时秒内完成,则将引发concurrent.futures.TimeoutError。超时可以是int或float。如果未指定超时 timeout=None,则会阻塞,一直等待函数执行完成。如果在线程函数完成之前使用future对象取消了执行,则将引发CancelederRor。如果调用raised,此方法将引发相同的异常。
exception(timeout=None):返回线程函数引发的异常。如果线程函数尚未完成,则此方法将最多等待timeout秒。如果线程函数未在超时秒内完成,则将引发concurrent.futures.TimeoutError。超时可以是int或float。如果未指定超时或无超时timeout=None,则会一直等待。如果在线程函数完成之前使用future对象取消了执行,则将引发CancelederRor如果线程函数完成但未引发,则返回None。
add_done_callback(fn):将可调用fn附加到future对象。当future对象被取消或结束运行时,将调用fn,其中future对象是惟一的参数。添加的可调用对象是按照添加顺序调用的,并且总是在属于添加它们的进程的线程中调用。如果Callable引发异常子类,它将被记录并忽略。如果可调用引发BaseException子类,则行为未定义。
七、Module Functions
concurrent.futures.wait(fs, timeout=None, return_when=ALL_COMPLETED):将fs绑定一个future实例,如果future执行完成或取消执行fs函数。
fs:fs是一个函数绑定在future实例(可能由不同的执行器实例创建)。返回2个命名元组的集合。第一组名为“done”,包含等待完成,完成前(完成或future对象取消)。第二组名为“not_done”,包含未完成的future(未完成或正在运行的future)。
timeout:如果为None一直等待,否则会等待timeout秒。
return_when :必须是如下范围。
Constant |
Description |
---|---|
|
当任何future 完成或取消或者线程函数执行完成时。 |
|
当future通过引发异常而结束时,线程函数将返回。如果没有future引发异常,那么它相当于所有已完成的。 |
|
当所有future完成或取消时,函数将返回。 |
concurrent.futures.as_completed(fs, timeout=None):返回一个future迭代器。
fs:可迭代对象的future。
timeout:超时时间,如果为None会一直阻塞直到执行完成。否则将等待timeout秒。
from concurrent.futures._base import as_completed
from concurrent.futures import ThreadPoolExecutor def work(num):
return num ** 2
if __name__ == '__main__':
executor = ThreadPoolExecutor(max_workers=5)
future_list = [] # 存放future对象
for i in range(5):
future_list.append(executor.submit(work, i))
for future in as_completed(future_list): # 这是一个无聊的用法
res = future.result()
print(f'结果:{res}') # 打印工作线程返回的结果
# 打印结果如下
结果:0
结果:4
结果:16
结果:1
结果:9
参考文档:https://docs.python.org/3/library/concurrent.futures.html
concurrent.futures模块简单介绍(线程池,进程池)的更多相关文章
- 使用concurrent.futures模块中的线程池与进程池
使用concurrent.futures模块中的线程池与进程池 线程池与进程池 以线程池举例,系统使用多线程方式运行时,会产生大量的线程创建与销毁,创建与销毁必定会带来一定的消耗,甚至导致系统资源的崩 ...
- concurrent.futures模块(进程池&线程池)
1.线程池的概念 由于python中的GIL导致每个进程一次只能运行一个线程,在I/O密集型的操作中可以开启多线程,但是在使用多线程处理任务时候,不是线程越多越好,因为在线程切换的时候,需要切换上下文 ...
- concurrent.futures模块(进程池/线程池)
需要注意一下不能无限的开进程,不能无限的开线程最常用的就是开进程池,开线程池.其中回调函数非常重要回调函数其实可以作为一种编程思想,谁好了谁就去掉 只要你用并发,就会有锁的问题,但是你不能一直去自己加 ...
- 线程池、进程池(concurrent.futures模块)和协程
一.线程池 1.concurrent.futures模块 介绍 concurrent.futures模块提供了高度封装的异步调用接口 ThreadPoolExecutor:线程池,提供异步调用 Pro ...
- Python并发编程之线程池/进程池--concurrent.futures模块
一.关于concurrent.futures模块 Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码,但是当项目达到一定的规模,频繁创建/ ...
- 《转载》Python并发编程之线程池/进程池--concurrent.futures模块
本文转载自Python并发编程之线程池/进程池--concurrent.futures模块 一.关于concurrent.futures模块 Python标准库为我们提供了threading和mult ...
- Python3【模块】concurrent.futures模块,线程池进程池
Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码,但是当项目达到一定的规模,频繁创建/销毁进程或者线程是非常消耗资源的,这个时候我们就要 ...
- 创建进程池与线程池concurrent.futures模块的使用
一.进程池. 当并发的任务数量远远大于计算机所能承受的范围,即无法一次性开启过多的任务数量就应该考虑去 限制进程数或线程数,从而保证服务器不会因超载而瘫痪.这时候就出现了进程池和线程池. 二.conc ...
- concurrent.futures模块 -----进程池 ---线程池 ---回调
concurrent.futures模块提供了高度封装的异步调用接口,它内部有关的两个池 ThreadPoolExecutor:线程池,提供异步调用,其基础就是老版的Pool ProcessPoolE ...
随机推荐
- Win10(64位)安装汇编环境(MASM)
1:需要的文件 需要的安装包:这些百度都能下载找到 1).DOSBox 链接: 2) .MASM5.0 链接: 3).DEBUG 链接: 下面给出我们打包的环境 直接可用: (汇编我并不需要关注安装这 ...
- Docker 零碎
Delete none tag docker image: $ docker stop $(docker ps -a | grep "Exited" | awk '{print $ ...
- JDK1.8源码分析02之阅读源码顺序
序言:阅读JDK源码应该从何开始,有计划,有步骤的深入学习呢? 下面就分享一篇比较好的学习源码顺序的文章,给了我们再阅读源码时,一个指导性的标志,而不会迷失方向. 很多java开发的小伙伴都会阅读jd ...
- Go 自定义类型来实现枚举类型限制
今天使用iota 发现一个问题.定义别名类型的时候 调用函数报错.废话不多说,我们看一段示例(关于iota的用法这里就不介绍了,手册介绍滴比较详细): package main import &quo ...
- CRM第一篇
2.1搭建前提 我们在搭建CRM开发环境之前,需要明确2件事情: a.我们搭建环境采用基于注解的配置. b.搭建环境需要测试,我们以客户的保存和列表查询作为测试功能. 2.2搭建步骤 2.2.1导入S ...
- TOMCAT 8.5 配置优化以及JVM配置(windows server)
下载官方的tomcat,我这里用的是TOMCAT 8.5.46,然后解压出来,解压后的目录如下图 一.server.xml配置优化 进入conf目录,打开server.xml 文件 1. 找到 < ...
- Django注意知识点(二)
Tinymce富文本 前台和后台的使用 一,后台 Admin 1. 于 settings.py 文件中修改 INSTALLED_APPS 2. 于 settings.py 文件中增添如下配置 # 富文 ...
- JavaWeb开发——软件国际化(动态元素国际化)
软件国际化的第二个部分,就是动态元素国际化. 数值,货币,时间,日期等数据由于可能在程序运行时动态产生,所以无法像文字一样简单地将它们从应用程序中分离出来,而是需要特殊处理.Java 中提供了解决这些 ...
- Python函数名做参数,闭包,装饰器
简单讲解闭包的写法和应用,在这之前,先声明,你定义的任意一个函数都可以作为其他函数的参数.就像下面这段代码的参数func,接收的参数就是一个函数名,在函数体内部使用了func()调用执行函数. 请看下 ...
- 2019面向对象程序设计(Java) 第16周学习指导及要求
2019面向对象程序设计(Java)第16周学习指导及要求 (2019.12.13-2019.12.16) 学习目标 (1) 掌握Java应用程序的打包操作: (2) 掌握线程概念: (3) 掌握线程 ...