concurrent.futures:是关于进程池 和 线程池 的

官方文档

https://docs.python.org/dev/library/concurrent.futures.html

现讲进程池把,看文档你会发现,两种池的用法几乎是一样的

一段代码来了:

from concurrent.futures import ProcessPoolExecutor
impor time,os
def work(n):
print('%s is running'% os.getpid())
print('%s is end'% os.getpid())
return n**
if __name__ == '__main__':
p = ProcessPoolExecutor() # 默认是CPU的个数
start = time.time()
l = []
for i in range():
obj = p.submit(work,i)
l.append(obj)
p.shutdown()
print([obj.result() for obj in l])
print(time.time()-start)

欧克!在上面的代码中 有几个关键的方法和类。

ProcessPoolExecutor :看类的名字,进程池, 创建进程池的,需要注意的是ProcessPoolExecutor()括号内默认的是本机的CPU个数。
p.submit 类似与Pool的apply_async方法,给进程传值,submit(函数名,函数的参数)
obj.result() 看看这个接口的名字,多好领会,得到结果的, 这个result()上面的方法submit()得到的结果是一个对象,想要得到实际的值,obj.result()就得得到值了,
  是不是很简单 p.shutdown() 这个shutdown是用来等的,谁等呢,在哪里写的就是谁等,等上面的子进程运行完,在运行下面的。 还有一个map方法 ,我们再来看段代码。
from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor
import time,os
from threading import currentThread
def work(n):
print('%s is running'% currentThread().name)
time.sleep(2)
print('%s is end'% currentThread().name)
return n**2
if __name__ == '__main__':
p = ThreadPoolExecutor() # 默认的CPU的个数*5
obj = p.map(work,range(10)) # 迭代器
p.shutdown()
print(list(obj))

map方法

得到的是一个对象  obj=map(函数名,可迭代的对象)

就这么简单,跟之前的内置函数一样。

线程池中唯一不同的就是:

p = ThreadPoolExecutor() # 默认的CPU的个数*5
 
												

基于concurrent.futures的进程池 和线程池的更多相关文章

  1. concurrent.futures模块简单介绍(线程池,进程池)

    一.基类Executor Executor类是ThreadPoolExecutor 和ProcessPoolExecutor 的基类.它为我们提供了如下方法: submit(fn, *args, ** ...

  2. 进程池与线程池基本使用、协程理论与实操、IO模型、前端、BS架构、HTTP协议与HTML前戏

    昨日内容回顾 GIL全局解释器锁 1.在python解释器中 才有GIL的存在(只与解释器有关) 2.GIL本质上其实也是一把互斥锁(并发变串行 牺牲效率保证安全) 3.GIL的存在 是由于Cpyth ...

  3. concurrent.futures模块(进程池/线程池)

    需要注意一下不能无限的开进程,不能无限的开线程最常用的就是开进程池,开线程池.其中回调函数非常重要回调函数其实可以作为一种编程思想,谁好了谁就去掉 只要你用并发,就会有锁的问题,但是你不能一直去自己加 ...

  4. python并发编程之进程池,线程池concurrent.futures

    进程池与线程池 在刚开始学多进程或多线程时,我们迫不及待地基于多进程或多线程实现并发的套接字通信,然而这种实现方式的致命缺陷是:服务的开启的进程数或线程数都会随着并发的客户端数目地增多而增多, 这会对 ...

  5. 创建进程池与线程池concurrent.futures模块的使用

    一.进程池. 当并发的任务数量远远大于计算机所能承受的范围,即无法一次性开启过多的任务数量就应该考虑去 限制进程数或线程数,从而保证服务器不会因超载而瘫痪.这时候就出现了进程池和线程池. 二.conc ...

  6. python系列之 - 并发编程(进程池,线程池,协程)

    需要注意一下不能无限的开进程,不能无限的开线程最常用的就是开进程池,开线程池.其中回调函数非常重要回调函数其实可以作为一种编程思想,谁好了谁就去掉 只要你用并发,就会有锁的问题,但是你不能一直去自己加 ...

  7. 第三十八天 GIL 进程池与线程池

    今日内容: 1.GIL 全局解释器锁 2.Cpython解释器并发效率验证 3.线程互斥锁和GIL对比 4.进程池与线程池 一.全局解释器锁 1.GIL:全局解释器锁 GIL本质就是一把互斥锁,是夹在 ...

  8. python并发编程之进程池,线程池,协程

    需要注意一下不能无限的开进程,不能无限的开线程最常用的就是开进程池,开线程池.其中回调函数非常重要回调函数其实可以作为一种编程思想,谁好了谁就去掉 只要你用并发,就会有锁的问题,但是你不能一直去自己加 ...

  9. GIL锁、进程池与线程池

    1.什么是GIL? 官方解释: ''' In CPython, the global interpreter lock, or GIL, is a mutex that prevents multip ...

随机推荐

  1. ANSI C、ISO C、Standard C联系与区别

    做C语言开发的人,经常会遇到“ANSI C”.“ISO C”与“Standard C”三种术语,经常会让人傻傻分不清楚.博主之前按也是搞不清三者的关系,于是某天下定决心,一定要搞清楚三者的关系,先百度 ...

  2. shiro-5基于url的权限管理

    1.1 搭建环境 1.1.1 数据库 mysql5.1数据库中创建表:用户表.角色表.权限表(实质上是权限和资源的结合 ).用户角色表.角色权限表. 完成权限管理的数据模型创建. 1.1.2 开发环境 ...

  3. 音乐app各部分笔记(一)

    7-11 播放器播放时间获取和更新 1.audio 有一个 ontimeupdate事件 播放过程中 随时触发 vue里面就是  @timeupdate   事件中有默认参数 e  通过e.targe ...

  4. 简单日历dom

    <!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title> ...

  5. MySql cmd下的学习笔记 —— 有关视图的操作(algorithm)

    建立一张简单的查询视图,不用临时表,只用条件合并 在简单的查询中,建立临时表的开销比较大 这是可以指定algorithm选项为merge 在v2的视图中,并没有建立临时表 但在下列情况下,必须建立临时 ...

  6. 围在栅栏中的爱WriteUp(附QWE密码加解密脚本)

    题目的链接:http://www.shiyanbar.com/ctf/1917 1.首先题目给出的是摩尔斯电码: 在下面的网站上解密:https://www.cryptool.org/en/cto-c ...

  7. linux 工具学习网站

    推荐一个很不错的linux工具学习网站; 对于一个开发人员来说,我觉得掌握这些工具对于基于linux的应用开发来说事半功倍. http://linuxtools-rst.readthedocs.io/ ...

  8. CF1108F MST Unification

    题目地址:CF1108F MST Unification 最小生成树kruskal算法的应用 只需要在算法上改一点点 当扫描到权值为 \(val\) 的边时,我们将所有权值为 \(val\) 的边分为 ...

  9. C# 如何进行图像的压缩

    从网上找的非常有效.图片3M到500k private static ImageCodecInfo GetEncoderInfo(String mimeType) { int j; ImageCode ...

  10. Python3 GIL(Global Interpreter Lock)与多线程

    GIL(Global Interpreter Lock)与多线程 GIL介绍 GIL与Lock GIL与多线程 多线程性能测试 在Cpython解释器中,同一个进程下开启的多线程,同一时刻只能有一个线 ...