铁乐学python_Day42_线程池
铁乐学python_Day42_线程池
concurrent.futures 异步调用模块
- concurrent.futures模块提供了高度封装的异步调用接口
- ThreadPoolExecutor:线程池,提供异步调用
- ProcessPoolExecutor: 进程池,提供异步调用
基本方法
submit(fn, *args, **kwargs)
异步提交任务
map(func, *iterables, timeout=None, chunksize=1)
取代for循环submit的操作
shutdown(wait=True)
相当于进程池的pool.close()+pool.join()操作
wait=True,等待池内所有任务执行完毕回收完资源后才继续
wait=False,立即返回,并不会等待池内的任务执行完毕
但不管wait参数为何值,整个程序都会等到所有任务执行完毕
submit和map必须在shutdown之前
result(timeout=None)
取得结果
add_done_callback(fn)
回调函数
例: 进程池-异步调用
from concurrent.futures import ProcessPoolExecutor
import os, time, random
def task(n):
print('%s is runing' % os.getpid())
time.sleep(random.randint(1, 3))
return n ** 2
if __name__ == '__main__':
# 创建异步调用的进程池,最大工作进程为3
executor = ProcessPoolExecutor(max_workers=3)
futures = []
for i in range(11):
# submit提交任务
future = executor.submit(task, i)
futures.append(future)
# 关闭进程池及等待池内所有任务执行完毕后回收资源
executor.shutdown(True)
print('+++>')
for future in futures:
# result取得函数结果
print(future.result())
运行效果如下:
8984 is runing
8260 is runing
8772 is runing
8984 is runing
8772 is runing
8984 is runing
8260 is runing
8772 is runing
8772 is runing
8984 is runing
8772 is runing
+++>
0
1
4
9
16
25
36
49
64
81
100
例:线程池-异步调用-回调函数
import time
from concurrent.futures import ThreadPoolExecutor
def func(i):
print(i*'*')
time.sleep(1)
return i
def callb(arg):
print(arg.result() ** 2)
if __name__ == '__main__':
thread_pool = ThreadPoolExecutor(5)
for i in range(1, 11):
# 回调函数,使用前面任务的函数结果做为传参到callb函数中异步执行
ret = thread_pool.submit(func, i).add_done_callback(callb)
thread_pool.shutdown()
运行效果如下:(这里并没有建列表,回调函数显示的结果是无序的)
*
**
***
****
*****
1
******
16
*******
9
********
25
*********
4
**********
36
49
81
64
100
例:线程池中map的用法(生成器)
from concurrent.futures import ThreadPoolExecutor
import time, random
def task(n):
print(n * '*')
time.sleep(random.randint(1, 3))
return n ** 2
if __name__ == '__main__':
executor = ThreadPoolExecutor(max_workers=3)
# for i in range(1,11):
# executor.submit(task,i)
ret = executor.map(task, range(1, 11))
# executor.map(task, range(1, 11))一行取代了上面注释掉的for+submit两行,
# 且这个时候只是运行了task函数,task函数return的结果并没有拿到,
# 如果要拿到它的结果,可以赋个变量名给它,它是一个生成器,for循环next取值显示就可以了。
for i in range(10):
print(next(ret))
运行效果如下:
*
**
***
****
1
*****
4
******
*******
********
9
*********
16
25
36
**********
49
64
81
100
例:回调函数
from concurrent.futures import ProcessPoolExecutor
import requests
import os
def get_page(url):
'''
get url请求是200被正常响应时的结果
:param url:
:return:
'''
print('<进程%s> get %s' % (os.getpid(), url))
respone = requests.get(url)
if respone.status_code == 200:
return {'url': url, 'text': respone.text}
def parse_page(res):
'''
将get_page函数的return结果url的值写入db文件中
:param res:
:return:
'''
res = res.result()
print('<进程%s> parse %s' % (os.getpid(), res['url']))
parse_res = 'url:<%s> size:[%s]\n' % (res['url'], len(res['text']))
with open('db.txt', 'a') as f:
f.write(parse_res)
if __name__ == '__main__':
urls = [
'https://www.baidu.com',
'https://www.python.org',
'https://www.openstack.org',
'https://help.github.com/',
'http://www.sina.com.cn/'
]
p = ProcessPoolExecutor(3)
for url in urls:
# 将前者get_page的return结果做为参数传入parse_page当中
# add 加,done 完成,callback 回调
p.submit(get_page, url).add_done_callback(parse_page)
# parse_page拿到的是一个future对象obj,需要用obj.result()拿到结果
运行效果如下:
<进程7264> get https://www.baidu.com
<进程8228> get https://www.python.org
<进程8988> get https://www.openstack.org
<进程7264> get https://help.github.com/
<进程3244> parse https://www.baidu.com
<进程7264> get http://www.sina.com.cn/
<进程3244> parse https://help.github.com/
<进程3244> parse http://www.sina.com.cn/
<进程3244> parse https://www.openstack.org
<进程3244> parse https://www.python.org
db.txt里内容:
url:<https://www.baidu.com> size:[2443]
url:<https://help.github.com/> size:[128491]
url:<http://www.sina.com.cn/> size:[584087]
url:<https://www.openstack.org> size:[63796]
url:<https://www.python.org> size:[48744]
浅析进程和线程的使用场景
- 当内存不需要共享,且高计算的时候,用进程;
- 当内存需要共享,且高IO的时候,用线程。
- 当并发很大的时候
- 多进程 : 多个任务 —— 进程池 :(数量)cpu个数、cpu个数+1
- 多线程 :多个任务 —— 线程池 :(数量)cpu个数*5
- 4CPU : 开5个进程 —— 每进程再开20条线程:可完成100个任务
- 例:50000并发: 5进程20线程500协程
end
参考:http://www.cnblogs.com/Eva-J/articles/8306047.html
铁乐学python_Day42_线程池的更多相关文章
- 铁乐学python_Day42_线程-信号量事件条件
铁乐学python_Day42_线程-信号量事件条件 线程中的信号量 同进程的一样,Semaphore管理一个内置的计数器, 每当调用acquire()时内置计数器-1:调用release() 时内置 ...
- 铁乐学python_Day42_锁和队列
铁乐学python_Day42_锁和队列 例:多个线程抢占资源的情况 from threading import Thread import time def work(): global n tem ...
- 铁乐学python_Day41_线程01
线程概念的引入背景 进程 之前我们已经了解了操作系统中进程的概念,程序并不能单独运行,只有将程序装载到内存中,系统为它分配资源才能运行,而这种执行的程序就称之为进程. 程序和进程的区别就在于: 程序是 ...
- 铁乐学python_Day40_进程池
进程之间的数据共享 基于消息传递的并发编程是大势所趋, 即便是使用线程,推荐做法也是将程序设计为大量独立的线程集合,通过消息队列交换数据. 这样极大地减少了对使用锁和其他同步手段的需求,还可以扩展到分 ...
- 铁乐学python_Day44_IO多路复用
目录 IO模型介绍 阻塞IO(blocking IO) 非阻塞IO(non-blocking IO) 多路复用IO(IO multiplexing) 异步IO(Asynchronous I/O) IO ...
- 铁乐学python_Day39_多进程和multiprocess模块2
铁乐学python_Day39_多进程和multiprocess模块2 锁 -- multiprocess.Lock (进程同步) 之前我们千方百计实现了程序的异步,让多个任务可以同时在几个进程中并发 ...
- 铁乐学python_Day43_协程
铁乐学python_Day43_协程 引子 之前我们学习了线程.进程的概念,了解了在操作系统中进程是资源分配的最小单位,线程是CPU调度的最小单位. 按道理来说我们已经算是把cpu的利用率提高很多了. ...
- 铁乐学python_Day38_多进程和multiprocess模块1
铁乐学python_Day38_多进程和multiprocess模块1 [进程] 运行中的程序就是一个进程. 所有的进程都是通过它的父进程来创建的. 因此,运行起来的python程序也是一个进程,那么 ...
- 铁乐学python_day01-和python有关的唠嗑
铁乐学python_day01-和python有关的唠嗑 文:铁乐与猫 2018-03-16 01_python的历史 python的创始人为荷兰人吉多·范罗苏姆(Guido van Rossum). ...
随机推荐
- ZooKeeper:架构和算法
ZooKeeper主要用来解决分布式应用场景中存在的一些问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置管理等. 它支持Standalone模式和分布式模式,在分布式模式下,能够为分布式 ...
- SSH(Struts 2.3.31 + Spring 4.1.6 + Hibernate 5.0.12 + Ajax)框架整合实现简单的增删改查(包含分页,Ajax 无刷新验证该用户是否存在)
软件152 余建强 该文将以员工.部门两表带领大家进入SSH的整合教程: 源码下载:http://download.csdn.net/detail/qq_35318576/9877235 SSH 整合 ...
- [九省联考 2018]秘密袭击coat
Description 题库链接 给出一棵 \(n\) 个点的树,每个点有点权.求所有联通块的权值 \(k\) 大和,对 \(64123\) 取模. \(1\leq n,k\leq 1666\) So ...
- Storm框架:如何消费RabbitMq消息(代码案例)
1.定义拓扑topology public class MessageTopology { public static void main(String[] args) throws Exceptio ...
- BAT技术需求,你能达到多少?
作为中国互联网界的传奇和标杆企业,BAT 三家公司的一举一动受互联网人的精密亲密关注.进入 BAT 成为大厂的一员成了许多互联网人职业生活生存追逐的方针之一. 本文的作者作为一个非科班毕业,出身于三流 ...
- HDU 3501 Calculation 2------欧拉函数变形
Calculation 2 Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Tot ...
- 理解CSS3 transform中的Matrix(矩阵)——张鑫旭
by zhangxinxu from http://www.zhangxinxu.com本文地址:http://www.zhangxinxu.com/wordpress/?p=2427 一.哥,我被你 ...
- 代码实现自定义TableView
实现效果(通过代码的方式实现TableCell 的创建) 实现过程: 实现过程两个部分 1 数据源的准备 本例子采用NSDictionary +NSArray 为数据源 (接口部分) (数据初始化部分 ...
- 洛谷P4360 [CEOI2004]锯木厂选址(dp 斜率优化)
题意 题目链接 Sol 枚举第二个球放的位置,用前缀和推一波之后发现可以斜率优化 // luogu-judger-enable-o2 #include<bits/stdc++.h> #de ...
- javascript之原型
写作背景 最近在抓基础,毕竟没有好地基盖楼容易塌啊...再回首javascript,原型可以说是该语言较为核心的设计之一,我们有必要了解下其设计理念 (#^.^#) 基本概念 MyObject.pro ...