Python 多进程编程之multiprocessing--Pool
Python 多进程编程之multiprocessing--Pool
----当需要创建的子进程数量不多的时候,可以直接利用multiprocessing 中的Process 动态生成多个进程,
----但是,如果是成百上千个任务,手动创建的话,工作量会很大,此时就会用到multiprocessing 下的Pool
----初始化Pool 时,可以指定一个最大的进程数,当背后的请求提交到Pool 中时,如果池子没有满,那么就会创建一个新的进程来执行该请求. 如果满了(池子中的进程以及达到最大进程数)那么该请求就会等待,直到池子中有进程结束,才会创建新的进程来执行.
from multiprocessing import Pool
import os,time,random #定义一个函数
def download(i):
print("(%d)--ID号为:%d的进程开始执行"%(i,os.getpid()))
t_start = time.time() time.sleep(random.random()*10) t_stop = time.time()
print("(%d)---ID:%d执行完毕,耗时%f秒!"%(i,os.getpid(),t_stop-t_start)) if __name__ == "__main__":
po = Pool(3)#定义一个进程池,最大进程的数量
for i in range(10): #每次循环将会用空闲出来的子进程去调用目录--同步(自加阻塞)
#po.apply(func=download,args=(i,)) #每次循环将会用空闲出来的子进程去调用目录--异步
po.apply_async(func=download,args=(i,)) print("----start----")
po.close()#关闭进程池,关闭后po就不再接收您的请求。
po.join() #等待po中所有的子进程执行完成,必需放在close之后。 print("----end------")
- 添加join()的原因是,
----此方法可能不会在页面打印除任何内容,因为一次执行3个进程
----3个进程执行的时间相差极为短暂,会在打印页面引起冲突,所以不会有任何内容输出 po.apply(func=download,args=(i,)) 执行的结果如下:你会发现是每次执行一个进程.
(0)id号为:25334的进程开始执行
(0)id号25334执行完毕,耗时3.866196秒
(1)id号为:25335的进程开始执行
(1)id号25335执行完毕,耗时3.393492秒
(2)id号为:25333的进程开始执行
(2)id号25333执行完毕,耗时9.758717秒
(3)id号为:25334的进程开始执行
(3)id号25334执行完毕,耗时0.150672秒
(4)id号为:25335的进程开始执行
(4)id号25335执行完毕,耗时8.498094秒
(5)id号为:25333的进程开始执行
(5)id号25333执行完毕,耗时9.061761秒
(6)id号为:25334的进程开始执行
(6)id号25334执行完毕,耗时8.845187秒
(7)id号为:25335的进程开始执行
(7)id号25335执行完毕,耗时6.623793秒
(8)id号为:25333的进程开始执行
(8)id号25333执行完毕,耗时2.530908秒
(9)id号为:25334的进程开始执行
(9)id号25334执行完毕,耗时9.739911秒
------start-------
------end----------- po.apply_async(func=download,args=(i,)) 执行的结果如下:你会发现开始是执行3个进程,之后只要有进程结束,等待的进程就会执行
------start-------
(1)id号为:25313的进程开始执行
(2)id号为:25314的进程开始执行
(0)id号为:25315的进程开始执行
(0)id号25315执行完毕,耗时0.853286秒
(3)id号为:25315的进程开始执行
(3)id号25315执行完毕,耗时5.674426秒
(4)id号为:25315的进程开始执行
(4)id号25315执行完毕,耗时1.449967秒
(5)id号为:25315的进程开始执行
(1)id号25313执行完毕,耗时9.333982秒
(6)id号为:25313的进程开始执行
(2)id号25314执行完毕,耗时9.982127秒
(7)id号为:25314的进程开始执行
(5)id号25315执行完毕,耗时2.919765秒
(8)id号为:25315的进程开始执行
(7)id号25314执行完毕,耗时2.520782秒
(9)id号为:25314的进程开始执行
(6)id号25313执行完毕,耗时6.414589秒
(9)id号25314执行完毕,耗时7.013178秒
(8)id号25315执行完毕,耗时9.927967秒
------end----------
Python 多进程编程之multiprocessing--Pool的更多相关文章
- Python 多进程编程之multiprocessing--Process
Python 多进程编程之multiprocessing 1,Process 跨平台的进程创建模块(multiprocessing), 支持跨平台:windowx/linux 创建和启动 创 ...
- python并发编程之multiprocessing进程(二)
python的multiprocessing模块是用来创建多进程的,下面对multiprocessing总结一下使用记录. 系列文章 python并发编程之threading线程(一) python并 ...
- Python 多进程编程之fork()
Python实现多进程可以用系统fork()方法和python的multiprocessing类 1,fork()方法是Unix/Linux操作系统提供的,在python的os模块中自带fork(). ...
- python并发编程之Queue线程、进程、协程通信(五)
单线程.多线程之间.进程之间.协程之间很多时候需要协同完成工作,这个时候它们需要进行通讯.或者说为了解耦,普遍采用Queue,生产消费模式. 系列文章 python并发编程之threading线程(一 ...
- python并发编程之gevent协程(四)
协程的含义就不再提,在py2和py3的早期版本中,python协程的主流实现方法是使用gevent模块.由于协程对于操作系统是无感知的,所以其切换需要程序员自己去完成. 系列文章 python并发编程 ...
- python并发编程之asyncio协程(三)
协程实现了在单线程下的并发,每个协程共享线程的几乎所有的资源,除了协程自己私有的上下文栈:协程的切换属于程序级别的切换,对于操作系统来说是无感知的,因此切换速度更快.开销更小.效率更高,在有多IO操作 ...
- python并发编程之threading线程(一)
进程是系统进行资源分配最小单元,线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位.进程在执行过程中拥有独立的内存单元,而多个线程共享内存等资源. 系列文章 py ...
- Python函数式编程之map()
Python函数式编程之map() Python中map().filter().reduce()这三个都是应用于序列的内置函数. 格式: map(func, seq1[, seq2,…]) 第一个参数 ...
- Python在云端编程之IPython notebook
Python在云端编程之IPython notebook 如果本地编程考虑到Python版本,机器位数,编译环境,科学栈安装等等繁琐的事,弄得你焦头烂额,不如移步云端,省去这些繁琐过程,在云端编程是很 ...
随机推荐
- Java同步学习(持续更新)
在需要考虑线程安全性的场合,可以考虑以下五种方式来实现线程的安全性: 1.同步方法 即有synchronized关键字修饰的方法. 由于java的每个对象都有一个内置锁,当用此关键字修饰方法时, ...
- new 对象时的暗执行顺序
为什么称为暗执行顺序,因为当我们在new 对象时,其不是简简单单的new一个完事,它要首先检查父类的,静态的,非静态的等代码,就好像我们结婚生孩子一样,要先到祖宗那里,公安局那里,左邻右舍那里,告诉他 ...
- nginx的启动与停止
参考 :http://www.cnblogs.com/codingcloud/p/5095066.html 启动: /usr/local/nginx/sbin/nginx -c /usr/local/ ...
- 服务器tcp连接timewait过多优化及详细分析
[背景说明] 在7层负载均衡上,查询网络状态发现timewait太多,于是开始准备优化事宜 整体的拓扑结构,前面是lvs做dr模式的4层负载均衡,后端使用(nginx.or haproxy)做7层负载 ...
- Python之Eric安装注意事项
处理该问题: http://www.knowsky.com/950133.html 注意缺乏的是qscintilla 双击install.py进行安装
- [UE4]Circular Throbber,圆形的、环形的动态图标
一.就是圆形的,转动的很多小圆点. 二.Circular Throbber.Appearance.Number Of Pieces:可以通知显示的小圆点个数. 三.Circular Throbber. ...
- WordPress版微信小程序开发系列(一):WordPress REST API
自动我发布开源程序WordPress版微信小程序以来,很多WordPress站长在搭建微信小程序的过程中会碰到各种问题来咨询我,有些问题其实很简单,只要仔细看看我写的文章,就可以自己解决.不过这些文章 ...
- java并发编程目录
java并发编程目录 Java多线程基础:进程和线程之由来 JAVA多线程实现的四种方式 Java并发编程:线程间协作的两种方式:wait.notify.notifyAll和Condition Jav ...
- 解决idea下载依赖包慢到出奇
右键项目选中maven选项,然后选择“open settings.xml”或者 “create settings.xml”,然后把如下代码粘贴进去就可以了.重启IDE. <?xml versio ...
- mysql实现IP与整形互转