13、多进程multiprocessing、进程池
内容相关:
multiprocessing:
- 进程的创建与运行
- 进程常用相关函数
进程池:
- 为什么要有进程池
- 进程池的创建与运行:串行、并行
- 回调函数
多进程multiprocessing:
python中的多进程需要使用multiprocessing模块
- 多进程的创建与运行:
1.进程的创建:进程对象=multiprocessing.Process(target=函数名,args=(参数,))【补充,由于args是一个元组,单个参数时要加“,”】
2.进程的运行: 进程对象.start()
进程的join跟线程的join一样,意义是 “阻塞当前进程,直到调用join方法的那个进程执行完,再继续执行当前进程”
注:在windows中代码中必须使用这个,在Linux 中不需要加这个
import multiprocessing,time,os def thread_run():
print(threading.current_thread()) def run(name):
time.sleep(1)
print("hello",name,"run in ",os.getpid(),"ppid:",os.getppid()) if __name__=='__main__':#必须加
obj=[]
for i in range(10):
p=multiprocessing.Process(target=run,args=('bob',))
obj.append(p)
p.start()
start_time=time.time()
for i in obj:
i.join()
print("run in main")
print("spend time :",time.time()-start_time)
- 与多线程同样的:也可以通过继承multiprocessing的Process来创建进程
继承multiprocessing的Process类的类要主要做两件事:
1.如果初始化自己的变量,则先要调用父类的__init__()【如果不调用,则要自己填写相关的参数,麻烦!】然后做自己的初始化;如果不需要初始化自己的变量,那么不需要重写__init__,直接使用父类的__init__即可【已经继承了】
2.重写run函数
import multiprocessing class myProcess(multiprocessing.Process):
def run(self):
print("run in myProcess") if __name__=="__main__":
p=myProcess()
p.start()
p.join()
进程常用相关函数:
- os.getpid():获取当前进程号。
- os.getppid():获取当前进程的父进程号。
- 进程对象.is_alive():判断进程是否存活
- 进程对象.terminate():结束进程【不建议的方法,现实少用】
进程池:
- 为什么需要进程池
- 如果要启动大量的子进程,可以用进程池的方式批量创建子进程,而进程池可以限制运行的进程的数量【有太多人想要游泳,而池子的容量决定了游泳的人的数量
- Pool类可以提供指定数量的进程供用户调用,当有新的请求提交到Pool中时,如果池还没有满,就会创建一个新的进程来执行请求。如果进程池满了,请求就会告知先等待,直到池中有进程结束,才会创建新的进程来执行这些请求
- 进程池的创建与使用:
- 使用进程池需要导入:from multiprocessing import Pool
- 创建进程池:进程池对象=Pool(容量)
- 给进程池添加进程:
- 串行:进程池对象.apply(func=函数名,args=(参数,))
from multiprocessing import Pool
import time,os def func1(i):
time.sleep(1)
print("run in process:",os.getpid()) if __name__=="__main__":
pool=Pool(5) start_time = time.time()
for i in range(10):
pool.apply(func=func1,args=(i,))#串行,这里是加一个运行完再加一个
pool.close()#先close再等待
pool.join()
print("main run done,spend_time:",time.time()-start_time)
- 并行:进程池对象.apply_async(func=函数名,args=(参数,),callback=回调函数)
from multiprocessing import Pool
import time,os def func1(i):
time.sleep(1)
print("run in process:",os.getpid()) if __name__=="__main__":
pool=Pool(5) start_time = time.time()
for i in range(10):
pool.apply_async(func=func1,args=(i,))#并行 pool.close()#先close再等待
pool.join()
print("main run done,spend_time:",time.time()-start_time)#2.6,证明是并行
- 回调函数的使用:在并行中,支持callback=回调函数,当一个进程执行完毕后会调用该回调函数,并且参数为func中的返回值
- 注意:回调函数是在父进程中执行的!【当儿子执行完后,会在父亲里调用函数】
from multiprocessing import Pool
import time,os def func1(i):
time.sleep(1)
print("run in process:",os.getpid())
return "filename" def log(arg):##参数为进程创建中func的函数的返回值
print("log done :",arg) if __name__=="__main__":
pool=Pool(5) start_time = time.time()
for i in range(10):
pool.apply_async(func=func1,args=(i,),callback=log,)#log的参数是func1的返回值 pool.close()#先close再等待
pool.join()
print("main run done,spend_time:",time.time()-start_time)
- 注:对
Pool
对象调用join()
方法会等待所有子进程执行完毕,调用join()
之前必须先调用close()
,调用close()
之后就不能继续添加新的Process
了。【意思就是比如游泳池只卖1个小时的票,约定5点关门,那么4点多之后就不能再卖票了,就一直等着游泳池里面的人出来再关门,进程池的close是一个关门的意思,并不是结束的意思,它只是关上了进来的门,而里面的进程还可以运行】【进程池的join是等池子里的所有进程执行完毕,如果后面再进来进程的话就没完没了了,所以需要先关闭进入,再等待进程结束】- 小测试:
- 小测试:
13、多进程multiprocessing、进程池的更多相关文章
- python学习笔记——multiprocessing 多进程组件 进程池Pool
1 进程池Pool基本概述 在使用Python进行系统管理时,特别是同时操作多个文件目录或者远程控制多台主机,并行操作可以节约大量时间,如果操作的对象数目不大时,还可以直接适用Process类动态生成 ...
- python 多进程——使用进程池,多进程消费的数据)是一个队列的时候,他会自动去队列里依次取数据
我的mac 4核,因此每次执行的时候同时开启4个线程处理: # coding: utf-8 import time from multiprocessing import Pool def long_ ...
- python多进程,以及进程池并发
模拟多进程 #!/usr/bin/env python#-*- coding:utf-8 -*-import timefrom multiprocessing import Process def s ...
- Python 多进程和进程池
一,前言 进程:是程序,资源集合,进程控制块组成,是最小的资源单位 特点:就对Python而言,可以实现真正的并行效果 缺点:进程切换很容易消耗cpu资源,进程之间的通信相对线程来说比较麻烦 线程:是 ...
- Python 3 并发编程多进程之进程池与回调函数
Python 3 进程池与回调函数 一.进程池 在利用Python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间.多进程是实现并发的手段之一,需要注意 ...
- python多进程,进程池,数据共享,进程通信,分布式进程
一.操作系统中相关进程的知识 Unix/Linux操作系统提供了一个fork()系统调用,它非常特殊.普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前 ...
- 2020.9.28 多进程multiprocess 进程池pool 子进程subprocess 进程间通信
1.multiprocessing模块--跨平台版本的多进程模块 multiprocessing模块提供了一个Process类来代表一个进程对象,下面的例子演示了启动一个子进程并等待其结束: from ...
- 多进程-Pool进程池
from multiprocessing import Pool import os,time def Foo(i): time.sleep(2) print("in process&quo ...
- Python_多进程_pool进程池
多进程典型案例: 1.将子进程的进程名作为列表中的元素,在父进程中遍历(异步)执行 #coding: utf-8 from multiprocessing import Pool import os, ...
- 多进程 multiprocessing 模块进程并发Process;Pool ;Queue队列 、threading模块;
multiprocessing 模块中的 Process类提供了跨平台的多进程功能,在windows和linux系统都可以使用. 1.首先要实例化一个类,传入要执行的函数. 实例名 = Process ...
随机推荐
- nginx代理tomcat做负载
先对三台服务器统一环境. 对两台tomcat服务器的操作 查看jdk环境 # java -version openjdk version "1.8.0_65" OpenJDK Ru ...
- Ajax 的学习
(一)基础知识和新的概念 1,AJAX 就是浏览器提供的一套 API,可以通过 JavaScript 调用,从而实现通过代码控制请求与响应.实现 网络编程. 2,AJAX(Asynchr ...
- C语言判断大小端的几种方法
在操作系统中,经常会用到判断大小端,很多面试题中也会经常遇到,以前的时候没有总结过,这里总结一下. 以后用到了就直接可以用了. 所谓的大小端,大致的解释意思就是: [大端模式] CPU对操作数的存放方 ...
- kafka之consumer参数auto.offset.reset 0.10+
https://blog.csdn.net/dingding_ting/article/details/84862776 https://blog.csdn.net/xianpanjia4616/ar ...
- 线程间通信wait和notify【All】简介
1.通信就是指相互交换一些数据或者发送一些控制指令,比如一个线程给另一个暂停执行的线程发送一个恢复执行的指令. 可变共享变量是天然的通信媒介,也就是说一个线程如果想和另一个线程通信的话,可以修改某个在 ...
- 个人博客搭建( wordpress )
最近同学买了一台虚机( centos7 系统 ).一个域名,让帮忙搭一个个人博客.本着简单快捷,个人博客采用 wordpress 来搭建.为了以后博客系统的迁移方便,使用 docker 来安装 wor ...
- 【sping揭秘】18、使用spring访问数据
统一的数据访问异常层次体系 基于基本的jdbc封装dao层访问接口,封装不论是访问,csv文件,关系数据库(RDBMS),ladp都可以封装成一个个DAO对象来进行访问 抛出问题 可是对于我们忽略了一 ...
- 文本转音频(百度语音合成api)(python)(原创)
应之前的一家小学教育培训机构的要求设计的一款 将文字转音频的程序.(注:后面应该是生成音频才对,没有改过来) 技术难点: ①语音合成,如果没有现在这么多的云服务-百度云语音合成,我估计这个程序会费很大 ...
- centos6.6 安装adb环境
a.安装JDK环境 centos linux JAVA(openjdk)软件包名 1.java-1.7.0-openjdk (OpenJDK Runtime Environment) 2.java-1 ...
- Ubuntu 16.04安装sogou 拼音输入法
一.更换为国内的软件源 安装搜狗输入法之前请先更换为国内的软件源,否则无法解决依赖问题.首先,用以下命令打开源列表: sudo gedit /etc/apt/sources.list #用文本编辑器打 ...