day12学python 多进程+进程池
多进程+进程池
多进程(不同进程不可直接访问数据)
引入(多进程套线程)
多进程 需导入multiprocessing模块
模板示例1
import threading,time,multiprocessing
def run(name):
time.sleep(2)
print('hi',name)
def running(n):
time.sleep(2)
print('ok',n,threading.get_ident())
t=threading.Thread(target=run,args=(n,))
t.start()
if __name__ == '__main__':
start=time.time()
t=[]
for i in range(10):
m=multiprocessing.Process(target=running,args=('cf%s'%i,))
m.start()
t.append(m)
for i in t:
i.join()
print(time.time()-start)
注意:
1threading.get_ident()得到当前线程号
2multiprocessing的实例化与函数用法大致与线程threading相同
3if __name__ == '__main__':类似于其它语言的main函数
模板示例2
import time,multiprocessing,os
def a(title):
print(title)
print('module_name',__name__)
print('父进程:',os.getppid())
print('当前进程',os.getpid())
print('\n')
def b(name):
print(name)
a('\033[31;1mhello it\'s me\033[0m')
if __name__=='__main__':
a('\033[32;1mhello it\'s me\033[0m')
m=multiprocessing.Process(target=b,args=('ok',))
m.start()
注意:
1 '\033[31;lm字符串\033[0m'颜色输入
2 此程序导入了os包 使用其中os.getpid()代表取到当前进程名 os.getppid()函数 代表取到当前进程的父进程名
======================================================================
1.Queue模块
queue和Queue区别:
①queue是线程间数据共享 用在threading线程中直接使用访问
②Queue是进程间数据传递 用在multiprocessing多进程中(两份数据 经过pickle编码 实现数据一致)
from multiprocessing import Process,Queue
def f(qq):
qq.put([1,'','sdad'])
if __name__=='__main__':
q=Queue()
p=Process(target=f,args=(q,))
p.start()
print(q.get())
p.join()
注意:
1from multiprocessing import Process,Queue 从多进程模块中导入Queue模块
2实例化 q=Queue() 后可作为参数传递入其他进程
3Queue(用于进程)与queue(用于线程)一样 put函数可塞入各种类型的数据
=========================================================================
2.Pipe模块
①用作进程间的数据传递(两份数据 经过pickle编码 实现数据一致)
示例
from multiprocessing import Process,Pipe
def f(n):
print(n.recv())
n.send("it's me")
if __name__=='__main__':
A,B=Pipe()
m=Process(target=f,args=(B,))
m.start()
A.send("hello")
print(A.recv())
注意:
1 Pipe模块也是从多进程模块中载入
2 A,B=Pipe() 实例化 Pipe后 得到两个值 分别代表要连接的两个进程
3 两进程间靠send与recv相互传递类似于socket用法
======================================================================
3.Manager模板
①利用manager实现数据的共享 做到多个进程修改同一个数据
from multiprocessing import Process,Manager
import os
def f(d,k):
d[os.getpid()]=os.getpid()
k.append(os.getpid())
print(k) if __name__=='__main__':
m=Manager()
d=m.dict() #生成一个字典可在多个进程间共享和传递
k=m.list() #生成一个列表可在多个进程间共享和传递
li=[]
for i in range(10):
p = Process(target=f, args=(d, k))
p.start()
li.append(p)
for n in li:
n.join() print(d)
print(k)
注意:
1 Manager亦是从多线程模板导入
2 m=Manager() 实例化得到一个返回值 以此可创建不同的字典.dict()与列表.list() [只有在Manager中才可对实例化对象创造字典与列表]
3 字典加数据 直接d[key]=value
进程池pool
from multiprocessing import Process,Pool #导入进程池模块
import time,os
def f(i):
time.sleep(2)
print(i)
return i+1000
def g(arg):
print("in end -%s"%os.getpid(),arg)
if __name__=='__main__':
pool=Pool(processes=3) #允许进程同时放入3个进程(其余线程等待)
print('主线程',os.getpid())
for i in range(10):
#pool.apply(func=f,args=(i,)) #apply调用串行函数
#pool.apply_async(func=f,args=(i,))#apply_async调用并行
pool.apply_async(func=f,args=(i,),callback=g) #最后增加callback实现 在前函数调用结束后再调用的函数 会传入参数(参数是前函数的返回值)
print('end ---')
pool.close() #进程池 必须要先调用close关闭 在调用join函数
pool.join()
注意:
1 from multiprocessing import Process,Pool #导入进程池pool模块
2 pool=Pool(processes=3) 以此种方式实例化进程池 参数为同时放入的最大进程数
3 有两种调用函数 pool.apply(func=f,args=(i,)) 此为串行(一个进程结束后 另一进程继续)
pool.apply_async(func=f,args=(i,)) 此为并行(同时进行)
4 pool.apply_async(func=f,args=(i,),callback=g) 最后增加callback实现 在前函数func调用结束后再调用函数 会传入参数(参数是前函数的返回值)
5 进程池必须先close关闭 再调用join函数
-----若先调用join会报错
-----只调用close会结束主进程后退出 不会执行完其他进程
#queue和Queue区别(不同进程不可直接访问数据)
#queue是线程间数据共享 用在threading线程中直接使用访问
#Queue是进程间数据传递 用在multiprocessing多进程中(两份数据 经过pickle编码 实现数据一致)
day12学python 多进程+进程池的更多相关文章
- Python多进程-进程池
进程池可以减轻多进程对CPU的负担 把一个进程序列放入进程池,使用的时候,就会在进程池中取进程如果进程池中没有进程了,脚本就会等待,直到进程池中有可用进程 进程池生成的子线程,不能直接运行,要放入进程 ...
- Python 多进程进程池Queue进程通信
from multiprocessing import Pool,Manager import time def hanshu(queue,a): n = 1 while n<50: # pri ...
- python使用进程池多进程时,如何打印错误信息
一.说明 1.python进程池进行多进程运行时,如果有错误,该进程会直接跳过,并且不会打印错误信息. 2.如果需要了解到进程内的错误信息,此时就需要通过捕获异常来输出错误信息了. 二.具体方法如下: ...
- 网络编程并发 多进程 进程池,互斥锁,信号量,IO模型
进程:程序正在执行的过程,就是一个正在执行的任务,而负责执行任务的就是cpu 操作系统:操作系统就是一个协调.管理和控制计算机硬件资源和软件资源的控制程序. 操作系统的作用: 1:隐藏丑陋复杂的硬件接 ...
- python多进程并发进程池Pool
简介: python中的多进程主要使用到 multiprocessing 这个库.低版本python这个库在使用 multiprocessing.Manager().Queue时会出问题,建议大家升级 ...
- python 36 进程池、线程池
目录 1. 死锁与递归锁 2. 信号量Semaphor 3. GIL全局解释器锁:(Cpython) 4. IO.计算密集型对比 4.1 计算密集型: 4.2 IO密集型 5. GIL与Lock锁的区 ...
- python中进程池和回调函数
一.数据共享 1.进程间的通信应该尽量避免共享数据的方式 2.进程间的数据是独立的,可以借助队列或管道实现通信,二者都是基于消息传递的. 虽然进程间数据独立,但可以用过Manager实现数据共享,事实 ...
- python3多进程 进程池 协程并发
一.进程 我们电脑的应用程序,都是进程,进程是资源分配的单位.进程切换需要的资源最大,效率低. 进程之间相互独立 cpu密集的时候适合用多进程 #多 ...
- python之进程池与线程池
一.进程池与线程池介绍 池子使用来限制并发的任务数目,限制我们的计算机在一个自己可承受的范围内去并发地执行任务 当并发的任务数远远超过了计算机的承受能力时,即无法一次性开启过多的进程数或线程数时就应该 ...
随机推荐
- visjs使用小记-3.简单网络拓扑图的折叠与展开
项目需要对节点无限层级查看,大概捣鼓了下,以下demo代码可根据节点的层级顺序,通过节点双击简单实现节点的折叠与展开 <!doctype html> <html> <he ...
- node模块示例
来源于慕课网课程:http://www.imooc.com/video/6701 (视频) 模块的流程图如下: 做一个学校的模块示例 建一个学生的js studet.js function add(s ...
- 微信小程序相关三、css写小黄人
小程序上课第三天,因为今天院里有活动,所以没去上课,第四天上午又因为要召开入党转正大会,又耽误了一上午,下午去上课,要了资料.这两天讲了一些零零碎碎的东西,做的实例有上面这个小黄人 都是用的css,基 ...
- 在zookeeper集群的基础上,搭建伪solrCloud集群
伪集群的搭建:将solrCloud搭建到同一台机器上. 准备工作 1 将在window中部署的单机版solr上传到服务器(虚拟机)中 solr的简单部署:在tomcat中启动slor 的内容 这一次放 ...
- c++ 备忘录模式(memento)
备忘录模式:在不破坏封装性的前提下,捕获一个对象的内部状态,并在该对象之外保存这个状态.这样以后就可将该对象恢复到原先保存的状态[DP].举个简单的例子,我们玩游戏时都会保存进度,所保存的进度以文件的 ...
- Java-Excel文件读取
import java.io.File; import java.io.IOException; import org.testng.annotations.DataProvider; import ...
- 380. Insert Delete GetRandom O(1) 设计数据结构:在1的时间内插入、删除、产生随机数
[抄题]: Design a data structure that supports all following operations in average O(1) time. insert(va ...
- 以女朋友为例讲解 TCP/IP 三次握手与四次挥手
背景 和女朋友异地恋一年多,为了保持感情我提议每天晚上视频聊天一次. 从好上开始,到现在,一年多也算坚持下来了. 问题 有时候聊天的过程中,我的网络或者她的网络可能会不好,视频就会卡住,听不到对方的声 ...
- spring aop两种配置方式
基于注解的Spring AOP开发 简单案例快速入门 定义目标类接口和实现类 /** * Created by zejian on 2017/2/19.*/ //接口类 public interfac ...
- EXTI—外部中断事件控制器
外部中断概述 STM32F4的每个IO都可以作为外部中断输入. STM32F4的中断控制器支持22个外部中断/事件请求: 从上面可以看出,STM32F4供IO使用的中断线只有16个,但是STM32F4 ...