day12学python 多进程+进程池
多进程+进程池
多进程(不同进程不可直接访问数据)
引入(多进程套线程)
多进程 需导入multiprocessing模块
模板示例1
import threading,time,multiprocessing
def run(name):
time.sleep(2)
print('hi',name)
def running(n):
time.sleep(2)
print('ok',n,threading.get_ident())
t=threading.Thread(target=run,args=(n,))
t.start()
if __name__ == '__main__':
start=time.time()
t=[]
for i in range(10):
m=multiprocessing.Process(target=running,args=('cf%s'%i,))
m.start()
t.append(m)
for i in t:
i.join()
print(time.time()-start)
注意:
1threading.get_ident()得到当前线程号
2multiprocessing的实例化与函数用法大致与线程threading相同
3if __name__ == '__main__':类似于其它语言的main函数
模板示例2
import time,multiprocessing,os
def a(title):
print(title)
print('module_name',__name__)
print('父进程:',os.getppid())
print('当前进程',os.getpid())
print('\n')
def b(name):
print(name)
a('\033[31;1mhello it\'s me\033[0m')
if __name__=='__main__':
a('\033[32;1mhello it\'s me\033[0m')
m=multiprocessing.Process(target=b,args=('ok',))
m.start()
注意:
1 '\033[31;lm字符串\033[0m'颜色输入
2 此程序导入了os包 使用其中os.getpid()代表取到当前进程名 os.getppid()函数 代表取到当前进程的父进程名
======================================================================
1.Queue模块
queue和Queue区别:
①queue是线程间数据共享 用在threading线程中直接使用访问
②Queue是进程间数据传递 用在multiprocessing多进程中(两份数据 经过pickle编码 实现数据一致)
from multiprocessing import Process,Queue
def f(qq):
qq.put([1,'','sdad'])
if __name__=='__main__':
q=Queue()
p=Process(target=f,args=(q,))
p.start()
print(q.get())
p.join()
注意:
1from multiprocessing import Process,Queue 从多进程模块中导入Queue模块
2实例化 q=Queue() 后可作为参数传递入其他进程
3Queue(用于进程)与queue(用于线程)一样 put函数可塞入各种类型的数据
=========================================================================
2.Pipe模块
①用作进程间的数据传递(两份数据 经过pickle编码 实现数据一致)
示例
from multiprocessing import Process,Pipe
def f(n):
print(n.recv())
n.send("it's me")
if __name__=='__main__':
A,B=Pipe()
m=Process(target=f,args=(B,))
m.start()
A.send("hello")
print(A.recv())
注意:
1 Pipe模块也是从多进程模块中载入
2 A,B=Pipe() 实例化 Pipe后 得到两个值 分别代表要连接的两个进程
3 两进程间靠send与recv相互传递类似于socket用法
======================================================================
3.Manager模板
①利用manager实现数据的共享 做到多个进程修改同一个数据
from multiprocessing import Process,Manager
import os
def f(d,k):
d[os.getpid()]=os.getpid()
k.append(os.getpid())
print(k) if __name__=='__main__':
m=Manager()
d=m.dict() #生成一个字典可在多个进程间共享和传递
k=m.list() #生成一个列表可在多个进程间共享和传递
li=[]
for i in range(10):
p = Process(target=f, args=(d, k))
p.start()
li.append(p)
for n in li:
n.join() print(d)
print(k)
注意:
1 Manager亦是从多线程模板导入
2 m=Manager() 实例化得到一个返回值 以此可创建不同的字典.dict()与列表.list() [只有在Manager中才可对实例化对象创造字典与列表]
3 字典加数据 直接d[key]=value
进程池pool
from multiprocessing import Process,Pool #导入进程池模块
import time,os
def f(i):
time.sleep(2)
print(i)
return i+1000
def g(arg):
print("in end -%s"%os.getpid(),arg)
if __name__=='__main__':
pool=Pool(processes=3) #允许进程同时放入3个进程(其余线程等待)
print('主线程',os.getpid())
for i in range(10):
#pool.apply(func=f,args=(i,)) #apply调用串行函数
#pool.apply_async(func=f,args=(i,))#apply_async调用并行
pool.apply_async(func=f,args=(i,),callback=g) #最后增加callback实现 在前函数调用结束后再调用的函数 会传入参数(参数是前函数的返回值)
print('end ---')
pool.close() #进程池 必须要先调用close关闭 在调用join函数
pool.join()
注意:
1 from multiprocessing import Process,Pool #导入进程池pool模块
2 pool=Pool(processes=3) 以此种方式实例化进程池 参数为同时放入的最大进程数
3 有两种调用函数 pool.apply(func=f,args=(i,)) 此为串行(一个进程结束后 另一进程继续)
pool.apply_async(func=f,args=(i,)) 此为并行(同时进行)
4 pool.apply_async(func=f,args=(i,),callback=g) 最后增加callback实现 在前函数func调用结束后再调用函数 会传入参数(参数是前函数的返回值)
5 进程池必须先close关闭 再调用join函数
-----若先调用join会报错
-----只调用close会结束主进程后退出 不会执行完其他进程
#queue和Queue区别(不同进程不可直接访问数据)
#queue是线程间数据共享 用在threading线程中直接使用访问
#Queue是进程间数据传递 用在multiprocessing多进程中(两份数据 经过pickle编码 实现数据一致)
day12学python 多进程+进程池的更多相关文章
- Python多进程-进程池
进程池可以减轻多进程对CPU的负担 把一个进程序列放入进程池,使用的时候,就会在进程池中取进程如果进程池中没有进程了,脚本就会等待,直到进程池中有可用进程 进程池生成的子线程,不能直接运行,要放入进程 ...
- Python 多进程进程池Queue进程通信
from multiprocessing import Pool,Manager import time def hanshu(queue,a): n = 1 while n<50: # pri ...
- python使用进程池多进程时,如何打印错误信息
一.说明 1.python进程池进行多进程运行时,如果有错误,该进程会直接跳过,并且不会打印错误信息. 2.如果需要了解到进程内的错误信息,此时就需要通过捕获异常来输出错误信息了. 二.具体方法如下: ...
- 网络编程并发 多进程 进程池,互斥锁,信号量,IO模型
进程:程序正在执行的过程,就是一个正在执行的任务,而负责执行任务的就是cpu 操作系统:操作系统就是一个协调.管理和控制计算机硬件资源和软件资源的控制程序. 操作系统的作用: 1:隐藏丑陋复杂的硬件接 ...
- python多进程并发进程池Pool
简介: python中的多进程主要使用到 multiprocessing 这个库.低版本python这个库在使用 multiprocessing.Manager().Queue时会出问题,建议大家升级 ...
- python 36 进程池、线程池
目录 1. 死锁与递归锁 2. 信号量Semaphor 3. GIL全局解释器锁:(Cpython) 4. IO.计算密集型对比 4.1 计算密集型: 4.2 IO密集型 5. GIL与Lock锁的区 ...
- python中进程池和回调函数
一.数据共享 1.进程间的通信应该尽量避免共享数据的方式 2.进程间的数据是独立的,可以借助队列或管道实现通信,二者都是基于消息传递的. 虽然进程间数据独立,但可以用过Manager实现数据共享,事实 ...
- python3多进程 进程池 协程并发
一.进程 我们电脑的应用程序,都是进程,进程是资源分配的单位.进程切换需要的资源最大,效率低. 进程之间相互独立 cpu密集的时候适合用多进程 #多 ...
- python之进程池与线程池
一.进程池与线程池介绍 池子使用来限制并发的任务数目,限制我们的计算机在一个自己可承受的范围内去并发地执行任务 当并发的任务数远远超过了计算机的承受能力时,即无法一次性开启过多的进程数或线程数时就应该 ...
随机推荐
- 学习ios一段过程后的思考
现在回想起来,学习ios也有一段时间了,大概三个月不到吧,本来是搞linux驱动,刚开始来公司就我一个人负责驱动的东西,主要就是一些bug的解决,后来系统基本上稳定了,我就闲下来了,公司又有些移动医疗 ...
- Phong Shading
[Phong Shading] The most serious problem with Gouraud shading occurs when specular highlights are fo ...
- JAVA中Colllection的基本功能
Collection中的add方法: 代码: public static void main(String[] args) { // TODO Auto-generated method ...
- 解剖Nginx·模块开发篇(5)解读内置非默认模块 ngx_http_stub_status_module
1 Background ngx_http_stub_status_module 是一个 Nginx 的内置 HTTP 模块,该模块可以提供 Nginx 的状态信息.默认情况下这个模块是不被编译进来的 ...
- 各种mac软件地址
http://www.sdifenzhou.com/ 各种软件地址
- PHP获取当前文件路径
__FILE__ 是当前路径+文件名dirname(__FILE__)返回当前文件路径的路径部分 例如当前文件是 /home/data/demo/demo.php ,则 __FILE__ 得到的就是完 ...
- eclipse在线安装mybatis generator插件
转自:http://blog.csdn.net/u012283609/article/details/67640433 安装步骤: 打开eclipse菜单栏help–>Eclipse Marke ...
- 面向对象的JavaScript-005-Function.prototype.call()的3种作用
1. // call的3种作用 // 1.Using call to chain constructors for an object function Product(name, price) { ...
- Nginx 事件基本处理流程分析
说明:本文章重点关注事件处理模型.有兴趣的同学可以去http://tengine.taobao.org/book/查找更多资料.Tengine应该是淘宝基于Nginx自己做的修改.这个地址的文档还在不 ...
- 使用python进行汉语分词-乾颐堂
目前我常常使用的分词有结巴分词.NLPIR分词等等 最近是在使用结巴分词,稍微做一下推荐,还是蛮好用的. 一.结巴分词简介 利用结巴分词进行中文分词,基本实现原理有三: 基于Trie树结构实现高效的词 ...