1、进程池

  当有成千上万个任务需要被执行的时候,有了进程池我们就不必去创建大量的进程. 首先,创建进程需要消耗时间,销毁进程(空间,变量,文件信息等等的内容)也需要消耗时间, 第二即便开启了成千上万的进程,操作系统也不能让他们同时执行,维护一个很大的进程列表的同时,调度的时候,还需要进行频繁切换并且记录每个进程的执行节点, 这样反而会影响程序的效率。

  创建一个有固定数量的进程池, 执行任务的时候就拿池中的进程来处理任务,等到处理完毕,进程并不关闭,而是将进程再放回进程池中继续等待任务, 可以减少创建进程的开支. 这样不会增加操作系统的调度难度,还节省了开闭进程的时间,也一定程度上能够实现并发效果. 

  使用进程池来实现并发效果, 减少创建进程的开支, 提高效率.

map()方法: 异步调用进程, map自带join()的功能.

 import  time
from multiprocessing import Pool,Process def func1(i):
numb = 0
for j in range(5):
numb += i if __name__ == '__main__': p_lst = []
s_time = time.time()
for i in range(500):
p = Process(target=func1,args=(i,))
p.start()
p_lst.append(p)
[pp.join() for pp in p_lst]
e_time = time.time()
dis_time = e_time - s_time
print("非进程池",dis_time) # 9.458896160125732 处理时间 # --------------------------------------------------------------------------------- pool = Pool(4)
ps_time = time.time()
pool.map(func1, range(100)) # 把可迭代对象的每一个元素都作为参数扔给func1
pe_time = time.time()
dis_time = pe_time - ps_time
print("进程池",dis_time) # 0.07204794883728027 处理时间

进程池map方法

apply()方法: 提供一个同步串行的方法.

 import  time
from multiprocessing import Pool,Process def func1(i):
numb = 0
for j in range(5):
numb += i
time.sleep(0.5)
return numb if __name__ == '__main__': pool = Pool(4) for i in range(10):
print(i)
ret = pool.apply(func1, args=(i,)) # apply提供的是一个同步串行的执行方法.
# 进程1 执行完任务后, ret 获取到数据, 第二个进程才开始执行任务. print(ret)

进程池apply同步调用

apply_async()方法: 进程池异步调用方法.

  注意: 在使用进程池异步调用时, 主进程结束时, 所有的子进程也跟着一起结束了(后台全部关闭), 所以主程序必须得先 join() , 等待子进程结束.

  使用apply_async()异步调用时, 主程序必须使用 join() 方法, 等待进程池内的任务都处理完, 才能用get()获取结果.

  使用map()异步调用时, 不用写 join() 方法, map()会自动 join().

 import  time
from multiprocessing import Pool,Process def func1(i):
numb = 0
for j in range(5):
numb += i
time.sleep(1)
return numb if __name__ == '__main__': pool = Pool(4)
ret_lst = []
for i in range(10): # 相当于发布10个任务, 4个进程都过来拿任务
print(i)
res = pool.apply_async(func1,args=(i,)) # 各进程都是异步状态
ret_lst.append(res) # 这一步, 是把所有的res的执行对象都先放进列表里(包括那些没有结果的对象,
# 即使后面6个任务都没有执行,但是都是先把执行对象放进列表里) pool.close() # 不是关闭进程池, 而是结束进程池接受任务, 确保没有任务再传过来
pool.join() # 感知进程池中的任务已经结束, 只有进程池结束接收任务, 才能感知进程池中的任务结束, 所以必须加 close(). for res in ret_lst:
print(res.get()) # 前4个有结果, 用get()方法获取到结果后, 一直阻塞在后六个处,直到结果传进来执行对象中

apply_async异步调用

2、回调函数

  回调函数在主进程中被执行的, 子进程执行完相应的代码后, 返回主进程去执行回调函数, 它帮我们省略了主进程自身调用函数的这一步骤.

 from multiprocessing import Process,Pool

 def func1(n):
return n * n def call_back_func(ret): # 这里的ret 传的是func1的结果.
with open("回调内容","w") as f:
f.write(str(ret)) if __name__ == '__main__': pool = Pool(4)
ret = pool.apply_async(func1,args=(25,),callback=call_back_func)
# callback后面跟回调函数, 即把func1的结果传进callback回调函数中去执行,因为调用者拿不到
# 回调函数的返回值, 所以只能将返回值写进文件或者数据库里. print(ret.get())

进程池回调函数

3、进程间的通信  

  多进程共同去处理共享数据的时候,就和我们多进程同时去操作一个文件中的数据是一样的,不加锁就会出现错误的结果,进程不安全的,所以也需要加锁

  数据共享----Manager模块

    给Manager对象里面传入你要共享的数据, 然后操作数据时一样要上锁、解锁.

 from multiprocessing import Process,Lock,Manager

 def func1(dic,loc):
with loc: # with loc 做了两件事: loc.acquire() 和 loc.release(), 自动上锁和解锁
dic["numb"] -= 1 if __name__ == '__main__':
m = Manager()
loc = Lock()
dic = m.dict({"numb": 100})
p_lst = []
for i in range(100):
p = Process(target=func1, args=(dic,loc))
p.start()
p_lst.append(p)
[pp.join() for pp in p_lst]
print(">>>>>>",dic["numb"])

Manager数据共享

  

python摸爬滚打之day032 管道 数据共享 进程池的更多相关文章

  1. 进程同步控制(锁,信号量,事件), 进程通讯(队列和管道,生产者消费者模型) 数据共享(进程池和mutiprocess.Pool模块)

    参考博客 https://www.cnblogs.com/xiao987334176/p/9025072.html#autoid-1-1-0 进程同步(multiprocess.Lock.Semaph ...

  2. Python开发基础-Day32 进程间通信、进程池、协程

    进程间通信 进程彼此之间互相隔离,要实现进程间通信(IPC),multiprocessing模块支持两种形式:队列和管道,这两种方式都是使用消息传递的. 进程队列queue 不同于线程queue,进程 ...

  3. day32 通道 数据共享 进程池

    1.管道 格式: conn1,conn2 = Pipe() 管道的两端可以进行全双工通信   如图 进程2创建了管道,它就拥有管道两端的信息,每个端点都能收发信息,它把端点信息传给进程1和进程3 ,它 ...

  4. python学习笔记——multiprocessing 多进程组件 进程池Pool

    1 进程池Pool基本概述 在使用Python进行系统管理时,特别是同时操作多个文件目录或者远程控制多台主机,并行操作可以节约大量时间,如果操作的对象数目不大时,还可以直接适用Process类动态生成 ...

  5. Python 3 并发编程多进程之进程池与回调函数

    Python 3 进程池与回调函数 一.进程池 在利用Python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间.多进程是实现并发的手段之一,需要注意 ...

  6. day 32 管道,信号量,进程池,线程的创建

    1.管道(了解) Pipe(): 在进程之间建立一条通道,并返回元组(conn1,conn2),其中conn1,conn2表示管道两端的连接对象,强调一点:必须在产生Process对象之前产生管道. ...

  7. Python Django 协程报错,进程池、线程池与异步调用、回调机制

    一.问题描述 在Django视图函数中,导入 gevent 模块 import gevent from gevent import monkey; monkey.patch_all() from ge ...

  8. python 之并发编程更新版进程池与进程池比较与回调函数

    一.更新版进程池与进程池比较 from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor import os, tim ...

  9. 在python中使用concurrent.futures实现进程池和线程池

    #!/usr/bin/env python # -*- coding: utf-8 -*- import concurrent.futures import time number_list = [1 ...

随机推荐

  1. [加密解密]CryptoAPI简介

    CryptoAPI概述 Windows CryptoAPI是Microsoft 公司提出的安全加密应用服务框架,也是PKI推荐使用的加密 API.它提供了在Win32 环境下使用认证.编码.加密和签名 ...

  2. OpenCV掩模mask的原理和作用

    一.什么是掩模mask OpenCV中很多函数都带有一个mask参数,mask被称为掩模.图像掩模一般用来对处理的图像(全部或者局部)进行遮挡,来控制图像处理的区域或处理过程. 二.掩模原理 掩模一般 ...

  3. 【算法】【python实现】二叉树深度、广度优先遍历

    二叉树的遍历,分为深度优先遍历,以及广度优先遍历. 在深度优先遍历中,具体分为如下三种: 先序遍历:先访问根节点,再遍历左子树,再遍历右子树: 中序遍历:先遍历左子树,再访问根节点,再遍历右子树: 后 ...

  4. JS函数可以再添加属性(包括方法)

    1 前言 JS函数可以再添加属性(包括方法),这个有点有趣,记录一下. 2 代码 <!DOCTYPE html> <html> <head> <title&g ...

  5. 动态加载机Servlet容器加载器

    动态加载是Servlet 3.0中的新特性,它可以实现在 不重启Web应用的情况下加载新的Web对象(Servlet. Filter.Listener).Servlet容器加载器也是Servlet 3 ...

  6. hdu3709 数位dp

    枚举fix所在的位置loc即可,然后数位dp即可 这题要注意一种特殊情况,就是所有位都是0的时候对于每个fix都是成立的 /* dp[i][j][k]表示前i位确定了平衡点在第j位,前i位和为k fi ...

  7. Javascript实现的数组降维——维度不同,怎么谈恋爱(修订版)

    数组的元素可能是数组,这样一层层嵌套,可能得到一个嵌套很深的数组,数组降维要做的事就是把嵌套很深的数组展开,一般最后得到一个一维数组,其中的元素都是非数组元素,比如数组[1, [2, 3, [4, 5 ...

  8. 【转】win10哪个版本最好用,推荐win10企业版LTSC

    https://msdn.itellyou.cn/ win10企业版LTSC又被称为win10企业版2019长期服务版本,这个版本小编认为是目前最好用的win10版本,在win10企业版2016长期服 ...

  9. javascript模板引擎template.js使用

    到GitHub上下载template.js库.引入到页面 以type="text/html" 这样指定javascript类型的是一种javascript模板渲染方法,在实际项目中 ...

  10. 咸鱼入门到放弃7--jsp<二>jsp常用标签

    一.JSP标签介绍 JSP标签也称之为Jsp Action(JSP动作)元素,它用于在Jsp页面中提供业务逻辑功能,避免在JSP页面中直接编写java代码,造成jsp页面难以维护. 二.JSP常用标签 ...