python 进程池Pool的apply_async方法以及一些需要注意的地方
在写多进程的时候我发现一个问题,用Pool的apply_async(异步非阻塞)的时候传入实例函数会出错,或者说是子进程被跳过似的感觉(python2.7)。
但是用python3.7的话没有任何问题。
code:
# -*- coding:utf-8 -*- import multiprocessing
import os
import time class A(object):
def __init__(self):
pass @staticmethod
def func(msg):
print(msg)
time.sleep(3)
print('Child Process id : %s, Parent Process id : %s' % (os.getpid(), os.getppid())) if __name__ == '__main__':
a = A()
p = multiprocessing.Pool(multiprocessing.cpu_count())
for i in range(5):
p.apply_async(a.func, args=(i,))
p.close()
p.join()
print('Parent process done!')
output(python2.7):
Parent process done!
output(python3.7):
0
1
2
3
Child Process id : 17284, Parent Process id : 22536
4
Child Process id : 4252, Parent Process id : 22536
Child Process id : 4944, Parent Process id : 22536
Child Process id : 11168, Parent Process id : 22536
Child Process id : 17284, Parent Process id : 22536
Parent process done!
python3.7起实例函数的多线程时需要注意一个地方,主进程中的变量不会受到子进程的改变而改变。
简而言之就是进程之间不能共享变量。
code:
# -*- coding:utf-8 -*- from multiprocessing import Pool
import os
import time class AA(object):
def __init__(self):
print('init')
self.ab = 3 def task(self, n):
self.ab += n
print("进程(%s), 收到%s, +n=%s" % (os.getpid(), n, self.ab)) if __name__ == '__main__':
aa = AA()
p = Pool(4) for i in range(5):
t = p.apply_async(func=aa.task, args=(i,)) p.close()
p.join()
print("done ! 主进程!aa.ab=%s" % aa.ab)
print("主进程ID %s " % os.getpid())
output:
init
子进程(7544), 收到0, +n=0
子进程(7544), 收到1, +n=1
子进程(7544), 收到2, +n=2
子进程(7544), 收到3, +n=3
子进程(7544), 收到4, +n=4
done ! 主进程!aa.ab=3
主进程ID 17256
-----------------------------手动分割----------------------------------
不知道为什么所有子进程的id是一样的。在task方法中如果加个sleep语句的话,如time.sleep(3),
那么子进程的id就是不同的,难道是因为执行的太快??欢迎知道的大咖在评论区告知一下小弟,谢谢!
python 进程池Pool的apply_async方法以及一些需要注意的地方的更多相关文章
- python 进程池pool简单使用
平常会经常用到多进程,可以用进程池pool来进行自动控制进程,下面介绍一下pool的简单使用. 需要主动是,在Windows上要想使用进程模块,就必须把有关进程的代码写if __name__ == ‘ ...
- python 进程池的简单使用方法
回到python,用一下python的进程池. 记得之前面试的时候,面试官问:你知道进程池的默认参数吗? 我没有回答上来,后来才知道,是有默认参数的.下面就看看它的默认参数 1. 不加参数 from ...
- python 进程池Pool以及Queue的用法
import os,time,random from multiprocessing import Pool def task(name): print('正在运行的任务:%s,PID:(%s)'%( ...
- Python进程池Pool
''' 进程池,启动一个进程就要克隆一份数据,假设父进程1G,那么启动进程开销很大 避免启动太多造成系统瘫痪,就有进程池,即同一时间允许的进程数量 ps:线程没有池,因为线程启动开销小,线程有类似信号 ...
- python 进程池pool
进程池子 当你成千上万的业务需要创建成千上万的进程时,我们可以提前定义一个进程池 from multiprocessing import Pool p = Pool(10) #进程池创建方式,类似空任 ...
- python进程池pool的starmap的使用
#!/usr/bin/env python3 from functools import partial from itertools import repeat from multiprocessi ...
- Python多进程库multiprocessing创建进程以及进程池Pool类的使用
问题起因最近要将一个文本分割成好几个topic,每个topic设计一个regressor,各regressor是相互独立的,最后汇总所有topic的regressor得到总得预测结果.没错!类似bag ...
- 万里长征第一步:Python进程池的一点点小坑
# -*- coding: utf- -*- """ Created on Thu Mar :: @author: lilide """ # ...
- [转]Python多进程并发操作中进程池Pool的应用
Pool类 在使用Python进行系统管理时,特别是同时操作多个文件目录或者远程控制多台主机,并行操作可以节约大量的时间.如果操作的对象数目不大时,还可以直接使用Process类动态的生成多个进程,十 ...
随机推荐
- tcp的三次握手,四次挥手
为了更好的记住知识点,所以将最近学习的知识点记录下来: 最开始A和B都处于closed(关闭连接状态) 1.tcp的第一次握手:客户端A 向服务器端B 发送请求连接报文段(包含SYN=1,初始序号s ...
- pat1067 在离散数学中置换群思想上可用并查集和递归两种方法求解问题
1.递归求解 注:叙述时 节点其实就是数字0-N-1 !!!最好用一个数组记录0-N-1每个数字的位置 !!!递归计算一个置换群内部的节点数 分为两种情况 累加M,M即是一个置换群所有数字在正确位置 ...
- Java构造器与构建器的使用
我们在平常类的构建过程中,可能会面临很多问题,可扩张性.安全性等等.想象一下,这样一个场景,我们现在要创建一个类,其中有6个属性,其中又有4个属性的值是不太确定的(可能某个对象就不需要其中的某个值), ...
- shell编程(五)之函数
function:函数 函数只有被调用才会执行如何调用:给定函数名 函数名出现的地方,会被自动替换为函数代码 函数的生命周期:被调用时创建,返回时终止return命令返回自定义状态结果 0:成功 1- ...
- Ubuntu14.04+Dell 7060安装无线/有线网络驱动
7060的有线网卡I219-LM,可以用e1000e的驱动 1.sudo mkdir -p /usr/local/src/e1000e (在/usr/local/src/中新建文件夹e1000e) s ...
- Java核心知识盘点(三)- 框架篇-Spring
Spring的两大核心特性:IOC.AOP IOC:控制反转.依赖注入,它并不是一种技术实现,而是一种思想.把一些相互依赖对象的创建.协调工作交给Spring容器来管理,每个对象只需要关注其自身的业务 ...
- node中间层实现文件上传
一般情况下,前端的文件上传一般都是通过form表单的(<input type="file" />)来完成文件的上传,如果使用node中间层完成跨域,文件的上传就需要在n ...
- Kotlin 枚举类
枚举类最基本的用法是实现一个类型安全的枚举. 枚举常量用逗号分隔,每个枚举常量都是一个对象. enum class Color{ RED,BLACK,BLUE,GREEN,WHITE } 枚举初始化 ...
- java.lang.ClassNotFoundException: javax.servlet.SessionCookieConfig
使用 MockMvc 模拟进行单元测试时出现以下的错误,网上看到的资料应该是说Spring4.0需要servlet3.0的支持? 在pom.xml更改servlet的版本依赖后即可
- 理解R语言gdistance包下的transition函数
library(raster)library(gdistance)r <- raster(nrows=3, ncols=4, xmn=0, xmx=7, ymn=0, ymx=6, crs=&q ...