在写多进程的时候我发现一个问题,用Pool的apply_async(异步非阻塞)的时候传入实例函数会出错,或者说是子进程被跳过似的感觉(python2.7)。

但是用python3.7的话没有任何问题。

code:

# -*- coding:utf-8 -*-

import multiprocessing
import os
import time class A(object):
def __init__(self):
pass @staticmethod
def func(msg):
print(msg)
time.sleep(3)
print('Child Process id : %s, Parent Process id : %s' % (os.getpid(), os.getppid())) if __name__ == '__main__':
a = A()
p = multiprocessing.Pool(multiprocessing.cpu_count())
for i in range(5):
p.apply_async(a.func, args=(i,))
p.close()
p.join()
print('Parent process done!')

output(python2.7):

Parent process done!

output(python3.7):

0
1
2
3
Child Process id : 17284, Parent Process id : 22536
4
Child Process id : 4252, Parent Process id : 22536
Child Process id : 4944, Parent Process id : 22536
Child Process id : 11168, Parent Process id : 22536
Child Process id : 17284, Parent Process id : 22536
Parent process done!

python3.7起实例函数的多线程时需要注意一个地方,主进程中的变量不会受到子进程的改变而改变。

简而言之就是进程之间不能共享变量。

code:

# -*- coding:utf-8 -*-

from multiprocessing import Pool
import os
import time class AA(object):
def __init__(self):
print('init')
self.ab = 3 def task(self, n):
self.ab += n
print("进程(%s), 收到%s, +n=%s" % (os.getpid(), n, self.ab)) if __name__ == '__main__':
aa = AA()
p = Pool(4) for i in range(5):
t = p.apply_async(func=aa.task, args=(i,)) p.close()
p.join()
print("done ! 主进程!aa.ab=%s" % aa.ab)
print("主进程ID %s " % os.getpid())

output:

init
子进程(7544), 收到0, +n=0
子进程(7544), 收到1, +n=1
子进程(7544), 收到2, +n=2
子进程(7544), 收到3, +n=3
子进程(7544), 收到4, +n=4
done ! 主进程!aa.ab=3
主进程ID 17256

-----------------------------手动分割----------------------------------

不知道为什么所有子进程的id是一样的。在task方法中如果加个sleep语句的话,如time.sleep(3),

那么子进程的id就是不同的,难道是因为执行的太快??欢迎知道的大咖在评论区告知一下小弟,谢谢!

python 进程池Pool的apply_async方法以及一些需要注意的地方的更多相关文章

  1. python 进程池pool简单使用

    平常会经常用到多进程,可以用进程池pool来进行自动控制进程,下面介绍一下pool的简单使用. 需要主动是,在Windows上要想使用进程模块,就必须把有关进程的代码写if __name__ == ‘ ...

  2. python 进程池的简单使用方法

    回到python,用一下python的进程池. 记得之前面试的时候,面试官问:你知道进程池的默认参数吗? 我没有回答上来,后来才知道,是有默认参数的.下面就看看它的默认参数 1. 不加参数 from ...

  3. python 进程池Pool以及Queue的用法

    import os,time,random from multiprocessing import Pool def task(name): print('正在运行的任务:%s,PID:(%s)'%( ...

  4. Python进程池Pool

    ''' 进程池,启动一个进程就要克隆一份数据,假设父进程1G,那么启动进程开销很大 避免启动太多造成系统瘫痪,就有进程池,即同一时间允许的进程数量 ps:线程没有池,因为线程启动开销小,线程有类似信号 ...

  5. python 进程池pool

    进程池子 当你成千上万的业务需要创建成千上万的进程时,我们可以提前定义一个进程池 from multiprocessing import Pool p = Pool(10) #进程池创建方式,类似空任 ...

  6. python进程池pool的starmap的使用

    #!/usr/bin/env python3 from functools import partial from itertools import repeat from multiprocessi ...

  7. Python多进程库multiprocessing创建进程以及进程池Pool类的使用

    问题起因最近要将一个文本分割成好几个topic,每个topic设计一个regressor,各regressor是相互独立的,最后汇总所有topic的regressor得到总得预测结果.没错!类似bag ...

  8. 万里长征第一步:Python进程池的一点点小坑

    # -*- coding: utf- -*- """ Created on Thu Mar :: @author: lilide """ # ...

  9. [转]Python多进程并发操作中进程池Pool的应用

    Pool类 在使用Python进行系统管理时,特别是同时操作多个文件目录或者远程控制多台主机,并行操作可以节约大量的时间.如果操作的对象数目不大时,还可以直接使用Process类动态的生成多个进程,十 ...

随机推荐

  1. Bootstrap3基础 引入本地的bootstrap

      内容 参数   OS   Windows 10 x64   browser   Firefox 65.0.2   framework     Bootstrap 3.3.7   editor    ...

  2. 第一次跑eureka

  3. Python3学习笔记----生成器

    生成器的作用 生成器可以在循环的过程中推算出后续的元素,不必创建完整的list,从而节省大量空间. 生成器的创建 1.把一个列表生成式的 [ ] 改写为( ) # -*- coding: UTF-8 ...

  4. 如何查找redis使用的是哪个配置文件

    ps -ef|grep redis 得到了进程号 xxxx 然后 ls -l /proc/xxxx/cwd ps:可以推广到其他进程,只要有pid,就能找到配置文件

  5. 蚂蚁金服ATEC城市峰会上海举行,三大发布迎接金融科技2019

    2019年1月4日,蚂蚁金服ATEC城市峰会以“数字金融新原力(The New Force of Digital Finance)”为主题在上海举办.稠州银行副行长程杰.蚂蚁金服副总裁刘伟光.蚂蚁金服 ...

  6. 集训队日常训练20181201 C 1003 : 种类数

    时间限制(普通/Java):2000MS/6000MS     内存限制:65536KByte总提交: 8            测试通过:5 描述 一共有 n个数,第 i 个数是 xi ,其中xi  ...

  7. MySQL优化查询 5.7版本

    1. 变更参数 : query_cache_type 如果何配置查询缓存: query_cache_type 这个系统变量控制着查询缓存工能的开启的关闭.query_cache_type=0时表示关闭 ...

  8. js对象跟数组多层嵌套,检测没有此数据就添加有则不添加以及超过限制条件删除操作

    例如你需要这样格式的数据: [{"name":"合肥市","arrey":[{"lat":"31.862323 ...

  9. Eclipse中设置作者日期等Java注释模板

    Eclipse作为JavaIDE(Integrated Development Environment,集成开发环境),可以通过设置自动添加Javadoc注释信息,如@author 作者名.@vers ...

  10. 基于apache的虚拟主机

    apche支持3种类型虚拟主机: 基于IP的虚拟主机 基于端口的虚拟主机 基于主机名的虚拟主机 配置两个站点虚拟主机: /data/web1 /data/web2 一.基于IP虚拟主机 添加一个IP: ...