内容相关:

multiprocessing:

  • 进程的创建与运行
  • 进程常用相关函数

进程池:

  • 为什么要有进程池
  • 进程池的创建与运行:串行、并行
  • 回调函数

多进程multiprocessing:

python中的多进程需要使用multiprocessing模块

  • 多进程的创建与运行:

1.进程的创建:进程对象=multiprocessing.Process(target=函数名,args=(参数,))【补充,由于args是一个元组,单个参数时要加“,”】

2.进程的运行:  进程对象.start()

进程的join跟线程的join一样,意义是 “阻塞当前进程,直到调用join方法的那个进程执行完,再继续执行当前进程”

注:在windows中代码中必须使用这个,在Linux 中不需要加这个

import multiprocessing,time,os

def thread_run():
print(threading.current_thread()) def run(name):
time.sleep(1)
print("hello",name,"run in ",os.getpid(),"ppid:",os.getppid()) if __name__=='__main__':#必须加
obj=[]
for i in range(10):
p=multiprocessing.Process(target=run,args=('bob',))
obj.append(p)
p.start()
start_time=time.time()
for i in obj:
i.join()
print("run in main")
print("spend time :",time.time()-start_time)
  • 与多线程同样的:也可以通过继承multiprocessing的Process来创建进程

继承multiprocessing的Process类的类要主要做两件事:

1.如果初始化自己的变量,则先要调用父类的__init__()【如果不调用,则要自己填写相关的参数,麻烦!】然后做自己的初始化;如果不需要初始化自己的变量,那么不需要重写__init__,直接使用父类的__init__即可【已经继承了】

2.重写run函数

import multiprocessing

class myProcess(multiprocessing.Process):
def run(self):
print("run in myProcess") if __name__=="__main__":
p=myProcess()
p.start()
p.join()

进程常用相关函数:

  • os.getpid():获取当前进程号。

  • os.getppid():获取当前进程的父进程号。
  • 进程对象.is_alive():判断进程是否存活

  • 进程对象.terminate():结束进程【不建议的方法,现实少用】

进程池:

  • 为什么需要进程池

    • 如果要启动大量的子进程,可以用进程池的方式批量创建子进程,而进程池可以限制运行的进程的数量【有太多人想要游泳,而池子的容量决定了游泳的人的数量

    • Pool类可以提供指定数量的进程供用户调用,当有新的请求提交到Pool中时,如果池还没有满,就会创建一个新的进程来执行请求。如果进程池满了,请求就会告知先等待,直到池中有进程结束,才会创建新的进程来执行这些请求

  • 进程池的创建与使用:
    • 使用进程池需要导入:from multiprocessing import Pool

    • 创建进程池:进程池对象=Pool(容量)
    • 给进程池添加进程:
      • 串行:进程池对象.apply(func=函数名,args=(参数,))
from multiprocessing import Pool
import time,os def func1(i):
time.sleep(1)
print("run in process:",os.getpid()) if __name__=="__main__":
pool=Pool(5) start_time = time.time()
for i in range(10):
pool.apply(func=func1,args=(i,))#串行,这里是加一个运行完再加一个
pool.close()#先close再等待
pool.join()
print("main run done,spend_time:",time.time()-start_time)
      • 并行:进程池对象.apply_async(func=函数名,args=(参数,),callback=回调函数)
from multiprocessing import Pool
import time,os def func1(i):
time.sleep(1)
print("run in process:",os.getpid()) if __name__=="__main__":
pool=Pool(5) start_time = time.time()
for i in range(10):
pool.apply_async(func=func1,args=(i,))#并行 pool.close()#先close再等待
pool.join()
print("main run done,spend_time:",time.time()-start_time)#2.6,证明是并行
  • 回调函数的使用:在并行中,支持callback=回调函数,当一个进程执行完毕后会调用该回调函数,并且参数为func中的返回值

  • 注意:回调函数是在父进程中执行的!【当儿子执行完后,会在父亲里调用函数】
from multiprocessing import Pool
import time,os def func1(i):
time.sleep(1)
print("run in process:",os.getpid())
return "filename" def log(arg):##参数为进程创建中func的函数的返回值
print("log done :",arg) if __name__=="__main__":
pool=Pool(5) start_time = time.time()
for i in range(10):
pool.apply_async(func=func1,args=(i,),callback=log,)#log的参数是func1的返回值 pool.close()#先close再等待
pool.join()
print("main run done,spend_time:",time.time()-start_time)

  • 注:对Pool对象调用join()方法会等待所有子进程执行完毕,调用join()之前必须先调用close(),调用close()之后就不能继续添加新的Process了。【意思就是比如游泳池只卖1个小时的票,约定5点关门,那么4点多之后就不能再卖票了,就一直等着游泳池里面的人出来再关门,进程池的close是一个关门的意思,并不是结束的意思,它只是关上了进来的门,而里面的进程还可以运行】【进程池的join是等池子里的所有进程执行完毕,如果后面再进来进程的话就没完没了了,所以需要先关闭进入,再等待进程结束】

      • 小测试:


13、多进程multiprocessing、进程池的更多相关文章

  1. python学习笔记——multiprocessing 多进程组件 进程池Pool

    1 进程池Pool基本概述 在使用Python进行系统管理时,特别是同时操作多个文件目录或者远程控制多台主机,并行操作可以节约大量时间,如果操作的对象数目不大时,还可以直接适用Process类动态生成 ...

  2. python 多进程——使用进程池,多进程消费的数据)是一个队列的时候,他会自动去队列里依次取数据

    我的mac 4核,因此每次执行的时候同时开启4个线程处理: # coding: utf-8 import time from multiprocessing import Pool def long_ ...

  3. python多进程,以及进程池并发

    模拟多进程 #!/usr/bin/env python#-*- coding:utf-8 -*-import timefrom multiprocessing import Process def s ...

  4. Python 多进程和进程池

    一,前言 进程:是程序,资源集合,进程控制块组成,是最小的资源单位 特点:就对Python而言,可以实现真正的并行效果 缺点:进程切换很容易消耗cpu资源,进程之间的通信相对线程来说比较麻烦 线程:是 ...

  5. Python 3 并发编程多进程之进程池与回调函数

    Python 3 进程池与回调函数 一.进程池 在利用Python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间.多进程是实现并发的手段之一,需要注意 ...

  6. python多进程,进程池,数据共享,进程通信,分布式进程

    一.操作系统中相关进程的知识   Unix/Linux操作系统提供了一个fork()系统调用,它非常特殊.普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前 ...

  7. 2020.9.28 多进程multiprocess 进程池pool 子进程subprocess 进程间通信

    1.multiprocessing模块--跨平台版本的多进程模块 multiprocessing模块提供了一个Process类来代表一个进程对象,下面的例子演示了启动一个子进程并等待其结束: from ...

  8. 多进程-Pool进程池

    from multiprocessing import Pool import os,time def Foo(i): time.sleep(2) print("in process&quo ...

  9. Python_多进程_pool进程池

    多进程典型案例: 1.将子进程的进程名作为列表中的元素,在父进程中遍历(异步)执行 #coding: utf-8 from multiprocessing import Pool import os, ...

  10. 多进程 multiprocessing 模块进程并发Process;Pool ;Queue队列 、threading模块;

    multiprocessing 模块中的 Process类提供了跨平台的多进程功能,在windows和linux系统都可以使用. 1.首先要实例化一个类,传入要执行的函数. 实例名 = Process ...

随机推荐

  1. nginx代理tomcat做负载

    先对三台服务器统一环境. 对两台tomcat服务器的操作 查看jdk环境 # java -version openjdk version "1.8.0_65" OpenJDK Ru ...

  2. Ajax 的学习

    (一)基础知识和新的概念      1,AJAX 就是浏览器提供的一套 API,可以通过 JavaScript 调用,从而实现通过代码控制请求与响应.实现 网络编程.   2,AJAX(Asynchr ...

  3. C语言判断大小端的几种方法

    在操作系统中,经常会用到判断大小端,很多面试题中也会经常遇到,以前的时候没有总结过,这里总结一下. 以后用到了就直接可以用了. 所谓的大小端,大致的解释意思就是: [大端模式] CPU对操作数的存放方 ...

  4. kafka之consumer参数auto.offset.reset 0.10+

    https://blog.csdn.net/dingding_ting/article/details/84862776 https://blog.csdn.net/xianpanjia4616/ar ...

  5. 线程间通信wait和notify【All】简介

    1.通信就是指相互交换一些数据或者发送一些控制指令,比如一个线程给另一个暂停执行的线程发送一个恢复执行的指令. 可变共享变量是天然的通信媒介,也就是说一个线程如果想和另一个线程通信的话,可以修改某个在 ...

  6. 个人博客搭建( wordpress )

    最近同学买了一台虚机( centos7 系统 ).一个域名,让帮忙搭一个个人博客.本着简单快捷,个人博客采用 wordpress 来搭建.为了以后博客系统的迁移方便,使用 docker 来安装 wor ...

  7. 【sping揭秘】18、使用spring访问数据

    统一的数据访问异常层次体系 基于基本的jdbc封装dao层访问接口,封装不论是访问,csv文件,关系数据库(RDBMS),ladp都可以封装成一个个DAO对象来进行访问 抛出问题 可是对于我们忽略了一 ...

  8. 文本转音频(百度语音合成api)(python)(原创)

    应之前的一家小学教育培训机构的要求设计的一款 将文字转音频的程序.(注:后面应该是生成音频才对,没有改过来) 技术难点: ①语音合成,如果没有现在这么多的云服务-百度云语音合成,我估计这个程序会费很大 ...

  9. centos6.6 安装adb环境

    a.安装JDK环境 centos linux JAVA(openjdk)软件包名 1.java-1.7.0-openjdk (OpenJDK Runtime Environment) 2.java-1 ...

  10. Ubuntu 16.04安装sogou 拼音输入法

    一.更换为国内的软件源 安装搜狗输入法之前请先更换为国内的软件源,否则无法解决依赖问题.首先,用以下命令打开源列表: sudo gedit /etc/apt/sources.list #用文本编辑器打 ...