1、

https://blog.csdn.net/wonengguwozai/article/details/80325745

今天项目中涉及到了使用多进程处理数据,在廖雪峰的python教程上学习了一下多进程相关,其中涉及到了start和join函数,解释的不是很清晰,在网上找了博客,敲了下博客提供的代码,瞬间理解了。感谢原文:https://blog.csdn.net/HeatDeath/article/details/72842899

由于Python是跨平台的,自然也应该提供一个跨平台的多进程支持。

multiprocessing模块就是跨平台版本的多进程模块。

multiprocessing模块提供了一个Process类来代表一个进程对象。

创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例

start()方法启动,这样创建进程比fork()还要简单。

join()方法可以等待子进程结束后再继续往下运行,通常用于进程间的同步。(进一步地解释,哪个子进程调用了join方法,主进程就要等该子进程执行完后才能继续向下执行,具体可见下边的分析图)

使用 join()

  1.  
    # -*- coding:utf-8 -*-
  2.  
    from multiprocessing import Process
  3.  
    import os
  4.  
    import time
  5.  
     
  6.  
     
  7.  
    def run_proc(name):
  8.  
    time.sleep(10)
  9.  
    print('Run child process %s (%s)...' % (name, os.getpid()))
  10.  
     
  11.  
     
  12.  
    def hello_world():
  13.  
    # time.sleep(5)
  14.  
    time.sleep(20)
  15.  
    print('hello world!')
  16.  
    print('Run child process (%s)...' % (os.getpid()))
  17.  
     
  18.  
     
  19.  
    if __name__ == '__main__':
  20.  
    print ('Parent process %s.' % os.getpid())
  21.  
    p1 = Process(target=run_proc, args=('test',))
  22.  
    p2 = Process(target=hello_world)
  23.  
    print 'Process will start.'
  24.  
    p1.start()
  25.  
    p2.start()
  26.  
    p1.join()
  27.  
    print('Process end.')

输出:

  1.  
    Parent process 11860.
  2.  
    Process will start.
  3.  
    Run child process test (11232)...
  4.  
    Process end.
  5.  
    hello world!
  6.  
    Run child process (2288)...
  7.  
     
  8.  
    Process finished with exit code 0

子进程的开始时间

  1.  
    # -*- coding:utf-8 -*-
  2.  
    from multiprocessing import Process
  3.  
    import os
  4.  
    import time
  5.  
     
  6.  
     
  7.  
    def run_proc(name):
  8.  
    print(time.time())
  9.  
     
  10.  
    time.sleep(10)
  11.  
    print('Run child process %s (%s)...' % (name, os.getpid()))
  12.  
     
  13.  
     
  14.  
    def hello_world():
  15.  
    print(time.time())
  16.  
     
  17.  
    # time.sleep(5)
  18.  
    time.sleep(20)
  19.  
    print('hello world!')
  20.  
    print('Run child process (%s)...' % (os.getpid()))
  21.  
     
  22.  
     
  23.  
    if __name__ == '__main__':
  24.  
    print ('Parent process %s.' % os.getpid())
  25.  
    p1 = Process(target=run_proc, args=('test',))
  26.  
    p2 = Process(target=hello_world)
  27.  
    print 'Process will start.'
  28.  
    p1.start()
  29.  
    p2.start()
  30.  
    p1.join()
  31.  
    print('Process end.')

输出:

  1.  
    Parent process 7220.
  2.  
    Process will start.
  3.  
    1496374096.56
  4.  
    1496374096.56
  5.  
    Run child process test (2196)...
  6.  
    Process end.
  7.  
    hello world!
  8.  
    Run child process (832)...
  9.  
     
  10.  
    Process finished with exit code 0

可以认为 子进程 p1 与 子进程 p2 同时开始


去掉 join(),使用 map

  1.  
    # -*- coding:utf-8 -*-
  2.  
    from multiprocessing import Process
  3.  
    import os
  4.  
    import time
  5.  
     
  6.  
     
  7.  
    def run_proc(name):
  8.  
    print(time.time())
  9.  
     
  10.  
    time.sleep(10)
  11.  
    print('Run child process %s (%s)...' % (name, os.getpid()))
  12.  
     
  13.  
     
  14.  
    def hello_world():
  15.  
    print(time.time())
  16.  
     
  17.  
    # time.sleep(5)
  18.  
    time.sleep(20)
  19.  
    print('hello world!')
  20.  
    print('Run child process (%s)...' % (os.getpid()))
  21.  
     
  22.  
     
  23.  
    if __name__ == '__main__':
  24.  
    print ('Parent process %s.' % os.getpid())
  25.  
    p1 = Process(target=run_proc, args=('test',))
  26.  
    p2 = Process(target=hello_world)
  27.  
    print 'Process will start.'
  28.  
    # p1.start()
  29.  
    # p2.start()
  30.  
    # p1.join()
  31.  
    p_list = (p1, p2)
  32.  
    map(Process.start, p_list)
  33.  
    print('Process end.')

输出:

  1.  
    Parent process 8580.
  2.  
    Process will start.
  3.  
    Process end.
  4.  
    1496374397.24
  5.  
    1496374397.24
  6.  
    Run child process test (7148)...
  7.  
    hello world!
  8.  
    Run child process (8348)...
  9.  
     
  10.  
    Process finished with exit code 0

2.

https://blog.csdn.net/yagamil/article/details/51284851

threads=[]
f=[fast,slow]
l=len(f)
for i in range(l):
t=MyThread(f[i],(),str(i))
threads.append(t)

for i in range(l):
threads[i].start()

for i in range(l):
#pass
threads[i].join()
print threads[i].getName()
print "Done on main"
exit()

join的主要功能是阻塞线程,也就是使用了join后,后面的语句需要等当前进程完成之后才能 执行。

那么看看下面的例子

class MyThread(threading.Thread):
def __init__(self,fun,arg,name=""):
threading.Thread.__init__(self)
self.fun=fun
self.arg=arg
self.name=name
#self.result

def run(self):
self.result=apply(self.fun,self.arg)

def getName(self):
return self.name

def getResult(self):
return self.result

上面是一个多线程的类。 待会用来调用的。
下面是main函数

def fast():
print "in fast"
sleep(15)
print "done in fast"

def slow():
print "in slow"
sleep(10)
print "done in slow"

threads=[]
f=[fast,slow]
l=len(f)
for i in range(l):
t=MyThread(f[i],(),str(i))
threads.append(t)

for i in range(l):
threads[i].start()

for i in range(l):
#pass
threads[i].join()
print threads[i].getName()
print "Done on main"
exit()

运行之后
输出的结果是

in fast
in slow
done in slow
done in fast
0
1
Done on main

看到了吗?

运行到thread[i].join() 这一行, 下一句没有马上被执行,需要等到done in fast 完成之后才执行, 而为什么done in slow却提前被执行了呢?

因为上面执行了threads[i].start() 后 两个线程已经同时开启了,但是由于在slow线程里只sleep了10秒,而fast线程sleep了15秒,所以会先打印done in slow。

print threads[i].getName()

而上面这句则需要等线程1执行之后才会执行,

等执行完了上面那句之后,才会执行线程2的 join(), 由于此时的线程已经早已执行完毕,所以这句也没有起到阻塞作用,故会马上执行 下面只一句

print threads[i].getName()
---------------------
作者:重复的生活
来源:CSDN
原文:https://blog.csdn.net/yagamil/article/details/51284851
版权声明:本文为博主原创文章,转载请附上博文链接!

转 Python 多进程multiprocessing.Process之satrt()和join()的更多相关文章

  1. python多进程——multiprocessing.Process

    简介 multiprocessing是一个使用类似于threading模块的API支持生成进程的包.该multiprocessing软件包提供本地和远程并发.因此,该multiprocessing模块 ...

  2. Python 多进程 multiprocessing.Pool类详解

    Python 多进程 multiprocessing.Pool类详解 https://blog.csdn.net/SeeTheWorld518/article/details/49639651

  3. Python多进程multiprocessing使用示例

    mutilprocess简介 像线程一样管理进程,这个是mutilprocess的核心,他与threading很是相像,对多核CPU的利用率会比threading好的多. import multipr ...

  4. Python 多进程multiprocessing

    一.python多线程其实在底层来说只是单线程,因此python多线程也称为假线程,之所以用多线程的意义是因为线程不停的切换这样比串行还是要快很多.python多线程中只要涉及到io或者sleep就会 ...

  5. python ---多进程 Multiprocessing

    和 threading 的比较 多进程 Multiprocessing 和多线程 threading 类似, 他们都是在 python 中用来并行运算的. 不过既然有了 threading, 为什么 ...

  6. python多进程-----multiprocessing包

    multiprocessing并非是python的一个模块,而是python中多进程管理的一个包,在学习的时候可以与threading这个模块作类比,正如我们在上一篇转载的文章中所提,python的多 ...

  7. python多进程multiprocessing Pool相关问题

    python多进程想必大部分人都用到过,可以充分利用多核CPU让代码效率更高效. 我们看看multiprocessing.pool.Pool.map的官方用法 map(func, iterable[, ...

  8. 操作系统OS,Python - 多进程(multiprocessing)、多线程(multithreading)

    多进程(multiprocessing) 参考: https://docs.python.org/3.6/library/multiprocessing.html 1. 多进程概念 multiproc ...

  9. python多进程(multiprocessing)

    最近有个小课题,需要用到双进程,翻了些资料,还算圆满完成任务.记录一下~ 1.简单地双进程启动 同时的调用print1()和print2()两个打印函数,代码如下: #/usr/bin/python ...

随机推荐

  1. Spring2 看1

    Spring部分 1.谈谈你对spring IOC和DI的理解,它们有什么区别? IoC Inverse of Control 反转控制的概念,就是将原本在程序中手动创建UserService对象的控 ...

  2. JS中的引用类型

    JS的数据类型可以分为两类:一类是原始类型(比如数字.布尔值.字符串.undefined.null),另外就是对象类型.我们通常将对象类型称为引用类型.对象值都是引用.举个例子来说明,下如下的代码: ...

  3. JavaPersistenceWithMyBatis3笔记-第2章Bootstrapping MyBatis-001XMl形式和Java形式

    一. 1.Mapper 同上 <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper ...

  4. C语言访问网页

    一.理论 http://www.zixue7.com/thread-3860-1-1.html

  5. Java进程与多线程+线程中的join、yield、wait等方法+synchronized同步锁使用

    首先了解什么是多线程与进程 进程:是一个执行过程,动态的概念 --->会分配内存线程:是进程的一个单元,线程是系统最小的执行单元 详解: http://blog.csdn.net/luoweif ...

  6. 100078D Domestic Networks

    传送门 题目大意 有两种染料,给定它们的单价和数量,每染色一米需耗费一个单位的染料,一条边只能用一种燃料,给你一张图,要求你将其中的一些边染色使得在满足图联通的情况下花费最小并输出方案. 分析 首先, ...

  7. 数组谓词查询法 NSPredicate

    NSPredicate:谓词 字面翻译是这个意思,但是我觉得谓词这个词太难以理解了 NSPredicate的具体用途应该还是过滤,类似于过滤条件之类的,相当于一个主语的谓语,所以说会是谓词这个名字.( ...

  8. 一道面试题关于js中添加动态属性

    js中数据类型包含基本数据类型和引用类型,基本类型包括:string.null.undefined.number.boolean.引用类型即是对象比如:array  .function以及自定义对象等 ...

  9. linux select代码框架

    #define PORT 1234 #define BACKLOG 5 #define MAXDATASIZE 1000 typedef struct CLIENT{ int fd; char* na ...

  10. [JLOI2010]冠军调查 BZOJ2768 最小割

    题目描述 一年一度的欧洲足球冠军联赛已经进入了淘汰赛阶段.随着卫冕冠军巴萨罗那的淘汰,英超劲旅切尔西成为了头号热门. 新浪体育最近在吉林教育学院进行了一次大规模的调查,调查的内容就是关于切尔西能否在今 ...