Python编程进阶,Python如何实现多进程?
进程part1
很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!
QQ群:101677771
一、进程介绍
进程就是正在运行的程序,它是操作系统中,资源分配的最小单位
资源分配:分配的是cpu和内存等物理资源,进程号是进程的唯一标识
获取当前进程–子进程
异步和同步:
1、获取子父进程
os.getpid()
获取当前进程的父进程
os.getppid()
为解决Windows系统和Linux系统的兼容问题,下面这句话必须加上:
__name__ == “__main__”
def func():
res1=os.getpid()
res2=os.getppid()
print(res1,res2)
#创建子进程,返回进程对象,执行func这个任务
if __name__ == "__main__":
P=Process(target=func)
P.start()
运行结果:
2、进程的基本使用
引用multiprocessing模块来创建以一个进程:
from multiprocessing import Process
import os
def func():
print("子进程为>>{},父进程为>>{}".format(os.getpid(),os.getppid()))
#为解决系统兼容性问题,必须加下面这句话
if __name__ == "__main__":
#创建子进程,返回进程对象,执行func这个任务
p=Process(target=func)
#调用子进程
p.start()
运行结果:
2、创建带有参数的进程
在进程对象的创建处使用args进行传参
from multiprocessing import Process
import os
def func(m,n):
print("子进程为>>{},父进程为>>{}".format(m,n))
#为解决系统兼容性问题,必须加下面这句话
if __name__ == "__main__":
#创建子进程,返回进程对象,执行func这个任务
p=Process(target=func,args=(os.getpid(),os.getppid()))
#调用子进程
p.start()
运行结果:
3、进程之间的数据彼此隔离
from multiprocessing import Process
import time
count=0
def func():
global count
count += 1
print("count:{}".format(count))
if __name__ == "__main__":
p=Process(target=func)
p.start()
time.sleep(1)
print(count)
运行结果:
如图,子进程对count的操作没有影响到主进程
4、多个进程之间的异步并发
多个进程之间是异步并发的程序,因为cpu的调度策略问题,不一定哪个程序先执行,哪个程序后执行
整体而言,主进程比子进程创建的速度要快,cpu遇到阻塞会立即切换任务,等到阻塞态的任务变成了就绪态,cpu再回来执行
主程序会默认等到所有子程序执行结束之后,再统一关闭程序,释放资源
若不等待,有可能在后台存有多个未执行结束的子进程,会变成僵尸进程,不停的占用cpu和内存。
import time,random,os
from multiprocessing import Process
def func(n):
time.sleep(random.randrange(3))
print("{},子进程:{},父进程:{}".format(n,os.getpid(),os.getppid()))
if __name__ == "__main__":
for i in range(10):
p=Process(target=func,args=(i,))
p.start()
print("主程序结束了")
print(os.getpid())
运行结果:
如图,因为多个进程之间是异步并发的,所以会产生以上结果
二、join
等待当前子进程全部执行完毕后,主进程再进行执行
1、基本语法
import os,time
from multiprocessing import Process
def func1():
print("子进程:{}".format(os.getpid()))
def func2():
time.sleep(0.5)
print("父进程:{}".format(os.getppid()))
if __name__ == "__main__":
p1=Process(target=func1)
p2=Process(target=func2)
p1.start()
p2.start()
#引入join,所有子进程执行完成后执行主进程
p1.join()
p2.join()
print("主进程执行完毕")
运行结果:
2、使用自定义类的方法创建进程
自定义进程类的要求:
- 必须继承Process这个父类
- 所有进程执行任务的逻辑必须写在run方法里面
基本写法:
import os,time
from multiprocessing import Process
class MyProcess(Process):
def run(self):
print("子进程:{},父进程:{}".format(os.getpid(),os.getppid()))
if __name__ == "__main__":
p=MyProcess()
p.start()
p.join()
print("主进程执行结束")
带有参数自定义类的方法:
import os,time
from multiprocessing import Process
class MyProcess(Process):
def __init__(self,arg):
self.arg=arg
super().__init__()
def run(self):
print(self.arg)
print("子进程:{} 主进程:{}".format(os.getpid(),os.getppid()))
if __name__=="__main__":
p=MyProcess(arg="我是传参")
p.start()
p.join()
print("主进程执行结束")
运行结果:
三、守护进程
守护进程守护的是主进程,如果主进程中的所有代码执行完毕了,当前这个守护进程会被立刻杀死,立即终止。
语法:
进程.daemon = True 设置当前这个进程为守护进程
必须在start()调用进程之前进行设置
默认:主进程会等待所有子进程执行结束后,再关闭程序,释放资源
from multiprocessing import Process
import time
def func1():
while True:
time.sleep(0.5)
print("我是守护进程!")
def func2():
time.sleep(3)
print("我是子进程!")
if __name__ == "__main__":
p1=Process(target=func1)
p2=Process(target=func2)
p1.daemon=True
p1.start()
p2.start()
time.sleep(2)
print("主进程执行")
运行结果:
案例:
监控报活: 利用守护进程特性,监控日志分析服务器是否存活
from multiprocessing import Process
import time
def alive():
while True:
time.sleep(0.5)
print("P1:服务器存活...")
def func():
count=0
while True:
try:
time.sleep(0.5)
print("P2:服务器日志分析中...")
time.sleep(1)
count += 1
if count == 3:
raise RuntimeError
except:
break
if __name__ == "__main__":
p1=Process(target=alive)
p2=Process(target=func)
p1.daemon=True
p1.start()
p2.start()
p2.join()
print("服务器出现异常!")
运行结果:
Python编程进阶,Python如何实现多进程?的更多相关文章
- python编程(python开发的三种运行模式)【转】
转自:http://blog.csdn.net/feixiaoxing/article/details/53980886 版权声明:本文为博主原创文章,未经博主允许不得转载. 目录(?)[-] 单循环 ...
- Python编程系列---Python中装饰器的几种形式及万能装饰器
根据函数是否传参 是否有返回值 ,可以分析出装饰器的四种形式: 形式一:无参无返回值 def outer(func): def wrapper(): print("装饰器功能1" ...
- 年薪20万Python工程师进阶(7):Python资源大全,让你相见恨晚的Python库
我是 环境管理 管理 Python 版本和环境的工具 pyenv – 简单的 Python 版本管理工具. Vex – 可以在虚拟环境中执行命令. virtualenv – 创建独立 Python 环 ...
- Python编程:从入门到实践(选记)
本文参考< Python 编程:从入门到实践>一书,作者: [ 美 ] Eric Matthes 第1章 起步 1.1 搭建python环境 在不同的操作系统中, Python 存 ...
- Python学习手册之 Python 之禅、Python 编程规范和函数参数
在上一篇文章中,我们介绍了 Python 的正则表达式使用示例,现在我们介绍 Python 之禅. Python 编程规范和函数参数.查看上一篇文章请点击:https://www.cnblogs.co ...
- 学Python编程能做什么工作?从事什么岗位?——这些问题你知道吗?
前言 学Python编程能做什么工作?随着人工智能发展,学习python语言的人员有更多的岗位机会,python从事的职业广泛,从游戏到AI人工智能能都可以用Python实现.除了编程,各种岗位的人都 ...
- 进击的Python【第七章】:Python的高级应用(四)面向对象编程进阶
Python的高级应用(三)面向对象编程进阶 本章学习要点: 面向对象高级语法部分 静态方法.类方法.属性方法 类的特殊方法 反射 异常处理 Socket开发基础 一.面向对象高级语法部分 静态方法 ...
- Python之路,Day8 - Socket编程进阶
Python之路,Day8 - Socket编程进阶 本节内容: Socket语法及相关 SocketServer实现多并发 Socket语法及相关 socket概念 socket本质上就是在2台 ...
- Day7 - Python基础7 面向对象编程进阶
Python之路,Day7 - 面向对象编程进阶 本节内容: 面向对象高级语法部分 经典类vs新式类 静态方法.类方法.属性方法 类的特殊方法 反射 异常处理 Socket开发基础 作业:开发一个 ...
随机推荐
- bzoj 3436小K的农场
3436: 小K的农场 Time Limit: 10 Sec Memory Limit: 128 MB Submit: 2327 Solved: 1105 [Submit][Status][Discu ...
- 三类安装VMTools失败的解决方法(Windows、Linux、MacOs)
前言 写这篇笔记的原因,是前几天在虚拟机 Vmware 中重新安装了几个操作系统,突然发现 VMTools 这个工具成了一个特殊的问题,以前还没有发现,因为通常它就给你自动安装了.但是大多数时候也是需 ...
- windows:shellcode 远程线程hook/注入(四)
https://www.cnblogs.com/theseventhson/p/13236421.html 这里介绍了利用回调函数执行shellcode的基本原理:这里介绍另外一种利用回调执行she ...
- [转]HashMap详解
转自微信公众号 安琪拉的博客 1. HashMap的内部数据结构? JDK1.8版本的,内部使用数组 + 链表 / 红黑树:数据结构如下图: 2. HashMap的数据插入原理吗? 1.判断数组是否 ...
- 通过源代码分析Mybatis的功能
SQL解析 Mybatis在初始化的时候,会读取xml中的SQL,解析后会生成SqlSource对象,SqlSource对象分为两种. DynamicSqlSource,动态SQL,获取SQL(get ...
- java动态代理——jvm指令集基本概念和方法字节码结构的进一步探究及proxy源码分析四
前文地址 https://www.cnblogs.com/tera/p/13336627.html 本系列文章主要是博主在学习spring aop的过程中了解到其使用了java动态代理,本着究根问底的 ...
- 安装Hive 使用beeline 链接 出现 User: AAA is not allowed to impersonate BBB
AAA 指的是 hdfs 文件系统的用户 BBB 是hive 设置的 hiveserver2 配置文件中的登陆用户名 在hadoop 配置如下 <property> <name> ...
- python爬虫学习05-爬取图片
python爬虫学习05-爬取图片 确定要爬取的网址:https://shenan.tuchong.com/20903415/#image309854686 要爬取的内容:使用浏览器插件xpath对图 ...
- 07-NABCD项目分析
时 间:2020.3.31 参加人员:向瑜.赵常恒.刘志霄 讨论记录内容: NABCD模型 ·N(need)-向瑜 你的创意解决了用户的什么需求? 1. 随时随地记录个人收支的明细,清楚明白的知 ...
- Java中增强一个类的几种方法
今天有人问我怎么增强一个类的功能.博客刚好没东西,今天就讲讲增强类. 增强的手段有三种类型: 1.继承或者实现接口:特点是被增强对象不能变,增强的内容不能变. 2.装饰着模式:特点是被增强对象可变,但 ...