4 并发编程-(进程)-守护进程&互斥锁
一、守护进程
主进程创建子进程,然后将该进程设置成守护自己的进程,守护进程就好比崇祯皇帝身边的老太监,崇祯皇帝已死老太监就跟着殉葬了。
关于守护进程需要强调两点:
其一:守护进程会在主进程代码执行结束后就终止
其二:守护进程内无法再开启子进程,否则抛出异常:AssertionError: daemonic processes are not allowed to have children
如果我们有两个任务需要并发执行,那么开一个主进程和一个子进程分别去执行就ok了,如果子进程的任务在主进程任务结束后就没有存在的必要了,
那么该子进程应该在开启前就被设置成守护进程。主进程代码运行结束,守护进程随即终止
from multiprocessing import Process
import time
def task(name):
print(f"{name} is running")
time.sleep(2)
print(f"{name} is done")
if __name__ == '__main__':
p = Process(target=task,args=('alex',))
p.daemon = True #Daemon()程序是一直运行的服务端程序,又称为守护进程。
p.start()
print('主')
子进程在主进程死后就没意义,就把 该子进程 设置成守护进程
练习题:
from multiprocessing import Process
import time
def foo():
print(123)
time.sleep(3)
print('end 123')
def bar():
print(456)
time.sleep(3)
print('end 456')
if __name__ == '__main__':
p1 = Process(target=foo)
p2 = Process(target=bar)
p1.daemon = True
p1.start()
p2.start()
print('----主-----')
# 主进程死,守护进程死 ---------------------------------------------
----主-----
456
end 456
二、互斥锁
进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的,而共享带来的是竞争,竞争带来的结果就是错乱,如下
#1并发运行,效率高,但竞争同一打印终端,带来了打印错乱
#并发运行,效率高,但竞争同一打印终端,带来了打印错乱
from multiprocessing import Process
import os,time
def work():
print('%s is running' %os.getpid())
time.sleep(2)
print('%s is done' %os.getpid()) if __name__ == '__main__':
for i in range(3):
p=Process(target=work)
p.start()
7920,is running
7592,is running
7824,is running
7920 is done
7592 is done
7824 is done
#2由并发变成了串行,牺牲了运行效率,但避免了竞争
互斥锁的原理,就是把并发改成串行,降低了效率,但保证了数据安全不错乱
from multiprocessing import Process,Lock
import os,time
def work(lock):
lock.acquire() #加锁
print('%s is running' %os.getpid())
time.sleep(2)
print('%s is done' %os.getpid())
lock.release() #释放锁
if __name__ == '__main__':
lock=Lock()
for i in range(3):
p=Process(target=work,args=(lock,))
p.start() 7532,is running
7532 is done
7196,is running
7196 is done
7816,is running
7816 is done
3、模拟抢票练习
3.1并发运行,效率高,但竞争写同一文件,数据写入错乱,只有一张票,卖成功给了10个人
多个进程共享同一文件,我们可以把文件当数据库,用多个进程模拟多个人执行抢票任务
from multiprocessing import Process
import time,json
def search(name):
dic = json.load(open('db.txt','r'))
time.sleep(1)
print(f"{name} 查到余票数{dic['count']}")
def get(name):
dic = json.load(open('db.txt','r'))
time.sleep(1)
if dic['count'] > 0:
dic['count'] -= 1
time.sleep(1)#模拟写数据的网络延迟
json.dump(dic,open('db.txt','w'))
print(f"{name}购票成功")
def task(name):
search(name)
get(name)
if __name__ == '__main__':
for i in range(10):
name = f"<路人{i}>"
p = Process(target=task,args=(name,))
p.start() <路人0> 查到余票数1
<路人2> 查到余票数1
<路人1> 查到余票数1
<路人7> 查到余票数1
<路人3> 查到余票数1
<路人4> 查到余票数1
<路人6> 查到余票数1
<路人5> 查到余票数1
<路人8> 查到余票数1
<路人9> 查到余票数1
<路人0>购票成功
<路人2>购票成功
<路人1>购票成功
<路人7>购票成功
<路人3>购票成功
<路人4>购票成功
<路人6>购票成功
<路人5>购票成功
<路人8>购票成功
<路人9>购票成功 db.txt 中的数据为:{"count": 1} 运行后为:{"count": 0}
3.2、加锁处理:购票行为由并发变成了串行,牺牲了运行效率,但保证了数据安全。对购买后写入的操作加锁
from multiprocessing import Process,Lock
import time,json
def search(name):
dic = json.load(open('db.txt','r'))
time.sleep(1)
print(f"{name} 查到余票数{dic['count']}")
def get(name):
dic = json.load(open('db.txt','r'))
time.sleep(1)
if dic['count'] > 0:
dic['count'] -= 1
time.sleep(1)#模拟写数据的网络延迟
json.dump(dic,open('db.txt','w'))
print(f"{name}购票成功")
def task(name,lock):
search(name)
with lock: #相当于lock.acquire(),执行完自代码块自动执行lock.release()
# 把写的操作 上锁
get(name)
if __name__ == '__main__':
lock = Lock()
for i in range(10):
name = f"<路人{i}>"
p = Process(target=task,args=(name,lock))
p.start() <路人3> 查到余票数1
<路人1> 查到余票数1
<路人0> 查到余票数1
<路人2> 查到余票数1
<路人5> 查到余票数1
<路人4> 查到余票数1
<路人6> 查到余票数1
<路人7> 查到余票数1
<路人9> 查到余票数1
<路人8> 查到余票数1
<路人3>购票成功
4、互斥锁与join
使用join可以将并发变成串行,互斥锁的原理也是将并发变成穿行,那我们直接使用join就可以了啊,为何还要互斥锁,说到这里我赶紧试了一下
from multiprocessing import Process,Lock
import time,json
def search(name):
dic = json.load(open('db.txt','r'))
time.sleep(1)
print(f"{name} 查到余票数{dic['count']}")
def get(name):
dic = json.load(open('db.txt','r'))
time.sleep(1)
if dic['count'] > 0:
dic['count'] -= 1
time.sleep(1)#模拟写数据的网络延迟
json.dump(dic,open('db.txt','w'))
print(f"{name}购票成功")
def task(name):
search(name)
#with lock: #相当于lock.acquire(),执行完自代码块自动执行lock.release()
# 把写的操作 上锁
get(name)
if __name__ == '__main__':
#lock = Lock()
for i in range(10):
name = f"<路人{i}>"
p = Process(target=task,args=(name,))
p.start()
p.join() <路人0> 查到余票数1
<路人0>购票成功
<路人1> 查到余票数0
<路人2> 查到余票数0
<路人3> 查到余票数0
<路人4> 查到余票数0
<路人5> 查到余票数0
<路人6> 查到余票数0
<路人7> 查到余票数0
<路人8> 查到余票数0
<路人9> 查到余票数0
发现使用join将并发改成穿行,确实能保证数据安全,但问题是连查票操作也变成只能一个一个人去查了,很明显大家查票时应该是并发地去查询而无需考虑数据准确与否,此时join与互斥锁的区别就显而易见了,join是将一个任务整体串行,而互斥锁的好处则是可以将一个任务中的某一段代码串行,比如只让task函数中的get任务串行
def task(name,):
search(name) # 并发执行 lock.acquire()
get(name) #串行执行
lock.release()
5、总结
加锁可以保证多个进程修改同一块数据时,同一时间只能有一个任务可以进行修改,即串行地修改,没错,速度是慢了,但牺牲了速度却保证了数据安全。
虽然可以用文件共享数据实现进程间通信,但问题是:
1、效率低(共享数据基于文件,而文件是硬盘上的数据)
2、需要自己加锁处理
因此我们最好找寻一种解决方案能够兼顾:
1、效率高(多个进程共享一块内存的数据)
2、帮我们处理好锁问题。
这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制:队列和管道。
队列和管道都是将数据存放于内存中,而队列又是基于(管道+锁)实现的,可以让我们从复杂的锁问题中解脱出来,因而队列才是进程间通信的最佳选择。
我们应该尽量避免使用共享数据,尽可能使用消息传递和队列,避免处理复杂的同步和锁问题,而且在进程数目增多时,往往可以获得更好的可获展性。
4 并发编程-(进程)-守护进程&互斥锁的更多相关文章
- 并发编程~~~多线程~~~守护线程, 互斥锁, 死锁现象与递归锁, 信号量 (Semaphore), GIL全局解释器锁
一 守护线程 from threading import Thread import time def foo(): print(123) time.sleep(1) print('end123') ...
- 9 并发编程-(线程)-守护线程&互斥锁
一 .守护线程 无论是进程还是线程,都遵循:守护xxx会等待主xxx运行完毕后被销毁 需要强调的是:运行完毕并非终止运行 1.对主进程来说,运行完毕指的是主进程代码运行完毕 2.对主线程来说,运行完毕 ...
- python并发编程之守护进程、互斥锁以及生产者和消费者模型
一.守护进程 主进程创建守护进程 守护进程其实就是'子进程' 一.守护进程内无法在开启子进程,否则会报错二.进程之间代码是相互独立的,主进程代码运行完毕,守护进程也会随机结束 守护进程简单实例: fr ...
- python 并发编程 多进程 守护进程
一 守护进程 主进程创建子进程目的是:主进程有一个任务需要并发执行,那开启子进程帮我并发执行任务 主进程创建子进程,然后将该进程设置成守护自己的进程 关于守护进程需要强调两点: 其一:守护进程会在主进 ...
- python 之 并发编程(守护进程、互斥锁、IPC通信机制)
9.5 守护进程 主进程创建守护进程 其一:守护进程会在主进程代码执行结束后就立即终止 其二:守护进程内无法再开启子进程,否则抛出异常:AssertionError: daemonic process ...
- python并发编程之多进程1--(互斥锁与进程间的通信)
一.互斥锁 进程之间数据隔离,但是共享一套文件系统,因而可以通过文件来实现进程直接的通信,但问题是必须自己加锁处理. 注意:加锁的目的是为了保证多个进程修改同一块数据时,同一时间只能有一个修改,即串行 ...
- python并发编程之多进程1互斥锁与进程间的通信
一.互斥锁 进程之间数据隔离,但是共享一套文件系统,因而可以通过文件来实现进程直接的通信,但问题是必须自己加锁处理. 注意:加锁的目的是为了保证多个进程修改同一块数据时,同一时间只能有一个修改,即串行 ...
- 并发编程时守护进程在pycharm与python shell中的运行结果不同
原代码如下 from multiprocessing import Process import time import random def task(name): print('%s is run ...
- 进程(守护进程--互斥锁--IPC机制--生产者模型--僵尸进程与孤儿进程--模拟抢票--消息队列)
目录 一:进程理论知识 1.理论知识 二:什么是进程? 三:僵尸进程与孤儿进程 1.僵尸进程 四:守护进程 1.什么是守护进程? 2.主进程创建守护进程 3.守护进程 五:互斥锁(模拟多人抢票) 1. ...
随机推荐
- 【python】专用下划线标识符说明
__xxx__:系统定义名字 __xxx:类中私有变量名 说明:__xxx看做“私有的”,在模块或者类外是不可以使用.
- 什么是JavaBean、bean? 什么是POJO、PO、DTO、VO、BO ? 什么是EJB、EntityBean?
什么是JavaBean.bean? 什么是POJO.PO.DTO.VO.BO ? 什么是EJB.EntityBean? 前言: 在Java开发中经常遇到这些概念问题,有的可能理解混淆,有的 ...
- Letterbox,Pillarbox和Pan&Scan
Auto 不改变窗口设置16:9 PillarBox: 4:3的图像,在16:9的显示屏上显示时,上下到顶,左右会添加黑边. 16:9 Pan&Scan 4:3的图像,在16:9的显示屏上显示 ...
- php生成随机颜色代码
function rand_color($color_array) { $color = dechex(rand(3355443,13421772)); if (in_array($color, $c ...
- Linux下分析磁盘镜像
我们知道Windows下可以使用WinHex分析磁盘镜像:Linux下可以使用losetup工具.假如我们有一个磁盘镜像disk.img: ## 首先你的系统要支持loop device ## 一般发 ...
- eclipse使用git提交项目
eclipse使用git提交项目有2种方式:一种是git命令窗口,另一种是eclipse自带git插件(跟svn插件一样使用) 一.使用git命令窗口提交项目 1.首先官网下载git并安装,然后配置用 ...
- SpringCloud统一配置之使用配置
配置的读取方式在上一篇文章中有提到. 取到值之后赋值给静态类里的静态变量. 因为SpringCloud项目启动的时候会把所有的api都执行一遍(相当蛋疼),所以这里直接就可以写一个方法进行赋值. 代码 ...
- yum安装软件时报错:Loaded plugins:fastestnirror,security Existing lock /var/run/yum.pid
在linux中使用yum时出现如下错误: Loaded plugins: fastestmirror, security Existing lock /var/run/yum.pid: another ...
- 第3章 文件I/O(2)_文件I/O系统调用及文件描述符
2. 文件I/O系统调用及文件描述符 2.1 文件I/O系统调用 (1)主要函数 函数 功能 函数 功能 open() 打开文件 read() 读取文件 creat() 创建文件 write() 写入 ...
- 【Codeforces】CF 467 C George and Job(dp)
题目 传送门:QWQ 分析 dp基础题. $ dp[i][j] $表示前i个数分成j组的最大和. 转移显然. 吐槽:做cf题全靠洛谷翻译苟活. 代码 #include <bits/stdc++. ...