2019-04-16-day033-锁与队列
内容回顾
几个问题
- 概念多,练习少
- 不问问题
- 概念?代码?
Process类
- 并发并行
- 并发 是同一时间段内多个任务交替使用同一个cpu
- 并行 是在同一个时刻多个任务在不同的cpu上同时执行
- 同步异步
- 同步 发布一个任务,要等待这个任务结束之后才能继续
- 异步 发布一个任务,不等待这个任务的结束就可以继续执行当前的内容
- 阻塞非阻塞
- 阻塞 : 在当前任务中cpu不工作
- 非阻塞 : cpu还在继续为当前程序在执行
- start terminate join
- start\terminate 异步非阻塞
- join 同步阻塞
- io操作
- i :输入到内存
- o :从内存向外(网络 硬盘)输出
join
import time
import random
from multiprocessing import Process
def done(name):
num = random.uniform(1, 3)
print('start buy %s'%name,num)
time.sleep(num)
print('end buy %s' % name)
if __name__ == '__main__':
l = []
p1 = Process(target=done,args=('橘子',))
p1.start()
l = [p1]
p2 = Process(target=done, args=('苹果',))
p2.start()
l = [p1,p2]
p3 = Process(target=done, args=('榴莲',))
p3.start()
l = [p1, p2,p3]
p1.join() * 等买橘子的那个人回来 只关心p1这个子进程是否执行完
print('买橘子的那个人回来了')
p2.join() * 等买苹果的人回来
print('买苹果的那个人回来了')
p3.join() * 等待榴莲的人回来
print('买榴莲的那个人回来了')
import time
import random
from multiprocessing import Process
def done(name):
num = random.uniform(1, 3)
print('start buy %s'%name,num)
time.sleep(num)
print('end buy %s' % name)
if __name__ == '__main__':
l = ['橘子','苹果','榴莲']
p_l = []
for fruit in l:
p = Process(target=done,args=(fruit,))
p.start()
p_l.append(p)
print(p_l)
for p in p_l:
p.join() # 阻塞 等橘子回来;阻塞 等苹果回来;阻塞 等榴莲回来
join Process模块提供给我们的 对子进程同步管理的方法
import time
import random
from multiprocessing import Process
def done(name):
num = random.uniform(1, 3)
print('start buy %s'%name,num)
time.sleep(num)
print('end buy %s' % name)
if __name__ == '__main__':
l = ['橘子','苹果','榴莲']
for fruit in l:
p = Process(target=done,args=(fruit,))
p.start()
p.join()
开启进程 Process类
实例化的时候引用的参数 : target = 函数名,args=(参数1,)
方法 : start 开启进程 terminate 结束进程 join等待子进程结束
属性 :
- name 进程名 pid进程id
- daemon 一定要在start之前设置,设置
- 个子进程为守护进程,守护进程在主进程的代码结束之后结束
使用类的方式开启子进程
from multiprocessing import Process
class 类名(Process):
def __init__(self,参数1,参数2):
super().__init__()
self.参数1 = 参数1
self.参数2 = 参数2
def run(self):
'''要写在子进程中的代码
可以使用self中的所有参数'''
pass
if __name__ == '__main__':
p = 类名('参数1','参数2')
p.start()
from multiprocessing import Process
def func():pass
if __name__ == '__main__':
Process(target=func).start()
a = 1
print(a)
锁
import json
import time
from multiprocessing import Process,Lock
def search_ticket(name):
with open('ticket',encoding='utf-8') as f:
dic = json.load(f)
print('%s查询余票为%s'%(name,dic['count']))
def buy_ticket(name):
with open('ticket',encoding='utf-8') as f:
dic = json.load(f)
time.sleep(2)
if dic['count'] >= 1:
print('%s买到票了'%name)
dic['count'] -= 1
time.sleep(2)
with open('ticket', mode='w',encoding='utf-8') as f:
json.dump(dic,f)
else:
print('余票为0,%s没买到票' % name)
def use(name,lock):
search_ticket(name)
print('%s在等待'%name)
* lock.acquire()
* print('%s开始执行了'%name)
* buy_ticket(name)
* lock.release()
with lock:
print('%s开始执行了'%name)
buy_ticket(name)
if __name__ == '__main__':
lock = Lock()
l = ['alex','wusir','baoyuan','taibai']
for name in l:
Process(target=use,args=(name,lock)).start()
- 牺牲了效率 保证了数据的安全
- 用户就会觉得很慢 体验很差
锁的应用场景,当多个进程需要操作同一个文件/数据库的时候 ,
会产生数据不安全,我们应该使用锁来避免多个进程同时修改一个文件
队列
- 多个进程之间的数据是隔离的
- 进程之间的数据交互
- 是可以通过网络/文件来实现的
- socket来实现
IPC - inter process communication
- 通过python的模块实现的
- 基于原生socket
- 基于进程队列的 *****
- 第三方的软件/工具来实现 : 基于网络的
- memcache redis rabbitMQ kafka - 软件名
from multiprocessing import Queue # 可以完成进程之间通信的特殊的队列
from queue import Queue #不能完成进程之间的通信
q = Queue()
q.put(1)
q.put(2)
print(q.get())
print(q.get())
from multiprocessing import Queue,Process
def son(q):
print('-->',q.get())
if __name__ == '__main__':
q = Queue()
Process(target=son,args=(q,)).start()
q.put('wahaha')
- 生产者消费者模型
- 获得数据 生产者
- 处理数据 消费者
- 调节生产者的个数或者消费者的个数来让程序的效率达到最平衡和最大化
- 解耦思想
import time
import random
from multiprocessing import Process,Queue
def producer(q):
for i in range(10):
time.sleep(random.random())
food = '泔水%s'%i
print('%s生产了%s'%('taibai',food))
q.put(food)
def consumer(q,name):
while True:
food = q.get() * food = 食物/None
if not food : break
time.sleep(random.uniform(1,2))
print('%s 吃了 %s'%(name,food))
if __name__ == '__main__':
q = Queue()
p1 = Process(target=producer,args=(q,))
p1.start()
c1 = Process(target=consumer,args=(q,'alex'))
c1.start()
c2 = Process(target=consumer,args=(q,'wusir'))
c2.start()
p1.join()
q.put(None)
q.put(None)
如何结束整个程序
import time
import random
from multiprocessing import JoinableQueue,Process
def consumer(jq,name):
while True:
food = jq.get()
time.sleep(random.uniform(1,2))
print('%s吃完%s'%(name,food))
jq.task_done()
def producer(jq):
for i in range(10):
time.sleep(random.random())
food = '泔水%s'%i
print('%s生产了%s'%('taibai',food))
jq.put(food)
jq.join()
if __name__ == '__main__':
jq = JoinableQueue(5)
c1 = Process(target=consumer,args=(jq,'alex'))
p1 = Process(target=producer,args=(jq,))
c1.daemon = True
c1.start()
p1.start()
p1.join()
锁 同一时刻同一段代码,只能有一个进程来执行这段代码
- 保证数据的安全
- 多进程中,只有去操作一些 进程之间可以共享的数据资源的时候才需要进行加锁
- lock = Lock()
- acquire release
- with lock:
- Lock 互斥锁
IPC
- 队列
- PUT
- GET
- 生产者消费者模型 基于队列把生产数据和消费数据的过程分开了
- 补充
- 队列 是进程安全的 自带了锁
- 队列基于什么实现的 文件家族的socket服务
- 基于文件家族的socket服务实现的ipc机制不止队列一个,管道Pipe
- 队列 = 管道 + 锁
- 管道 是基于文件家族的socket服务实现
from multiprocessing import Pipe
2019-04-16-day033-锁与队列的更多相关文章
- 2019.04.16 python基础50
第五十一节 pycharm安装 https://www.jetbrains.com/pycharm/download/#section=windows 这是另一个叫jetbrains公司开发的 默认 ...
- [2019.04.16] 由Python写成的自动解压脚本
很久很久以前(二十七天吧……大概)被要求写一个脚本来检索并解压磁盘上所有的以特定格式命名的tar文件,于是乎学习和摸鱼就一起开始了. 这次要写的脚本,针对的是这样的文件结构: 文件结构如上图所示 可以 ...
- 2019.04.16打卡(java 数组)
1. 要求输出数组中数据的平均值,并输出所有大于平均值的数据 代码 package block; import java.util.*; public class Average { public ...
- day33 锁和队列
队列 #put 和 get #__author : 'liuyang' #date : 2019/4/16 0016 上午 11:32 # 多进程之间的数据是隔离的 # 进程之间的数据交互 # 是可 ...
- 一个无锁消息队列引发的血案(六)——RingQueue(中) 休眠的艺术 [续]
目录 (一)起因 (二)混合自旋锁 (三)q3.h 与 RingBuffer (四)RingQueue(上) 自旋锁 (五)RingQueue(中) 休眠的艺术 (六)RingQueue(中) 休眠的 ...
- 一个无锁消息队列引发的血案(五)——RingQueue(中) 休眠的艺术
目录 (一)起因 (二)混合自旋锁 (三)q3.h 与 RingBuffer (四)RingQueue(上) 自旋锁 (五)RingQueue(中) 休眠的艺术 (六)RingQueue(中) 休眠的 ...
- Linux 内核:匠心独运之无锁环形队列kfifo
Linux 内核:匠心独运之无锁环形队列 Kernel version Linux 2.6.12 Author Toney Email vip_13031075266@163.com Da ...
- PowerBI更新2019/04 - 解决方案架构 - PowerBI Solution Architecture(一图胜万字!)
Power BI 架构图 (2019/04) 1) Power BI Desktop 是一个免费的工具.它可以用来准备和管理数据模型:包括链接各种数据:做数据清洗:定义关系:定义度量值和层级关系:应用 ...
- DPDK 无锁环形队列(Ring)详解
DPDK 无锁环形队列(Ring) 此篇文章主要用来学习和记录DPDK中无锁环形队列相关内容,结合了官方文档说明和源码中的实现,供大家交流和学习. Author : Toney Email : vip ...
- Ubuntu LTS 系统学习使用体会和实用工具软件汇总 6.04 8.04 10.04 12.04 14.04 16.04
Ubuntu LTS 系统学习体会和工具软件汇总 6.04 8.04 10.04 12.04 14.04 16.04 ubuntu入门必备pdf:http://download.csdn.net/de ...
随机推荐
- Html 标签种类
Html 标签种类 自闭合标签与闭合标签 自闭合标签 <标签 /> 闭合标签 <标签></标签> 块级标签与行内标签 浏览器审查元素使用: (1) f12 查看每个 ...
- Linux 系统最大TCP连接数 调优
Linux系统TCP最大连接数 Linux系统可接连接到最大的TCP连接数,高并发情况下可进行扩展加大,最大为65536. 限制最大TCP连接数 修改文件:/etc/sysctl.conf 生效命令: ...
- TTS 语音修复 ,缺少文件的,没注册类的
完美运行 http://bbs.nga.cn/read.php?tid=13292628&rand=492 Win7系统TTS修复-采用原生Win7提取绿色修复 一键自动修复,控制面板里有语音 ...
- com.borland.jbcl.layout.*;(XYLayout)
因为某些原因,涉及到需要运行一个十几年前的项目,项目一直报错,缺少.layoutXY,找了好久,CSDN那里一直需要下载,而且收费,而且很麻烦,本来都放弃了的这个jar包原来是java的IDE工具JB ...
- spring 事务的七中传播行为五中隔离
事务的传播行为(七): public enum Propagation { REQUIRED(TransactionDefinition.PROPAGATION_REQUIRED), SUPPORTS ...
- VC.重定向标准输出到文件(父进程方式)
1.libxml2 使用过程中,有时 libxml2里面会报一些错误信息,在 控制台的程序中 这些信息看起来比较乱,不易观察,我想将这些信息重定向到 文件中 1.1.本进程内:试着 将标准输出,标准错 ...
- echarts之折线图配置(附带图例很多做成分页效果)
<!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8&quo ...
- linux基础09-bash编程(条件测试和特殊变量)
(1)整数测试 INT1=63 INT2=77 [ $INT1 -eq $INI2 ] [[ $INT1 -eq $INT2 ]] test $INT1 -eq $INT2 文件测试: -e FILE ...
- 『关键点检测』CPN:Cascaded Pyramid Network for Multi-Person Pose Estimation
论文连接 网络简介 face++2017年coco keypoint benchmark 数据集冠军的文章,发表于CVPR201 1 提出了一种金字塔型的串接模型,即CPN(cascaded pyr ...
- iOS应该具备知识点
序言 我相信很多人都在说,iOS行业不好了,iOS现在行情越来越难了,失业的人比找工作的人还要多.失业即相当于转行,跳槽即相当于降低自己的身价.那么做iOS开发的你,你是否在时刻准备着跳槽或者转行了. ...