事件Event实现消费者模型
import time
import random
from multiprocessing import Process,Queue def consumer(q,name):
while True:
print('\033[31m%s吃了%s\033[0m'%(name,q.get())) # 如果队列中没有数据了,q.get()方法会一直阻塞
time.sleep(random.randint(1, 3)) def producer(q,food,name): for i in range(10):
time.sleep(random.randint(1, 3))
f = '%s 生产的 %s%i' % (name, food, i)
print(f)
q.put(f) if __name__ == '__main__':
q = Queue(20)
p = Process(target=producer,args=(q,'包子','Egon'))
p1 = Process(target=producer, args=(q, '泔水', 'jinboss'))
c1 = Process(target=consumer, args=(q, 'alex'))
c2 = Process(target=consumer, args=(q, '娜扎'))
p.start()
p1.start()
c1.start()
c2.start()
q.put(None)
q.put(None)
这样是有问题的,因为对列中没有了数据,但是consumer函数还在一个q.get()取数据,但是producter已经生产完毕,所以或一值阻塞,
解决问题的方法:
在末尾添加 q.put(None) 然后在consumer中的取得的数据进行判断,为None就break。
但是这样很麻烦,有多少个consumer就要放几个None 使用JoinableQueue,可以解决这个问题
import time
import random
from multiprocessing import Process,JoinableQueue def consumer(name,q):
while True:
f = q.get()
print('\033[31m%s 吃了 %s\033[0m'%(name,f))
time.sleep(random.randint(1, 3))
q.task_done() # 每一次取得一个数据,处理完成后,返回的一个标志,就相当于一个计数器,每次-1 def producter(name,food,q):
for i in range(10):
f = '%s 生产了 %s%i'%(name,food,i)
print('%s 生产了 %s%i'%(name,food,i))
q.put(f)
time.sleep(random.randint(1,3))
q.join() # 阻塞 直到队列中的数据都被处理完成后,producter进程才结束
# 一般是代码执行完毕就结束,q.join(),感知队列数据的状态,处理完成后,结束
if __name__ == '__main__':
q = JoinableQueue() p1 = Process(target=producter,args=('Egon','包子',q))
p2 = Process(target=producter,args=('nazhe','包子',q))
c1 = Process(target=consumer,args=('alex',q))
c2 = Process(target=consumer,args=('jinboss',q))
p1.start()
p2.start()
c1.daemon = True # 守护进程,随着主进程代码的执行完毕后,才结束
c2.daemon = True
c1.start()
c2.start()
p1.join() # 感知一个子进程的结束,不结束就一直等着
p2.join()
'''
在消费者这一端:
每次处理一个数据
处理一个数据
发送一个记号:标志一个数据被处理完成
在生产者端:
每次生产一个数据
且每次生产的数据都放入队列中
每放入一个数据,就刻一个记号
当生产者全部生产完毕后
join信号:已经停止生产数据 ,进入阻塞状态
但是进程不会结束,且要等到之前存数据时,课上的记号被消费完,否则就一直阻塞
当数据都被处理完毕时,join阻塞结束 consumer 中把所有的数据消耗完
producter 端的join就会感知到,停止阻塞
所有的producter进程都结束之后
主进程中的p.join()方法停止阻塞
主进程代码执行完毕
守护进程(消费者的进程)结束 '''
事件Event实现消费者模型的更多相关文章
- Day034--Python--锁, 信号量, 事件, 队列, 生产者消费者模型, joinableQueue
进程同步: 1. 锁 (重点) 锁通常被用来实现对共享资源的同步访问.为每一个共享资源创建一个Lock对象,当你需要访问该资源时,调用acquire方法来获取锁对象(如果其它线程已经获得了该锁, ...
- Python 之并发编程之进程下(事件(Event())、队列(Queue)、生产者与消费者模型、JoinableQueue)
八:事件(Event()) # 阻塞事件: e = Event() 生成事件对象e e.wait() 动态给程序加阻塞,程序当中是否加阻塞完全取决于该对象中的is_set() [默认返回值 ...
- Python之路(第三十八篇) 并发编程:进程同步锁/互斥锁、信号量、事件、队列、生产者消费者模型
一.进程锁(同步锁/互斥锁) 进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的, 而共享带来的是竞争,竞争带来的结果就是错乱,如何控制,就是加锁处理. 例 ...
- 进程同步控制(锁,信号量,事件), 进程通讯(队列和管道,生产者消费者模型) 数据共享(进程池和mutiprocess.Pool模块)
参考博客 https://www.cnblogs.com/xiao987334176/p/9025072.html#autoid-1-1-0 进程同步(multiprocess.Lock.Semaph ...
- python 全栈开发,Day39(进程同步控制(锁,信号量,事件),进程间通信(队列,生产者消费者模型))
昨日内容回顾 python中启动子进程并发编程并发 :多段程序看起来是同时运行的ftp 网盘不支持并发socketserver 多进程 并发异步 两个进程 分别做不同的事情 创建新进程join :阻塞 ...
- Python学习笔记——进阶篇【第九周】———线程、进程、协程篇(队列Queue和生产者消费者模型)
Python之路,进程.线程.协程篇 本节内容 进程.与线程区别 cpu运行原理 python GIL全局解释器锁 线程 语法 join 线程锁之Lock\Rlock\信号量 将线程变为守护进程 Ev ...
- 进程,线程,GIL,Python多线程,生产者消费者模型都是什么鬼
1. 操作系统基本知识,进程,线程 CPU是计算机的核心,承担了所有的计算任务: 操作系统是计算机的管理者,它负责任务的调度.资源的分配和管理,统领整个计算机硬件:那么操作系统是如何进行任务调度的呢? ...
- python2.0_s12_day9之day8遗留知识(queue队列&生产者消费者模型)
4.线程 1.语法 2.join 3.线程锁之Lock\Rlock\信号量 4.将线程变为守护进程 5.Event事件 * 6.queue队列 * 7.生产者消费者模型 4.6 queue队列 que ...
- 进击的Python【第九章】:paramiko模块、线程与进程、各种线程锁、queue队列、生产者消费者模型
一.paramiko模块 他是什么东西? paramiko模块是用python语言写的一个模块,遵循SSH2协议,支持以加密和认证的方式,进行远程服务器的连接. 先来个实例: import param ...
随机推荐
- Angel - 模拟Kafka数据流调试FTRL的方法
Angel - 模拟Kafka数据流调试FTRL的方法 Mac或者Linux版本(Win10的Linux子系统同样适用) 创建一个目录用来安装kafka以及zookeeper等相关软件,比如,新建一个 ...
- C++ string中find() 用法
string中 find()的用法 rfind (反向查找) (1)size_t find (const string& str, size_t pos = 0) const; //查找对 ...
- JQuery实现表格自动增加行,对新行添加事件
实现功能: 通常在编辑表格时表格的行数是不确定的,如果一次增加太多行可能导致页面内容太多,反应变慢:通过此程序实现表格动态增加行,一直保持最下面有多个空白行. 效果: 一:原始页面 二:表1增加新行并 ...
- Code Generation => Table -> Class for DataGridView use
Generate a class from table defintion and simplify databinding process.
- linux crontab详解 php开发相关
vi vi /etc/crontab 注意不是这么直接干的! 下面是内容 SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root ...
- css学习_css常见属性用法
1.元素的显示模式 a.被动转换:浮动.绝对定位.固定定位(转换为行内块元素特性的模式---不设置宽度时,模式换行为行内块模式后宽度是内容宽度.) b.主动转换:display:block / in ...
- Redis安装[Windows]
一. redis下载地址: https://github.com/ServiceStack/redis-windows/tree/master/downloads 根据需要的下载对应版本*.zip ...
- 装饰者模式在JDK和Mybatis中是怎么应用的? java io包
https://mp.weixin.qq.com/s/-bj71dBylRHRqiPorOpVyg 原创: 李立敏 Java识堂 3月10日 有一个卖煎饼的店铺找上了你,希望你能给她们的店铺开发一个收 ...
- elasticsearch head添加索引并设置mapping
直接用put方法创造一个东西出来 然后post请求,设置mapping
- Android studio中导入SlidingMenu问题
我们导入的library文件夹中的build.gradle 文件里面写的很清楚: android { compileSdkVersion 17 buildToolsVersion &q ...