协程gevent模块和猴子补丁
# pip 装模块 greenlet和gevent # 协程
# 与进程、线程一样也是实现并发的手段
# 创建一个线程、关闭一个线程都需要创建寄存器、栈等、需要消耗时间 # 协程本质上是一个线程
# 能够在多个任务之间切换来节省一些IO时间
# 协程中任务之间的切换时间开销,要远远小于进程或线程之间的切换 # 4CPU中,进程一般创建4+1个进程 + 一个进程中线程为4*5 + 一个线程中创建500个协程,一般这是一台4CPU的机器电脑上能达到好的效率的并发程度,50000个并发。nginx这种负载均衡的东西就是这种思路 #
# def cosumer():
# '''
# 生成器函数:
# :return:
# '''
# while 1:
# x = yield
# print('处理消费了数据', x)
#
#
# if __name__ == '__main__':
# c = cosumer() # 得到生成器
# next(c) # 走到生成器函数中的第一个yield
# c.send(2) # 将2给了生成器函数中的x并执行print然后又到了yield那 # # 在一个函数中控制另外一个函数,让这两个函数来回切换执行,下面用的是生成器实现的。协程效果
# def cosumer():
# '''
# 生成器函数:
# :return:
# '''
# while 1:
# x = yield
# print('处理消费了数据', x)
#
# def producer():
# c = cosumer()
# next(c)
# for i in range(10):
# print('生产了数据', i)
# c.send(i)
#
# if __name__ == '__main__':
# producer() # 真正的协程实现任务之间的切换.
# 真正的协程模块就是使用greenlet完成的任务之间的切换。省去了IO时间,当一个任务发生IO时,肯定会阻塞,此时这个时候去切换任务让另一个任务工作,另一个任务工作切换回来时,这个任务的IO时间正好结束,这就是协程想达到的效果,节省IO的切换时间
# import time
# from greenlet import greenlet
#
# def eat():
# print('eating start')
# g2.switch() # 切换到play中执行
# print('eating end')
#
# def play():
# print('playing start')
# g1.switch() #切换到eat中执行
#
# g1 = greenlet(eat) # eat任务放到greenlet中
# g2 = greenlet(play) # play任务放到greenlet中
# g1.switch() # 切换到eat任务执行到g2.switch()
# # 打印信息为
# # eating start
# # playing start
# # eating end
#
# # Process finished with exit code 0 # gevent模块
# import gevent
#
# def eat():
# print('eating start')
# gevent.sleep(1) # 发生IO阻塞,切换到play
# print('eating end')
#
# def play():
# print('playing start')
# gevent.sleep(1) # 发生IO阻塞,切换到eat
#
# g1 = gevent.spawn(eat)
# g2 = gevent.spawn(play)
# g1.join() # 因为是异步的,如果不调用join,则直接执行到了下面,这样主进程就会结束,这里阻塞等待协程的结束
# g2.join() # gevent模块
# 协程,在一个线程中来回的切换。这个切换过程不是操作系统做的,而是gevent做的
# 在这个patch_all后面的所有模块中,发生的阻塞都会有gevent的效果
# #from gevent import monkey;monkey.patch_all()
# import time
# import gevent
#
# def eat():
# print('eating start')
# time.sleep(1) # 发生IO阻塞,切换到play.因为有了mokey.patch_all所以这里等同于gevent.sleep(1),遇见IO就会切换
# print('eating end')
#
# def play():
# print('playing start')
# time.sleep(1) # 发生IO阻塞,切换到eat
# print('playing end')
#
# if __name__ == '__main__':
# g1 = gevent.spawn(eat)
# g2 = gevent.spawn(play)
# g1.join() # 阻塞等待协程执行结束
# g2.join() # # 协程任务之间的切换由程序代码(gevent)完成,只有遇到协程模块能识别到的IO操作的时候,程序才会进行协程切换,实现并发的效果 # 同步和异步(协程实现)
from gevent import monkey;monkey.patch_all() #猴子补丁,必须放到最前面,这样所有模块中的方法发生了IO阻塞时,就会触发协程的切换
import time
import gevent def task():
time.sleep(1)
print(12345) def sync():
for i in range(2):
task() def async():
g_lst = []
for i in range(10):
g = gevent.spawn(task) # 创建协程
g_lst.append(g)
gevent.joinall(g_lst) # 阻塞等待协程完毕 async() # 异步的打印12345
协程:能够在一个线程中实现并发效果的概念,能够巧妙的利用任务中的IO阻塞时间,在任务的执行过程中,检测到IO操作时就能够协程切换到别的任务中运行
协程gevent模块和猴子补丁的更多相关文章
- 协程:gevent模块,遇到i/o自动切换任务 038
协程 : gevent模块,遇到io自动切换任务 from gevent import monkey;monkey.patch_all() # 写在最上面 这样后面的所有阻塞就全部能够识别了 impo ...
- python编程中的并发------协程gevent模块
任务例子:喝水.吃饭动作需要耗时1S 单任务:(耗时20s) for i in range(10): print('a正在喝水') time.sleep(1) print('a正在吃饭') time. ...
- 协程--gevent模块(单线程高并发)
先恶补一下知识点,上节回顾 上下文切换:当CPU从执行一个线程切换到执行另外一个线程的时候,它需要先存储当前线程的本地的数据,程序指针等,然后载入另一个线程的本地数据,程序指针等,最后才开始执行.这种 ...
- python之协程gevent模块
Gevent官网文档地址:http://www.gevent.org/contents.html 进程.线程.协程区分 我们通常所说的协程Coroutine其实是corporate routine的缩 ...
- python 并发编程 协程 gevent模块
一 gevent模块 gevent应用场景: 单线程下,多个任务,io密集型程序 安装 pip3 install gevent Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步 ...
- 协程----greenlet模块,gevent模块
1.协程初识,greenlet模块 2.gevent模块(需要pip安装) 一.协程初识,greenlet模块: 协程:是单线程下的并发,又称微线程,纤程.英文名Coroutine.一句话说明什么是线 ...
- 什么是协程(第三方模块gevent--内置模块asyncio)
目录 一:协程 1.什么是协程? 2.携程的作用? 3.安装第三方模块:在命令行下 二:greenlet模块(初级模块,实现了保存状态加切换) 三: gevent模块(协程模块) 1.time 模式协 ...
- 线程回调,线程中的队列,事件,greenlet模块,gevent模块,自定义补丁, 单线程实现并发,协程
1.线程回调 在线程池/进程池每次提交任务,都会返回一个表示任务的对象,Future对象Future对象具备一个绑定方法,add_done_callback 用于指定回调函数 add 意味着可以添加多 ...
- 14 并发编程-(协程)-greenlet模块&gevent模块
1.实现多个任务之间进行切换,yield.greenlet都没有实现检测I/O,greenlet在实现多任务切换下更简单 from greenlet import greenlet def eat(n ...
随机推荐
- filebeat7.5 日志
百度网盘 提取码: 6cvu 解压 tar -zxvf filebeat-7.5.0-linux-x86_64.tar.gz mv filebeat-7.5.0-linux-x86_64 /usr/l ...
- centos8安装lvs
一,配置ip转发 [root@localhost sysctl.d]# sysctl -a | grep ip_forward net.ipv4.ip_forward = 1 说明:如果net.ipv ...
- ffmpeg实现视频的翻转与旋转(ffmpeg4.2.2)
一,ffmpeg的安装 请参见: https://www.cnblogs.com/architectforest/p/12807683.html 说明:刘宏缔的架构森林是一个专注架构的博客,地址:ht ...
- 判断ip地址是属于国内还是国外
一,如何判断一个ip地址是否属于国内? 我们以前使用淘宝提供的一个api地址进行判断,但经常出现打不开的报错, 因为只需要判断是国内或国外,于是考虑自己搞一个简单的. 分配给国内的ip地址在apnic ...
- selenium基础--五种定位方式
find_element_by_name find_element_by_id find_element_by_xpath find_element_by_link_text find_element ...
- Shell脚本学习指南笔记(一)
脚本语言通常是解释型的,这类程序的运行.是由解释器读入程序代码,并将其转换成内部的形式, 再执行,解释器本身是一般的编译型程序. 第一行的开头处使用#!这两个字符,当内核扫描到改行的其余部分,看是否存 ...
- JVM内存管理和垃圾回收
无论对于Java程序员还是大数据研发人员,JVM是必须掌握的技能之一.既是面试中经常问的问题,也是在实际业务中对程序进行调优.排查类似于内存溢出.栈溢出.内存泄漏等问题的关键.笔者将按下图分多篇文章详 ...
- Redis学习笔记(一)——安装Redis
一.概述 Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日执行.Key-Value数据库,并提供多种语言的API. Redis是完全开源免费的,遵守BSD协议,是一 ...
- Mybatis---00Mybatis入门
一.什么是Mybatis Mybatis框架是一个半ORM框架.Mybatis是一个优秀的基于 java 的持久层框架,它内部封装了 jdbc,使开发者只需要关注 sql 语句本身,而不需要花费精力去 ...
- 一个.NET Core下的开源插件框架
插件模式历史悠久,各种中大型软件基本上都会实现插件机制,以此支持功能扩展,从开发部署层面,插件机制也可实现功能解耦,对于并行开发.项目部署.功能定制等都有比较大的优势. 在.NET Core下,一般我 ...