Python使用gevent实现协程
Python中多任务的实现可以使用进程和线程,也可以使用协程。
一、协程介绍
协程,又称微线程。英文名Coroutine。协程是Python语言中所特有的,在其他语言中没有。
协程是python中另外一种实现多任务的方式,比线程更小、占用更小执行单元(理解为需要的资源)。
在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行。
注意不是通过调用函数的方式做到的,并且切换的次数以及什么时候再切换到原来的函数都由开发者自己决定。
在实现多任务时, 线程切换从系统层面远不止保存和恢复CPU上下文那么简单。 操作系统为了程序运行的高效性每个线程都有自己缓存数据,操作系统还会帮你做这些数据的恢复操作。 所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文,所以一秒钟切换个上百万次系统都抗的住。
二、通过yield实现任务切换
import time
def coroutine1():
for i in range(5):
print("-----coroutine1-----")
yield
time.sleep(1)
def coroutine2():
for i in range(5):
print("-----coroutine2-----")
yield
time.sleep(1)
if __name__ == "__main__":
c1 = coroutine1()
c2 = coroutine2()
for i in range(3):
next(c1)
next(c2)
运行结果:
-----coroutine1-----
-----coroutine2-----
-----coroutine1-----
-----coroutine2-----
-----coroutine1-----
-----coroutine2-----
yield可以用来实现生成器,当函数中有yield时,则不再是函数而是生成器。
当运行到yield时,会保存当前运行状态,然后暂停执行,直到使用next()方法再次调用生成器时,才会从yield处开始执行,再次回到yield处暂停住。
利用yield的特性,我们可以用来切换任务,当任务1暂停的时候,切换到任务2,当任务2暂停时,切换回任务1,如此循环。
上面的代码中,有两个任务coroutine1和coroutine2,coroutine1和coroutine2中都有yield关键字,所以我们可以在coroutine1和coroutine2间来回切换执行。
协程就是通过yield来实现多个任务之间的切换的。
三、使用greenlet实现任务切换
安装greenlet:
pip install greenlet
import greenlet
import time
def greenlet1():
for i in range(3):
print("-----greenlet1-----")
time.sleep(1)
g2.switch()
def greenlet2():
for i in range(3):
print("-----greenlet2-----")
time.sleep(1)
g1.switch()
g1 = greenlet.greenlet(greenlet1)
g2 = greenlet.greenlet(greenlet2)
# 切换到gr1中运行
g1.switch()
运行结果:
-----greenlet1-----
-----greenlet2-----
-----greenlet1-----
-----greenlet2-----
-----greenlet1-----
-----greenlet2-----
python中的greenlet模块对yield切换任务的功能进行了封装,可以通过代码来切换任务。
上面的代码中,我们写了两个函数greenlet1和greenlet2,在greenlet1中的代码执行完成后,通过switch()切换到greenlet2,greenlet2中的代码执行完成后,又通过switch()方法切换回greenlet1。这样就实现了任务的切换,我们要调用两个任务,只需要在主线程中先切换到greenlet1,程序就会在greenlet1和greenlet2之间来回切换执行。
四、使用gevent实现协程
安装gevent:
pip install gevent
import gevent
import time
def gevent_func():
for i in range(3):
print(gevent.getcurrent(), i)
gevent.sleep(1)
start = time.time()
gevent_func()
gevent_func()
gevent_func()
end = time.time()
print('One coroutine: ', end - start)
gevent_start = time.time()
g1 = gevent.spawn(gevent_func,)
g2 = gevent.spawn(gevent_func,)
g3 = gevent.spawn(gevent_func, )
g1.join()
g2.join()
g3.join()
gevent_end = time.time()
print('Multi coroutine: ', gevent_end - gevent_start)
运行结果:
0
1
2
0
1
2
0
1
2
One coroutine: 9.023481130599976
0
0
0
1
1
1
2
2
2
Multi coroutine: 3.0032901763916016
python中的gevent模块对greenlet模块进行了封装,实现了自动切换任务,实现了协程。
其原理是当一个greenlet遇到IO(input output输入输出)、阻塞(比如网络延迟、文件操作等)操作时,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。
由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。
上面的代码中,执行三次任务,任务是在同一个协程中执行的,耗时9秒多,当我们创建三个协程来执行任务时,耗时3秒多,说明使用多协程实现了多任务。
这也是为什么前面使用yield和greenlet时只说是任务切换,因为yield和greenlet是把一个任务(包含耗时等待)执行完后再切换到另一个任务,所以只起到任务切换的作用。而使用gevent时,只要遇到等待就会自动切换到其他协程,可以跳过等待的时间。
五、gevent的monkey补丁
细心的您应该已经看到,上面我们使用gevent实现协程的代码中,不是使用time.sleep(1),而是使用的gevent.sleep(1)来模拟等待。
因为在程序中有耗时操作时,需要将耗时操作的代码换为gevent中自己实现的模块,这样才能自动切换协程。
但是,开发中代码比上面的例子复杂多了,我们尽量不要去修改之前的代码。所以gevent模块中提供了一个monkey补丁,帮我实现将耗时代码换成gevent自己实现的模块。
import gevent无锡看男科医院哪家好 https://yyk.familydoctor.com.cn/20612/
from gevent import monkey
import time
monkey.patch_all()
def gevent_func():
for i in range(3):
print(gevent.getcurrent(), i)
time.sleep(1)
gevent_start = time.time()
g1 = gevent.spawn(gevent_func,)
g2 = gevent.spawn(gevent_func,)
g3 = gevent.spawn(gevent_func, )
g1.join()
g2.join()
g3.join()
gevent_end = time.time()
print('Multi coroutine: ', gevent_end - gevent_start)
运行结果:
0
0
0
1
1
1
2
2
2
Multi coroutine: 3.0212624073028564
通过monkey补丁,即使代码里面使用的是time.sleep(1),在运行程序时,monkey补丁会帮我们自动更换。
六、进程、线程、协程对比
1.进程切换需要的资源最大,效率很低。
2.线程切换需要的资源一般,效率一般,介于进程和协程之间(在不考虑GIL的情况下)。
3.协程切换任务资源很小,效率高。
Python使用gevent实现协程的更多相关文章
- Python 通过gevent实现协程
#coding:utf-8-*- '''协程(coroutine)又称微线程.纤程,是一种用户级的轻量级线程.协程有自己的寄存器上下文和栈.携程调度时,将寄存器上下文和栈 保存,在切换回来的时候恢复保 ...
- python的进程/线程/协程
1.python的多线程 多线程就是在同一时刻执行多个不同的程序,然而python中的多线程并不能真正的实现并行,这是由于cpython解释器中的GIL(全局解释器锁)捣的鬼,这把锁保证了同一时刻只有 ...
- python进阶——进程/线程/协程
1 python线程 python中Threading模块用于提供线程相关的操作,线程是应用程序中执行的最小单元. #!/usr/bin/env python # -*- coding:utf-8 - ...
- Gevent的协程实现原理
之前之所以看greenlet的代码实现,主要就是想要看看gevent库的实现代码. .. 然后知道了gevent的协程是基于greenlet来实现的...所以就又先去看了看greenlet的实现... ...
- Python程序中的协程操作-gevent模块
目录 一.安装 二.Gevent模块介绍 2.1 用法介绍 2.2 例:遇到io主动切换 2.3 查看threading.current_thread().getName() 三.Gevent之同步与 ...
- 31、Python程序中的协程操作(greenlet\gevent模块)
一.协程介绍 协程:是单线程下的并发,又称微线程,纤程.英文名Coroutine.一句话说明什么是协程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的. 对比操作系统控制线程的切换,用 ...
- python 并发编程 基于gevent模块 协程池 实现并发的套接字通信
基于协程池 实现并发的套接字通信 客户端: from socket import * client = socket(AF_INET, SOCK_STREAM) client.connect(('12 ...
- python学习道路(day11note)(协程,同步与异步的性能区别,url爬网页,select,RabbitMq)
1.协程 #协程 又称微线程 是一种用户的轻量级线程 程序级别代码控制 就不用加机器 #不同函数 = 不同任务 A函数切到B函数没有进行cpu级别的切换,而是程序级别的切换就是协程 yelied #单 ...
- 11.python之线程,协程,进程,
一,进程与线程 1.什么是线程 线程是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位.一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行 ...
随机推荐
- 题解 P1004 方格取数
传送门 动态规划Yes? 设i为路径长度,(为什么i这一维可以省掉见下)f[j][k]表示第一个点到了(j,i-j),第二个点到了(k,j-k) 则 int ji=i-j,ki=i-k; f[j][k ...
- bzoj3295: [Cqoi2011]动态逆序对 三维数点
为了便于考虑,把删除反序变为增加 于是就变成关于权值和位置和时间的三维数点 一波cdq一波树状数组教做人 (神TM需要longlong,80了一发) #include <bits/stdc++. ...
- 2017百度之星程序设计大赛 - 复赛 Arithmetic of Bomb
http://acm.hdu.edu.cn/showproblem.php?pid=6144 解法:一个简单的模拟 #include <bits/stdc++.h> using names ...
- opencv 形态学膨胀和腐蚀以及开运算和闭运算
- 洛谷P3928 SAC E#1 - 一道简单题 Sequence2
提交地址 题目背景 小强和阿米巴是好朋友. 题目描述 小强喜欢数列.有一天,他心血来潮,写下了三个长度均为n的数列. 阿米巴也很喜欢数列.但是他只喜欢其中一种,波动数列. 阿米巴把他的喜好告诉了小强. ...
- springboot+shiro+cas实现单点登录之shiro端搭建
github:https://github.com/peterowang/shiro-cas 本文如有配置问题,请查看之前的springboot集成shiro的文章 1.配置ehcache缓存,在re ...
- 复选框 省市区 联动(监听input的change事件)
需求:省市区三级包含复选框按钮以及文字描述.点击文字显示对应的下级地区,点击复选框选择对应的下级区域勾选. 分析:监听input的change事件当点击复选框省 选择对应的第一个市区,同时默认选中第 ...
- 关于IT公司招聘的一个思考
作者:朱金灿 来源:http://blog.csdn.net/clever101 21世纪什么最贵?人才!相信这是很多IT公司管理者的深刻感悟.对于IT公司而言,找到合适的人才往往不能单靠人事部门,一 ...
- Linux下使用crontab命令配置定时任务
一.语法结构 crontab [-e [UserName]|-l [UserName]|-r [UserName]|-v [UserName]|File ] 说明 : crontab 是用来让使用者在 ...
- 微软大礼包 | 集合在线学习资源,助你秒变AI达人
编者按:人工智能的浪潮正如火如荼地袭来,未来人工智能将大有所为,人们的生活轨迹也正在技术不断向前推进的过程中逐渐改变.人工智能不是科研人员或开发人员的专属,微软希望能够将人工智能带给每个人,从开发者到 ...