python进阶------进程线程（四）

Python中的协程

协程，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程。

协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈。因此：

协程能保留上一次调用时的状态（即所有局部状态的一个特定组合），每次过程重入时，就相当于进入上一次调用的状态，换种说法：进入上一次离开时所处逻辑流的位置。

一、yield实现协程

import time
def consumer():
    """consumer 是一个生成器函数，任何包含yield的函数都是生成器对象"""
    r=''
    while True:
        #consumer 函数通过yield拿到消息，处理又把yield的结果返回给produce生产者。
        n=yield r#yield 指令具有return关键字的作用。然后函数的堆栈会自动冻结在这一行。
        if not n:#当函数的调用者下一次利用next()或者.send()或者for in 来迭代调用该函数的时候，
            return#就会出yield代码的下一行开始，继续执行，再返回下一次的迭代结果。通过这种方式，迭代器可以实现无限序列和惰性求值。
        print('[CONSUMER] ←← Consuming %s...' % n)
        time.sleep(1)
        r = 'consume  over'

def produce(c):
    #首先调用next来启动生成器函数。(consumer)
    next(c)
    n=0
    while n<5:
        n = n+1
        print('[PRODUCER] →→ Producing %s...' % n)
        #一生产了东西就会通过c.send(n)切换到consumer执行
        cr = c.send(n)
        print('[PRODUCER] Consumer return: %s' % cr)
        #produce 不生产了，通过s.close()关闭consumer，整个过程结束
    c.close()

if __name__ == '__main__':
    #通过yield实现的协程的功能整个流程无锁，由一个线程执行，produce和consumer 协作完成任务，并非多线程来抢占任务，将切换变为可控执行的顺序也自然可控最后都是生产者生产一个消费者消费一个。
    c = consumer()
    produce(c)
二、greenlet
greenlet机制的主要思想是：生成器函数或者协程函数中的yield语句挂起函数的执行，直到稍后使用next()或send()操作进行恢复为止。可以使用一个调度器循环在一组生成器函数之间协作多个任务。greentlet是python中实现我们所谓的"Coroutine(协程)"的一个基础库。

from greenlet import greenlet

def test1():
print (12)
gr2.switch()
print (34)
gr2.switch()

def test2():
print (56)
gr1.switch()
print (78)

gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr1.switch()

三、基于greenlet的框架

1.1gevent实现协程

Python通过yield提供了对协程的基本支持，但是不完全。而第三方的gevent为Python提供了比较完善的协程支持。

gevent是第三方库，通过greenlet实现协程，其基本思想是：

当一个greenlet遇到IO操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO。

由于切换是在IO操作时自动完成，所以gevent需要修改Python自带的一些标准库，这一过程在启动时通过monkey patch完成：

monkey 可以使一些阻塞的模块变得不在阻塞，机制：遇到IO操作时则自动切换，手动切换的话只能用到gevent.sleep(0)

from gevent import monkey
monkey.patch_all()
import gevent
from urllib import request
import time

def f(url):
print('GET: %s' % url)
resp = request.urlopen(url)
data = resp.read()
print('%d bytes received from %s.' % (len(data), url))

start=time.time()

gevent.joinall([
gevent.spawn(f, 'https://itk.org/'),
gevent.spawn(f, 'https://www.github.com/'),
gevent.spawn(f, 'https://zhihu.com/'),
])

# f('https://itk.org/')
# f('https://www.github.com/')
# f('https://zhihu.com/')

print(time.time()-start)

用法：

gevent.spawn(函数名称，函数参数)：开启协程

gevent.joinall停止协程。

四、协程的优缺点

协程的好处：

无需线程上下文切换的开销
无需原子操作锁定及同步的开销
方便切换控制流，简化编程模型
高并发+高扩展性+低成本：一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。
缺点：

无法利用多核资源：协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要，除非是cpu密集型应用。
进行阻塞（Blocking）操作（如IO时）会阻塞掉整个程序