python 协程 greenlet gevent

一、并发的本质

切换+保存状态

cpu正在运行一个任务，会在两种情况下切走去执行其他的任务（切换由操作系统强制控制），一种情况是该任务发生了阻塞，另外一种情况是该任务计算的时间过长时间片到了

二、协程

协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。

1. python的线程属于内核级别的，即由操作系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其他线程运行）

2. 单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操作系统）控制切换，以此来提升效率（！！！非io操作的切换与效率无关）

 

三、协程的优缺点

对比操作系统控制线程的切换，用户在单线程内控制协程的切换

优点如下：

#1. 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级

#2. 单线程内就可以实现并发的效果，最大限度地利用cpu

缺点如下：

#1. 协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程

#2. 协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

 

四、协程的特点

1. 必须在只有一个单线程里实现并发

2. 修改共享数据不需加锁

3. 用户程序里自己保存多个控制流的上下文栈

4. 附加：一个协程遇到IO操作自动切换到其它协程（如何实现检测IO，yield、greenlet都无法实现，就用到了gevent模块（select机制））

　　（协程：本质是一个线程，能够在多个任务切换节省IO时间，任务切换耗时短，协程任务切换由程序完成）

 

五、在任务中切换的例子

• def consumer():
      while True:
          x = yield
          print('deal:',x)
  
  def producer():
      c = consumer()
      next(c)
      for i in range(10):
          print('generate:',i)
          c.send(i)
  producer()

六、greenlet

1. 简单实例

   #使用greenlet实现任务切换
   from greenlet import greenlet
   
   def eat():
       print('eat start')
       g2.switch()
       print('eat end')
       g2.switch()
   
   def play():
       print('playing start')
       g1.switch()
       print('playing end')
   
   g1 = greenlet(eat)
   g2 = greenlet(play)
   g1.switch()

2. 实例的执行顺序

七、gevent

1. gevent

   Gevent 是一个第三方库，可以轻松通过gevent实现并发同步或异步编程，在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部，但它们被协作式地调度。

2. 简介

   g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1，spawn括号内第一个参数是函数名，如eat，后面可以有多个参数，可以是位置实参或关键字实参，都是传给函数eat的
   
   g2=gevent.spawn(func2)
   
   g1.join() #等待g1结束
   
   g2.join() #等待g2结束
   
   #或者上述两步合作一步：gevent.joinall([g1,g2])
   
   g1.value#拿到func1的返回值

3. 例子1

   #如果没有遇到能识别的IO操作，不会进行任务切换，实现并发效果
   #要加上from gevent import monkey;monkey.patch_all()
   from gevent import monkey;monkey.patch_all()
   import gevent,time
   
   def eat():
       print('eat start')
       time.sleep(1)
       print('eat end')
   
   def play():
       print('playing start')
       time.sleep(1)
       print('playing end')
   
   g1 = gevent.spawn(eat)
   g2 = gevent.spawn(play)
   
   g1.join()
   g2.join()

4. 例子2

   #我们可以用threading.current_thread().getName()来查看每个g1和g2，查看的结果为DummyThread-n，即假线程
   from gevent import monkey;monkey.patch_all()
   import threading
   import gevent
   import time
   
   def eat():
       print(threading.current_thread().getName())
       print('eat food 1')
       time.sleep(2)
       print('eat food 2')
   
   def play():
       print(threading.current_thread().getName())
       print('play 1')
       time.sleep(1)
       print('play 2')
   
   g1=gevent.spawn(eat)
   g2=gevent.spawn(play)
   gevent.joinall([g1,g2])
   print('主')

5. 同步、异步效果

   from gevent import monkey;monkey.patch_all()
   import gevent
   import time
   
   def task():
       time.sleep(1)
       print(123)
   
   def synchronouse():
       for i in range(10):
           task()
   
   def asynchronouse():
       g_lst=[]
       for i in range(10):
           g = gevent.spawn(task)
           g_lst.append(g)
       gevent.joinall(g_lst)
   
   synchronouse()
   print('---')
   asynchronouse()

6. 例子-获取网站源码

   from gevent import monkey;monkey.patch_all()
   import requests
   import gevent
   
   url = ['http://www.baidu.com',
          'http://www.sogou.com',
          'http://www.hao123.com',
          'http://www.taobao.com',
          'http://www.cnblog.com']
   
   def get_url(url):
       res = requests.get(url)
       content = res.content
       return len(content)
   
   g_lst = []
   for i in url:
       g_lst.append(gevent.spawn(get_url,i))
   
   gevent.joinall(g_lst)
   
   for i in g_lst:
       print(i.value)