一 gevent模块

gevent应用场景:

单线程下,多个任务,io密集型程序

安装

pip3 install gevent

Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度。

gevent可以检测io,实现遇到io自动切换另外一个任务

#用法
g1=gevent.spawn(func,1,2,3,x=4,y=5)
创建一个协程对象g1,spawn括号内第一个参数是函数名,如eat,后面可以有多个参数,可以是位置实参或关键字实参,都是传给函数eat的 g2=gevent.spawn(func2) g1.join() #等待g1结束 g2.join() #等待g2结束 #或者上述两步合作一步:gevent.joinall([g1,g2]) g1.value#拿到func1的返回值

遇到io立刻 切换到另外一个任务,这是使用gevent.sleep 自己产生的io操作

import gevent
import time def eat(name):
print("%s:eat 1" %name)
gevent.sleep(3)
print("%s:eat 2" %name) def play(name):
print("%s:play 1" % name)
gevent.sleep(4)
print("%s:play 2" % name) g1 = gevent.spawn(eat,"mike")
g2 = gevent.spawn(play,"mike") start_time = time.time()
g1.join()
g2.join() end_time = time.time()
print(end_time-start_time) '''
mike:eat 1
mike:play 1
mike:eat 2
mike:play 2
4.0012290477752686
'''

而time.sleep(2)或其他的阻塞,gevent是不能直接识别的,遇到io不切换另外一个任务

gevent模块 只能识别自己模拟的io操作,其他io操作无法识别

import gevent
import time def eat(name):
print("%s:eat 1" %name)
time.sleep(3)
print("%s:eat 2" %name) def play(name):
print("%s:play 1" % name)
time.sleep(4)
print("%s:play 2" % name) g1 = gevent.spawn(eat,"mike")
g2 = gevent.spawn(play,"mike") start_time = time.time()
g1.join()
g2.join() end_time = time.time()
print(end_time-start_time) '''
mike:eat 1
mike:eat 2
mike:play 1
mike:play 2
7.0004003047943115
'''

需要用下面一行代码,打补丁,就可以识别了,

from gevent import monkey;monkey.patch_all()必须放到被打补丁者的前面,如time,socket模块之前

或者我们干脆记忆成:要用gevent,需要将from gevent import monkey;monkey.patch_all()放到文件的开头

把monkey.pathch_all() 下面所有代码的涉及到io阻塞操作都打个标记,变成非阻塞操作,让gevent可以识别

这样就可以检测到io操作

from gevent import monkey;monkey.patch_all()
import gevent
import time def eat(name):
print("%s:eat 1" %name)
time.sleep(3)
print("%s:eat 2" %name) def play(name):
print("%s:play 1" % name)
time.sleep(4)
print("%s:play 2" % name) g1 = gevent.spawn(eat,"mike")
g2 = gevent.spawn(play,"mike") start_time = time.time()
g1.join()
g2.join() end_time = time.time()
print(end_time-start_time) '''
mike:eat 1
mike:play 1
mike:eat 2
mike:play 2
4.032230854034424
'''

join()  主线程等待任务运行完后才销毁

joinall()  等待多个任务 用列表存放任务

from gevent import monkey;monkey.patch_all()
import gevent
import time def eat(name):
print("%s:eat 1" %name)
time.sleep(3)
print("%s:eat 2" %name) def play(name):
print("%s:play 1" % name)
time.sleep(4)
print("%s:play 2" % name) g1 = gevent.spawn(eat,"mike")
g2 = gevent.spawn(play,"mike") gevent.joinall([g1,g2])

python 并发编程 协程 gevent模块的更多相关文章

  1. python 并发编程 协程 greenlet模块

    一 greenlet模块 不敢是yield,还是greenlet都没有实现检测io,实现遇到io切换效果 如果我们在单个线程内有20个任务,要想实现在多个任务之间切换,使用yield生成器的方式过于麻 ...

  2. python 并发编程 协程 目录

    python 并发编程 协程 协程介绍 python 并发编程 协程 greenlet模块 python 并发编程 协程 gevent模块 python 并发编程 基于gevent模块实现并发的套接字 ...

  3. python并发编程&协程

    0x01 前导 如何基于单线程来实现并发? 即只用一个主线程(可利用的cpu只有一个)情况下实现并发: 并发的本质:切换+保存状态 cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操 ...

  4. Python并发编程协程(Coroutine)之Gevent

    Gevent官网文档地址:http://www.gevent.org/contents.html 基本概念 我们通常所说的协程Coroutine其实是corporate routine的缩写,直接翻译 ...

  5. 14 并发编程-(协程)-greenlet模块&gevent模块

    1.实现多个任务之间进行切换,yield.greenlet都没有实现检测I/O,greenlet在实现多任务切换下更简单 from greenlet import greenlet def eat(n ...

  6. 并发编程~~~协程~~~greenlet模块, gevent模块

    一 协程 1. 协程: 单线程下的并发,又称微线程,纤程.协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的. 并发真正的核心: 切换并且保持状态. 开启协程并发的执行,自己的程序把控着C ...

  7. Python之路【第十七篇】:Python并发编程|协程

    一.协程 协程,又叫微线程,纤程.英文名Coroutine.协程本质上就是一个线程 优点1:协程极高的执行效率.因为子程序切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线 ...

  8. python 并发编程 协程 协程介绍

    协程:是单线程下的并发,又称微线程,纤程.英文名Coroutine.一句话说明什么是线程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的 需要强调的是: 1. python的线程属于内 ...

  9. Python并发编程-协程

    利用Greenlet模块在多线程之间切换 from greenlet import greenlet def eat(): print('eating start') g2.switch() prin ...

随机推荐

  1. 【LuoguP5328】[ZJOI2019]浙江省选

    题目链接 题意 给你一堆斜率和纵截距都为正的直线 ,求对于一个条直线是否存在一个 x 使得在这条直线在 x 处能是前 m 大,输出最高能够达到的排名(排名定义为在 x 处严格大于自己的直线条数+1) ...

  2. 【LuoguP5383】[模板]普通多项式转下降幂多项式

    传送门 Sol (怎么老是有人喜欢出新的多项式毒瘤板子,懒得整到一起了) 核心就是把 幂用下降幂来代替. 使用斯特林数展开幂为下降幂: \[x^n=\sum_{i=0}^n{x\choose i}i! ...

  3. WebService帮助类改良版,支持多webservice

    帮助类代码 using System; using System.CodeDom; using System.CodeDom.Compiler; using System.Collections.Ge ...

  4. css基础部分

  5. 51 Nod 1066 Bash游戏

    1066 Bash游戏  基准时间限制:1 秒 空间限制:131072 KB 分值: 0 难度:基础题  收藏  关注 有一堆石子共有N个.A B两个人轮流拿,A先拿.每次最少拿1颗,最多拿K颗,拿到 ...

  6. TTTTTTTTTTTT 百度之星D map+hash

    Problem D  Accepts: 2806  Submissions: 8458  Time Limit: 2000/1000 MS (Java/Others)  Memory Limit: 6 ...

  7. 理解ext文件系统

    理解ext文件系统 @(0001学习博客) 注意:本文参考骏马金龙的博客,详情请移步浏览 一.一些常见的文件系统 Linux的文件系统: ext2(无日志功能), ext3, ext4, xfs, r ...

  8. Alibaba DataX 源码编译

    Alibaba DataX 源码编译 标签(空格分隔): ETL DataX简介 设计理念 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负 ...

  9. java 手机号/身份证(*)加密隐藏中间某几位几位

    //手机号 保留前3 后4 String phone = "18771632488"; System.out.println(phone.replaceAll("(\\d ...

  10. 快速排序和二分查找(Java)

    import java.util.Arrays; public class Main { public static void main(String[] args) { int[] data = { ...