Python协程之Gevent模块
背景
进程是操作系统分配资源的最小单位,每个进程独享4G的内存地址空间,因此进程内数据是安全的,检查间的通信需要使用特定的方法。同理,正是因为进程是数据安全的,所以导致进程的切换是一个很麻烦效率不高的操作。为了解决进程切换带来的问题,线程这个名词出现了,一个进程可以包含多个线程,一个进程下的所有线程共享所有的数据,数据可以直接访问,协程的切换比进程的切换更快。进程和线程的切换是有操作系统控制,不是应用程序自己控制,是被动的。为了开发出应用程序自己可控制,百万级任务切换的方案,协程这个概念被提出了。
协程是一个“轻”量级的任务,协程的切换是单纯的应用程序内的代码变动,不涉及操作系统的动作。一个线程可以包含多个协程,协程的并发可以极大的提升代码的运行效率,而且协程的并发不用考虑互斥锁的问题,共享全局数据更简单更安全。
线程适用的场景:
IO密集型操作的系统,协程遇见IO操作自动切换
百万级任务的切换
python和协程
python因为GIL锁的原因,使得python环境下的多线程达不到理想的效果,因为GIL锁保证了同一时间下只有一个线程运行。为了实现python环境下多任务的并发,一般是多进程+多协程。python从3.0版本开始开发自带的协程库asyncio,到3.7版本已经发展成熟到了一定程度,完全可以用于线上运行。在asyncio库出来以前,第三方库Gevent是一个非常优秀的协程库,一直到现在还在被广泛使用。
Gevent库
例子:Gevent实现socket服务端和客户端之间的通信,以及使用queue进行协程见的消息通信。
from gevent import monkey; monkey.patch_all()
import gevent
import queue
import time
from socket import * q = queue.Queue() def func1():
while True:
msg = q.get()
print("func1 : %s" % (msg, )) def func2():
s = socket(AF_INET, SOCK_STREAM)
s.setsockopt(SOL_SOCKET, SO_REUSEADDR, )
s.bind(("127.0.0.1", ))
s.listen()
while True:
conn, addr = s.accept()
while True:
res = conn.recv()
q.put(res)
conn.send("ok".encode('utf-8')) gevent.joinall([
gevent.spawn(func1),
gevent.spawn(func2)
])
from socket import * client = socket(AF_INET, SOCK_STREAM)
client.connect(('127.0.0.1', )) while True:
msg = input('>>: ').strip()
client.send(msg.encode('utf-8'))
msg = client.recv()
print(msg)
注意:
- Gevent实现遇见IO自动切换的功能,需要调用如下代码from gevent import monkey; monkey.patch_all()实现,且处于该代码下面的代码才能自动切换,处于代码前面的代码不能自动切换
- 使用queue时,如果协程的等待IO全部是在从queue获取数据,那么Gevent会报异常“gevent.exceptions.LoopExit: This operation would block forever”,如下例子。解决的办法是不让Gevent全部等待在queue的get操作即可,如上面的socket例子。
from gevent import monkey; monkey.patch_all()
import gevent
import queue
import time
from socket import * q = queue.Queue() def func1():
while True:
msg = q.get()
print("func1 : %s" % (msg, )) def func2():
q.put("abc".encode('utf-8'))
time.sleep()
q.put("def".encode('utf-8')) gevent.joinall([
gevent.spawn(func1),
gevent.spawn(func2)
])
asyncio库(python3.7以上)
import asyncio async def foo():
print('----start foo')
await asyncio.sleep()
print('----end foo') async def bar():
print('****start bar')
await asyncio.sleep()
print('****end bar') async def main():
# res = await asyncio.gather(foo(), bar()) # 所有的协程并发执行
# 等价
task1 = asyncio.create_task(foo())
task2 = asyncio.create_task(bar())
await task1
await task2 if __name__ == '__main__':
asyncio.run(main()) # 结果
----start foo
****start bar
----end foo
****end bar
将上述socker例子,使用asyncio开发,如下所示。
import asyncio async def myprint():
while True:
msg = await q.get()
print("myprint: %s" % msg)
q.task_done() async def handle(reader, writer):
while True:
data = await reader.read()
message = data.decode()
addr = writer.get_extra_info('peername') await q.put(f"Received {message!r} from {addr!r}") writer.write("ok".encode('UTF-8'))
await writer.drain() async def myserver():
server = await asyncio.start_server(handle, '127.0.0.1', )
async with server:
await server.serve_forever() async def main():
global q
q = asyncio.Queue()
await asyncio.gather(myserver(), myprint()) asyncio.run(main())
import asyncio async def tcp_echo_client(message):
reader, writer = await asyncio.open_connection('127.0.0.1', ) while True:
msg = input(">>")
writer.write(msg.encode('UTF-8')) data = await reader.read()
print(f'Received: {data.decode()!r}') asyncio.run(tcp_echo_client('Hello World!'))
Python协程之Gevent模块的更多相关文章
- python编程中的并发------协程gevent模块
任务例子:喝水.吃饭动作需要耗时1S 单任务:(耗时20s) for i in range(10): print('a正在喝水') time.sleep(1) print('a正在吃饭') time. ...
- 协程:gevent模块,遇到i/o自动切换任务 038
协程 : gevent模块,遇到io自动切换任务 from gevent import monkey;monkey.patch_all() # 写在最上面 这样后面的所有阻塞就全部能够识别了 impo ...
- python之协程gevent模块
Gevent官网文档地址:http://www.gevent.org/contents.html 进程.线程.协程区分 我们通常所说的协程Coroutine其实是corporate routine的缩 ...
- python 并发编程 协程 gevent模块
一 gevent模块 gevent应用场景: 单线程下,多个任务,io密集型程序 安装 pip3 install gevent Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步 ...
- 协程--gevent模块(单线程高并发)
先恶补一下知识点,上节回顾 上下文切换:当CPU从执行一个线程切换到执行另外一个线程的时候,它需要先存储当前线程的本地的数据,程序指针等,然后载入另一个线程的本地数据,程序指针等,最后才开始执行.这种 ...
- Python协程之asyncio
asyncio 是 Python 中的异步IO库,用来编写并发协程,适用于IO阻塞且需要大量并发的场景,例如爬虫.文件读写. asyncio 在 Python3.4 被引入,经过几个版本的迭代,特性. ...
- 协程gevent模块和猴子补丁
# pip 装模块 greenlet和gevent # 协程 # 与进程.线程一样也是实现并发的手段 # 创建一个线程.关闭一个线程都需要创建寄存器.栈等.需要消耗时间 # 协程本质上是一个线程 # ...
- python协程之动态添加任务
https://blog.csdn.net/qq_29349715/article/details/79730786 python协程只能运行在事件循环中,但是一旦事件循环运行,又会阻塞当前任务.所以 ...
- python协程--asyncio模块(基础并发测试)
在高并发的场景下,python提供了一个多线程的模块threading,但似乎这个模块并不近人如意,原因在于cpython本身的全局解析锁(GIL)问题,在一段时间片内实际上的执行是单线程的.同时还存 ...
随机推荐
- Java 多线程基础(十)interrupt()和线程终止方式
Java 多线程基础(十)interrupt()和线程终止方式 一.interrupt() 介绍 interrupt() 定义在 Thread 类中,作用是中断本线程. 本线程中断自己是被允许的:其它 ...
- weblogic高级进阶之查看日志
域的日志位于 D:\Oracle\Middleware\user_projects\domains\base_domain\servers\AdminServer\logs 名字是base_domai ...
- 服务扫描-dmitry、nmap、amap和服务识别
dmitry使用-pb参数可以进行常用端口的banner抓取. 抓取效果: 强大的nmap也可以进行banner抓取,但是需要使用nmap内置的banner.nse脚本: kali中还有一个工具叫am ...
- Flink1.10全文跟读翻译
前言 突然的一个想法,我想把flink官网英语版全部看一遍翻译出来,并且带上自己的理解.自己不是什么大神,只是想这样做一遍,有人说不是有中文版,因为我自己想练习一下英语和对flink的理解吧!工作是一 ...
- 入门大数据---Spark_Transformation和Action算子
一.Transformation spark 常用的 Transformation 算子如下表: Transformation 算子 Meaning(含义) map(func) 对原 RDD 中每个元 ...
- 锐捷交换机18010-X端口假死现象
一次上架锐捷交换机,由于ODF光衰不稳定,导致交换机端口down,排查很多发现以下故障: 重置18010-X端口发现提示一下命令: Port in violation! Use 'errdisable ...
- 001_Linux常用命令之ls命令
1. 认识Linux系统目录结构 /bin 可执行文件所在目录 /media 挂载设备媒体,u盘,光驱等 /mnt 该目录主要是为了让用户挂在别的文件系统(挂在自己的u盘) /usr unix sys ...
- JavaScript基础-即时函数(Immediate Functions)(017)
1.即时函数的声明方法 即时函数(Immediate Functions)是一种特殊的JavaScript语法,可以使函数在定义后立即执行:(function () { alert('watch ...
- 《UNIX环境高级编程》(APUE) 笔记第八章 - 进程控制
8 - 进程控制 Github 地址 1. 进程标识 每个进程都有一个非负整型表示的 唯一进程 ID .进程 ID 是可复用的(延迟复用算法). ID 为 \(0\) 的进程通常是调度进程,常常被称为 ...
- 【vue】---- ElementUI 实现上传Excel
1.功能描述:vue 项目使用 el-upload 实现上传 Excel. 2.功能效果:在el-upload基础上做了样式整改. 3.功能实现: // el-upload 上传组件 <temp ...