gevent完成多任务

一、原理

gevent实现多任务并不是依靠多进程或是线程,执行的时候只有一个线程,在遇到堵塞的时候去寻找可以执行的代码。本质上是一种协程。

二、代码实现

import gevent

def f1(n):
for i in range(n):
print(gevent.getcurrent(), i)
gevent.sleep(0.5) def f2(n):
for i in range(n):
print(gevent.getcurrent(), i)
gevent.sleep(0.5) def f3(n):
for i in range(n):
print(gevent.getcurrent(), i)
gevent.sleep(0.5) # 创建gevent对象,spawn()函数中的第二个参数是前面需要执行的函数中需要传入的参数
# 此时仅仅是创建对象并没有执行
g1 = gevent.spawn(f1, 5)
g2 = gevent.spawn(f1, 5)
g3 = gevent.spawn(f1, 5) # 调用join()函数的时候才开始执行
g1.join()
g2.join()
g3.join()

解读:

程序从上往下执行,在执行到g1.join()的时候,会去执行对应的函数,这个函数在执行的过程中会出现堵塞现象。在这个时候程序并不会一直在那里等待,而是回去继续寻找其他的gevent创建的对象,继续执行代码。在这个程序里面,会继续执行g2.join(),依此类推,后面代码的执行情况和这个一样。(这点就像是异步I/O)

注意:

  • gevent.spawn()---------->用于创建gevent对象,并没有执行函数
  • g1.join()---------->此时才开始执行对应的函数
  • 在gevent()中要想有sleep()造成的堵塞,必须使用gevent.sleep()。(前提是没有打补丁)

三、gevent打补丁

# 打补丁,导入这个模块,并执行指定的函数,那么遇到需要耗时的操作都会将其替换成gevent()中的耗时操作
from gevent import monkey
monkey.patch_all()

打完补丁之后可以使用time.sleep()

def f1(n):
for i in range(n):
print(gevent.getcurrent(), i)
time.sleep(0.5)

如上面代码所示,将完整代码中的gevent.sleep()全部替换为time.sleep()效果不会发生改变

四、更简单的输出方式

观察上面的程序,我们发现在调用gevent创建的对象的时候,代码过于冗长。加入创建了一百个gevent对象,那岂不是要写一百个join()函数。

为了解决这个问题,gevent给我们提供了一个joinall()函数。

语法如下:

gevent.joinall([
gevent.spawn(functionname1),
gevent.spawn(functionname2),
gevent.spawn(functionname3)
])

对上面咱们已经写好的代码进行如下修改,修改完成之后代码执行效果不变。

gevent.joinall([
gevent.spawn(f1, 5),
gevent.spawn(f2, 5),
gevent.spawn(f3, 5)
])

五、gevent实现图片下载器

import gevent
import urllib.request
from gevent import monkey monkey.patch_all() def img_download(img_name, img_url):
req = urllib.request.urlopen(img_url) # 获取的是响应状态
content = req.read()
with open(img_name, "wb") as f:
f.write(content) def main():
gevent.joinall([
gevent.spawn(img_download, "1.jpg", "http://n.sinaimg.cn/photo/transform/700/w1000h500/20211002/3c9c-4fecc919c8af637a9f6cc7c82b4cf3bc.jpg"),
gevent.spawn(img_download, "2.jpg" , "https://n.sinaimg.cn/photo/400/w200h200/20210416/a6a4-knvsnuf5950596.jpg")
]) if __name__ == "__main__":
main()

01-gevent完成多任务的更多相关文章

  1. Python 使用gevent实现多任务

    import gevent import time # 如果需要默认的 time.sleep(0.5) 需要打补丁 from gevent import monkey monkey.patch_all ...

  2. 多任务5-协程(IO密集型适用)--gevent完成多任务及monkey补丁

    代码: import gevent def f1(n): for i in range(n): print(gevent.getcurrent(),i) gevent.sleep(1) def f2( ...

  3. Python多任务之协程

    前言 协程的核心点在于协程的使用,即只需要了解怎么使用协程即可:但如果你想了解协程是怎么实现的,就需要了解依次了解可迭代,迭代器,生成器了: 如果你只想看协程的使用,那么只需要看第一部分内容就行了:如 ...

  4. python多任务的实现:线程,进程,协程

    什么叫“多任务”呢?简单地说,就是操作系统可以同时运行多个任务.打个比方,你一边在用浏览器上网,一边在听MP3,一边在用Word赶作业,这就是多任务,至少同时有3个任务正在运行.还有很多任务悄悄地在后 ...

  5. python多任务——协程的使用

    使用yield完成多任务 import time def test1(): while True: print("--1--") time.sleep(0.5) yield Non ...

  6. python就业班-淘宝-目录.txt

    卷 TOSHIBA EXT 的文件夹 PATH 列表卷序列号为 AE86-8E8DF:.│ python就业班-淘宝-目录.txt│ ├─01 网络编程│ ├─01-基本概念│ │ 01-网络通信概述 ...

  7. python高级编程之 web静态服务器

    返回固定数据 import socket def request_handler(new_client_socket): """ 响应客户端请求的核心函数 "& ...

  8. 多任务-python实现-gevent(2.1.15)

    @ 目录 1.说明 2.代码 关于作者 1.说明 上个博文携程实现的多任务 依然是一个进程,一个线程,只不过执行了不同的代码部分 这里使用gevent,或者greenlet 当gevent执行的时候遇 ...

  9. 戴文的Linux内核专题:01介绍

    转自Linux中国 译者按:本文作者戴文.科利尔.约翰逊(Devyn Collier Johnson)今年才19岁,但是他在Linux内核.人工智能.编程语言方面拥有丰富的经验,本文是其在linux. ...

随机推荐

  1. [hdu6349]三原色图

    考虑分别求出RG和GB的最小生成树,然后剩下的边中肯定选择较小的边加入这两颗生成树 1 #include<bits/stdc++.h> 2 using namespace std; 3 # ...

  2. 安装maven配置maven环境变量

    在官网下载maven的包 我们下载的是:apache-maven-3.5.2-bin.zip 3.解压缩maven的包到某个目录中 4.配置maven的环境变量 配置M2_HOME环境变量为maven ...

  3. CF513G3 Inversions problem

    考虑记\(f_{i,j,k}\)为\(k\)次操作后,\(i,j\)位置被调换的概率. 那么我们考虑枚举我们要算的答案即\((x,y)\). 那么有\(\frac{n * (n + 1)}{2}\)种 ...

  4. CURL常用参数

    1. CURL简介 cURL是一个利用URL语法在命令行下工作的文件传输工具.它支持文件上传和下载,是综合传输工具.cURL就是客户端(client)的URL工具的意思. 2. 常用参数 -k:不校验 ...

  5. zabbix_get

    zabbix_get是一个命令行工具,可用于从一个远程的Zabbix探针获取监控数据. 1.2 用法 zabbix_get [-hV] [-s <host name or IP> ] [- ...

  6. 66-Reorder List

    Reorder List My Submissions QuestionEditorial Solution Total Accepted: 64392 Total Submissions: 2818 ...

  7. Linux 中的五种 IO 模型

    Linux 中的五种 IO 模型 在正式开始讲Linux IO模型前,比如:同步IO和异步IO,阻塞IO和非阻塞IO分别是什么,到底有什么区别?不同的人在不同的上下文下给出的答案是不同的.所以先限定一 ...

  8. cp -拷贝文件出现错误

    对于cp -a最主要的用法是在保留原文件属性的前提下复制文件. 如果出现了拷贝文件错误,在文件前面加上-a 即可

  9. 从零开始学习oracle

    引用博客:https://blog.csdn.net/qq_36998053/article/details/82725765 )Oracle之<环境配置> (二)Oracle之<基 ...

  10. github小白的记录随笔

    此文章是基础本地安装好了git环境的新手小白. 进入您要上传项目的根路径,右键选择Git Bash Here. 输入命令: git init //初始化git仓库环境 git remote add o ...