以Python为例的Async / Await的编程基础
来源:Redislabs
作者:Loris Cro
翻译:Kevin (公众号:中间件小哥)
近年来,许多编程语言都在努力改进它们的并发原语。Go 语言有 goroutines,Ruby 有 fibers,当然,还有 Node.js 帮助普及的 async/await,这是当今使用最为广泛的并发操作类型。在本文中,我将以 python 为例讨论 async/await 的基础知识。我选择python语言,是因为这个功能在python 3中比较新,很多用户可能对它还不是很熟悉。使用 async/await 的主要原因是通过减少 I/O 执行时的空闲时间来提高程序的吞吐量。使用这个操作符的程序通过隐式地使用一个称为事件循环的抽象来同时处理多个执行路径。在某些方面,这些事件循环类似于多线程编程,但是事件循环通常存在于单个线程中,因此,它不能同时执行多个计算。正因为如此,单独的事件循环不能提高计算密集型应用程序的性能。但是,对于进行大量网络通信的程序,比如连接到Redis数据库的应用程序,它可以极大地提高性能。每次程序向 Redis 发送一个命令时,它都会等待 Redis 的响应,如果 Redis 部署在另一台机器上,就会出现网络延迟。而一个不使用事件循环的单线程应用程序在等待响应时处于空闲状态,会占用大量的CPU周期。需要注意的是,网络延迟是以毫秒为单位的,而 CPU 指令需要纳秒来执行,这两者相差六个数量级。这里举个例子,下面的代码样例是用来跟踪一个游戏的获胜排行榜。每个流条目都包含获胜者的名字,我们的程序会更新一个 Redis 的有序集合(Sorted Set),这个有序集合用来作为排行榜。这里我们主要关注的是阻塞代码和非阻塞代码的性能。
import redis # The operation to perform for each event
def add_new_win(conn, winner):
conn.zincrby('wins_counter', 1, winner)
conn.incr('total_games_played') def main():
# Connect to Redis
conn = redis.Redis()
# Tail the event stream
last_id = '$'
while True:
events = conn.xread({'wins_stream': last_id}, block=0, count=10)
# Process each event by calling `add_new_win`
for _, e in events:
winner = e['winner']
add_new_win(conn, winner)
last_id = e['id'] if __name__ == '__main__':
main()
我们使用aio-libs/aioredis实现与上面代码有相同效果的异步版本。aio-libs 社区正在重写许多 Python 网络库,以包括对 asyncio 的支持,asyncio 是 Python 事件循环的标准库实现。下面是上面代码的非阻塞版本:
import asyncio
import aioredis async def add_new_win(pool, winner):
await pool.zincrby('wins_counter', 1, winner)
await pool.incr('total_games_played') async def main():
# Connect to Redis
pool = await aioredis.create_redis_pool('redis://localhost', encoding='utf8')
# Tail the event stream
last_id = '$'
while True:
events = await pool.xread(['wins_stream'], latest_ids=[last_id], timeout=0, count=10)
# Process each event by calling `add_new_win`
for _, e_id, e in events:
winner = e['winner']
await add_new_win(pool, winner)
last_id = e_id if __name__ == '__main__':
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
这段代码与上面那段代码相比,除了多了一些 await 关键字之外,其他的几乎是相同的。最大的不同之处在最后两行。在 Node.js 中,环境会默认加载事件循环,而在 Python 中,必须显示地开启。
重写之后,我们可能会认为这么做就可以提高性能了。不幸的是,我们代码的非阻塞版本还没有提高性能。这里的问题在于我们编写代码的细节,而不仅仅是使用 async / await 的一般思想。
Await 使用的限制
我们重写代码后的主要问题是我们过度使用了 await。当我们在异步调用前面加上 await 时,我们做了以下两件事:
1. 为执行做相应的调度
2. 等待完成
有时候,这样做是对的。例如,在完成对第 15 行流的读取之前,我们不能对每个事件进行迭代。在这种情况下,await 关键字是有意义的,但是看看 add_new_win 方法:
async def add_new_win(pool, winner):
await pool.zincrby('wins_counter', 1, winner)
await pool.incr('total_games_played')
在这个函数中,第二个操作并不依赖于第一个操作。我们可以将第二个命令与第一个命令一起发送,但是当我们发送第一个命令时,await 将阻塞执行流。我们其实更想要一种能立即执行这两个操作的方法。为此,我们需要一个不同的同步原语。
async def add_new_win(pool, winner):
task1 = pool.zincrby('wins_counter', 1, winner)
task2 = pool.incr('total_games_played')
await asyncio.gather(task1, task2)
首先,调用一个异步函数不会执行其中的任何代码,而是会先实例化一个“任务”。根据选择的语言,这可能被称为 coroutine, promise 或 future 等等。对我们来说,任务是一个对象,它表示一个值,该值只有在使用了 await 或其他同步原语(如 asyncio.gather)之后才可用。 在 Python 的官方文档中,你可以找到更多关于 asyncio.gather 的信息。简而言之,它允许我们在同一时间执行多个任务。我们需要等待它的结果,因为一旦所有的输入任务完成,它就会创建一个新的任务。Python 的 asyncio.gather 相当于 JavaScript 的 Promise.all,C# 的 Task.WhenAll, Kotlin 的 awaitAll 等等。
改进我们的主循环代码
我们对 add_new_win 所做的事情也可以用于主流事件处理循环。这是我所指的代码:
last_id = '$'
while True:
events = await pool.xread(['wins_stream'], latest_ids=[last_id], timeout=0, count=10)
for _, e_id, e in events:
winner = e['winner']
await add_new_win(pool, winner)
last_id = e_id
到目前为止,你会注意到我们是顺序地处理每个事件。因为在第 6 行中,使用 await 既可以执行又可以等待 add_new_win 的完成。有时这正是你希望发生的情况,因为如果你不按顺序执行,程序逻辑就会中断。在我们的例子中,我们并不真正关心排序,因为我们只是更新计数器。
last_id = '$'
while True:
events = await pool.xread(['wins_stream'], latest_ids=[last_id], timeout=0, count=10)
tasks = []
for _, e_id, e in events:
winner = e['winner']
tasks.append(add_new_win(pool, winner))
last_id = e_id
await asyncio.gather(*tasks)
我们现在也在并发地处理每一批事件,并且对代码的改动是最小的。最后要记住,有时即使不使用 asyncio.gather,程序也可以是高性能的。特别是,当你为 web 服务器编写代码并使用像 Sanic 这样的异步框架时,该框架将以并发的方式调用你的请求处理程序,即使你在等待每个异步函数调用,也能确保巨大的吞吐量。
总结
下面是我们进行上面两个更改之后的完整代码示例:
import asyncio
import aioredis async def add_new_win(pool, winner):
# Creating tasks doesn't schedule them
# so you can create multiple and then
# schedule them all in one go using `gather`
task1 = pool.zincrby('wins_counter', 1, winner)
task2 = pool.incr('total_games_played')
await asyncio.gather(task1, task2) async def main():
# Connect to Redis
pool = await aioredis.create_redis_pool('redis://localhost', encoding='utf8')
# Tail the event stream
last_id = '$'
while True:
events = await pool.xread(['wins_stream'], latest_ids=[last_id], timeout=0, count=10)
tasks = []
for _, e_id, e in events:
winner = e['winner']
# Again we don't actually schedule any task,
# and instead just prepare them
tasks.append(add_new_win(pool, winner))
last_id = e_id
# Notice the spread operator (`*tasks`), it
# allows using a single list as multiple arguments
# to a function call.
await asyncio.gather(*tasks) if __name__ == '__main__':
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
为了利用非阻塞 I/O,你需要重新考虑如何处理网络操作。值得高兴的是这并不是很困难,你只需要知道顺序性什么时候重要,什么时候不重要。尝试使用 aioredis 或等效的异步 redis 客户端,看看可以在多大程度上提高应用程序的吞吐量。
更多优质中间件技术资讯/原创/翻译文章/资料/干货,请关注“中间件小哥”公众号!
以Python为例的Async / Await的编程基础的更多相关文章
- 【转】以Python为例的Async / Await的编程基础
转, 原文:https://www.cnblogs.com/middleware/p/11996731.html 以Python为例的Async / Await的编程基础 -------------- ...
- [翻译] Python 3.5中async/await的工作机制
Python 3.5中async/await的工作机制 多处翻译出于自己理解,如有疑惑请参考原文 原文链接 身为Python核心开发组的成员,我对于这门语言的各种细节充满好奇.尽管我很清楚自己不可能对 ...
- C#中 Thread,Task,Async/Await 异步编程
什么是异步 同步和异步主要用于修饰方法.当一个方法被调用时,调用者需要等待该方法执行完毕并返回才能继续执行,我们称这个方法是同步方法:当一个方法被调用时立即返回,并获取一个线程执行该方法内部的业务,调 ...
- 【转】C# Async/Await 异步编程中的最佳做法
Async/Await 异步编程中的最佳做法 Stephen Cleary 近日来,涌现了许多关于 Microsoft .NET Framework 4.5 中新增了对 async 和 await 支 ...
- .NET Web应用中为什么要使用async/await异步编程
前言 什么是async/await? await和async是.NET Framework4.5框架.C#5.0语法里面出现的技术,目的是用于简化异步编程模型. async和await的关系? asy ...
- 图与例解读Async/Await
JavaScript ES7的async/await语法让异步promise操作起来更方便.如果你需要从多个数据库或者接口按顺序异步获取数据,你可能最终写出一坨纠缠不清的promise与回调.然而使用 ...
- async/await 异步编程(转载)
转载地址:http://www.cnblogs.com/teroy/p/4015461.html 前言 最近在学习Web Api框架的时候接触到了async/await,这个特性是.NET 4.5引入 ...
- async/await 异步编程
前言 最近在学习Web Api框架的时候接触到了async/await,这个特性是.NET 4.5引入的,由于之前对于异步编程不是很了解,所以花费了一些时间学习一下相关的知识,并整理成这篇博客,如果在 ...
- async & await 异步编程的一点巧方法
await 关键字不会创建新的线程,而是由Task任务或是FCL中的xxxAsync等方法创建的线程,而且这里创建的线程都是基于线程池创建的工作线程,属于后台线程. await关键字会阻塞/暂停调用它 ...
随机推荐
- 在线预览office文件
Office Online 实现在线预览 office的在线预览,针对不同的浏览器版本和系统具有要求,具体的相关文档请参考官方文档. 利用office online 平台进行office 文档的在线查 ...
- Educational Codeforces Round 71 (Rated for Div. 2)E. XOR Guessing
一道容斥题 如果直接做就是找到所有出现过递减的不同排列,当时硬钢到自闭,然后在凯妹毁人不倦的教导下想到可以容斥做,就是:所有的排列设为a,只考虑第一个非递减设为b,第二个非递减设为c+两个都非递减的情 ...
- [翻译]Jupyter notebook .NET Core 内核预览1
当您想到Jupyter Notebooks时,您可能会考虑使用Python,R,Julia或Scala而不是.NET编写代码. 今天,我们很高兴宣布您可以在Jupyter Notebooks中编写.N ...
- [springboot 开发单体web shop] 4. Swagger生成Javadoc
Swagger生成JavaDoc 在日常的工作中,特别是现在前后端分离模式之下,接口的提供造成了我们前后端开发人员的沟通 成本大量提升,因为沟通不到位,不及时而造成的[撕币]事件都成了日常工作.特别是 ...
- [考试反思]0810NOIP模拟测试16:黎明
好吧,你尽力啦.我不说什么啦 []200 []180 [6]170 [7]160 [11]150 [12]140 还好,和前面的差距不大.虽说没有原来最好的那段时间考得那么好,但貌似还可以接受. 这次 ...
- csps模拟测试70
又炸了,T1没开$long long$,炸掉$50pts$,昨天因为SB错误挂掉$100pts$. 我kuku了,以后细心点吧.
- MySql——使用where子句过滤数据
示例使用的数据表在上一个博客中创建的https://www.cnblogs.com/lbhym/p/11895968.html 参考资料:<Mysql必知必会> 1.使用where子句 示 ...
- 有关html的标签以及css属性(border、div)
border 边框css属性 边框颜色 border-color边框样式 border-style:solid (实线)dashed(虚线)默认为none边框粗细 border-width:1px:默 ...
- # & 等特殊字符会导致传参失败
# & 等特殊字符会导致 post 传参失败 处理方法使用 encodeURIComponent 将字符串转化一下 实例 // toUpperCase() 转化为大写字母 var cateco ...
- 力扣(LeetCode)Excel表列名称 个人题解
给定一个正整数,返回它在 Excel 表中相对应的列名称. 例如, 1 -> A 2 -> B 3 -> C ... 26 -> Z 27 -> AA 28 -> ...