python async
理解 python 的 async:
1. 协程后面的技术也是 IO 多路复用, Nginx 和 nodejs 都充分利用了这种机制.
2. Flask 线程中为什么不能直接使用标准库 asyncio 来支持异步?
asyncio 一定要有应该eventloop, 而这个 eventloop 必须运行在主线程, 不能运行在子线程中, 所以在Flask 线程中不能直接使用标准库 asyncio.
3. 如果在单并发的情况下, web响应很慢. 改成 async模式, 并不会改善"单次"请求响应速度. 当然改成 async 通常来讲还是有意义的, 因为小并发时候响应很差, 当并发量稍微增加时, 在同步模式下, 响应就会急剧变差, 甚至无法响应. async 模式下, 从小并发到大并发, 响应速度下降非常缓慢.
如何将Python的同步方法改写异步? Python的异步方法大概可分三类:
1. 专门的基于 asyncio 优化的单线程异步方法
优点: 这类方法使用简单, 就像同步方法调用一样, 并发性能很高, 即使是在大并发下, latency也不会变差.
缺点: 基于 asyncio 的类库比较少, 最有名的是 aiohttp 库, https://github.com/aio-libs 还有一些.
实现一个这样的方法, 有些难度, 可以参考 aio-libs 下的一些类库.
2. 基于多线程(多进程)的 awaitable 方法
优点: 这类方法使用简单, 就像同步方法调用一样. 另外, 编写这类方法也非常简单, 先先一个同步方法, 然后利用一个 wrapper 就能转成异步方法.
缺点: 性能较差, 主要是因为没有做过细节优化, 只有方法整体运行完毕后, 才会将控制权交出, 管控粒度太粗, 通过多线程来支持并发.
3. 传统的多线程(多进程)的后台任务
优点: 如果不需要加上回调功能, 使用这种方法非常简单, 代码也容易维护, 并发性能也很好.
缺点: 要及时获取这种后台任务的结果, 只能使用回调函数, 代码就变得难以维护.
说明:多线程(多进程)推荐使用 cocurrent.futures.ThreadPoolExecutor 和 cocurrent.futures.ProcessPoolExecutor 两个池.
理解Python Async
https://www.aeracode.org/2018/02/19/python-async-simplified/
https://stackabuse.com/overview-of-async-io-in-python-3-7/
https://pymotw.com/3/asyncio/index.html
https://www.blog.pythonlibrary.org/2016/07/26/python-3-an-intro-to-asyncio/
https://tryexceptpass.org/article/asyncio-in-37/
https://tryexceptpass.org/article/controlling-python-async-creep/
https://tryexceptpass.org/article/threaded-asynchronous-magic-and-how-to-wield-it/
基于 asyncio 的 Aiohttp web 框架, 比如适合作 restful api 服务
Aiohttp 和 Flask 的对比
https://stackabuse.com/asynchronous-python-for-web-development/
https://stackabuse.com/asynchronous-vs-synchronous-python-performance-analysis/
python中重要的模块--asyncio
https://www.cnblogs.com/zhaof/p/8490045.html
https://www.syncd.cn/article/asyncio_article_01
https://www.syncd.cn/article/asyncio_article_02
https://www.syncd.cn/article/asyncio_article_03
可以为 awaitable 的 Task 增加回调:
task.add_done_callback(got_result) # task完成的时候通知我们
Django 社区推动的 ASGI 规范和实现
ASGI 服务器和框架
https://asgi.readthedocs.io/en/latest/implementations.html
Sanic -类 flask 的异步web framework
Python黑魔法 --- 异步IO( asyncio) 协程
https://www.jianshu.com/p/b5e347b3a17c
asyncio 中的 future 其实和 cocurrent.futures 中的future 不是一回事,
https://stackoverflow.com/questions/49350346/how-to-wrap-custom-future-to-use-with-asyncio-in-python
python async的更多相关文章
- 并发 并行 进程 线程 协程 异步I/O python async
一些草率不精确的观点: 并发: 一起发生,occurence: sth that happens. 并行: 同时处理. parallel lines: 平行线.thread.join()之前是啥?落霞 ...
- Python Async/Await入门指南
转自:https://zhuanlan.zhihu.com/p/27258289 本文将会讲述Python 3.5之后出现的async/await的使用方法,以及它们的一些使用目的,如果错误,欢迎指正 ...
- Python资源大全
The Python Tutorial (Python 2.7.11) 的中文翻译版本.Python Tutorial 为初学 Python 必备官方教程,本教程适用于 Python 2.7.X 系列 ...
- python coroutine
1. Python Async/Await入门指南 2. 用 Python 3 的 async / await 做异步编程 3.
- Python 异步编程笔记:asyncio
个人笔记,不保证正确. 虽然说看到很多人不看好 asyncio,但是这个东西还是必须学的.. 基于协程的异步,在很多语言中都有,学会了 Python 的,就一通百通. 一.生成器 generator ...
- Github上的python开源项目
Python开源项目,期待大家和我们一起共同维护 github排名榜单 https://github.com/trending github搜索榜单:https://github.com/search ...
- python异步编程 (转载)
Python Async/Await入门指南 转自:https://zhuanlan.zhihu.com/p/27258289 本文将会讲述Python 3.5之后出现的async/await的使 ...
- python爬虫如何提高效率
开启线程池: 线程池 asyncio 特殊的函数 协程 任务对象 任务对象绑定 事件循环 from multiprocessing.dummy import Pool map(func,alist): ...
- Python3 ORM hacking
#!/usr/bin/env python3 # -*- coding: utf- -*- # # Python3 ORM hacking # 说明: # 之前分析了一个Python2 ORM的源代码 ...
随机推荐
- Java生鲜电商平台-商城系统库存问题分析以及产品设计对逻辑/物理删除思考
Java生鲜电商平台-商城系统库存问题分析以及产品设计对逻辑/物理删除思考 说明:在生鲜电商的库存设计,是后台的重点,也是难点,关乎商品是否存在超卖.商品的库存增加方式倒不难,直接在后台添加即可,而扣 ...
- python判断字符串中是否包含子字符串
python判断字符串中是否包含子字符串 s = '1234问沃尔沃434' if s.find('沃尔沃') != -1: print('存在') else: print('不存在' ...
- python高级编程——进程和进程池
python提供了一个跨平台的多进程支持——multiprocessing模块,其包含Process类来代表一个进程对象 1.Process语法结构:(注: 传参的时候一定使用关键字传参) 2.自定义 ...
- echarts关系图圆心颜色渐变
let option = { backgroundColor: '#1a4377', animationDurationUpdate: 1500, // 动画更新变化时间 animationEasin ...
- ApiPost——国产postman,中文版,好用
一款类似postman的接口测试平台,中文版,很好用 参考链接: https://www.cnblogs.com/phpwechat/p/10487077.html ApiPost下载地址: http ...
- Android MediaPlayer 在 6.0 以上版本使用倍速播放功能说明
Android MediaPlayer 在API 23即6.0版本开始支持倍速播放,下面我们来介绍一下如何使用MediaPlayer进行倍速播放. 一.核心接口 MediaPlayer.setPlay ...
- 为什么AlertDialog要使用Builder来构建呢
为什么 AlertDialog 使用Builder 模式呢? 首先说句废话,因为 AlertDialog 太过复杂,内部参数太多,然后不使用构建者模式那么 AlertDialog 的构造方法就可能是: ...
- 中缀表达式转换为后缀表达式(python实现)
中缀表示式转换为后缀表达式 需要一个存放操作符的栈op_stack,输出结果的列表output 步骤: 从左到右遍历表达式: 1. 若是数字,直接加入到output 2. 若是操作符,比较该操作符和o ...
- CodeForces - 1251D (贪心+二分)
题意 https://vjudge.net/problem/CodeForces-1251D 您是一个大型企业的负责人.在您的企业当中共有n位员工为您工作,而且非常有趣的事是这个n是一个奇数(n不能被 ...
- X短期项目总结
刚退出了一个项目,简称为X项目.这个项目中,还是遇到了不少问题,也解决了部分问题,还是挺有收获的,所以总结一下. 虽然标题说是短期项目总结,但其实这个项目并不短, 持续了约3年时间. 所谓的短,只是我 ...