同步是CPU自己主动查看IO操作是否完成,异步是IO操作完成后发出信号通知CPU(CPU是被通知的)

阻塞与非阻塞的区别在于发起IO操作之后,CPU是等待IO操作完成再进行下一步操作,还是不等待去做其他的事直到IO操作完

成了再回来进行。

消息模型:当遇到IO操作时,代码只负责发出IO请求,不等待IO结果,然后直接结束本轮消息处理,进入下一轮

消息处理过程。当IO操作完成后,将收到一条“IO完成”的消息,处理该消息时就可以直接获取IO操作结果。

子程序调用总是一个入口,一次返回,调用顺序是明确的,而协程的调用和子程序不同(有多个入口,多次返回)。

#协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行

协程子程序切换不是线程切换(系统自动执行),而是有程序自身控制。

#Python对协程的支持是通过generator实现的。

#在generator中,我们不但可以通过for循环来迭代,还可以不断调用next()函数获取有yield语句返回的下一个值。

#但是Python的yield不但可以返回一个值,还可以接收调用者发出的参数。

def consumer():

r=''

while True:

n=yield r

if not n:

return

print('[CONSUMER]Consuming %s...' % n)

r='200 OK'

def produce(c):

c.send(None)  #调用c.send(None)启动生成器,程序跳转到consumer,运行至yield 处结束返回produce.

n=0

while n<5:

n=n+1

print('[PRODUCER]Producing %s...' %n)

r=c.send(n) #通过c.send(n)切换到consumer执行

print('[PRODUCER]cONSUMER RETURN: %s' %r)

c.close()

c=consumer()

produce(c)

'''

1.首先调用c.send(None)启动生成器

2.然后,一旦产生了东西,通过c.send(n)切换到consumer执行

3.consumer通过yield拿到消息,处理,又通过yield把结果传回

4.produce拿到consumer处理的结果,继续生产下一条消息

5.produce决定不生产了,通过c.close()关闭consumer,整个过程结束。

整个流程无锁,由一个线程执行,produce和consumer协作完成任务,所以称为“协程”而非线程的抢占式多任务。

send()和yield相互为  发送和接收 参数  r=c.send(n),将参数n 传递给c函数,由c函数中的yield 及其后的变

量 接收,c中的程序再次运行到yield时,yield将其后的变量作为返回值,也就是c.send(n)的值

'''

'''

[PRODUCER]Producing 1...

[CONSUMER]Consuming 1...

[PRODUCER]cONSUMER RETURN: 200 OK

[PRODUCER]Producing 2...

[CONSUMER]Consuming 2...

[PRODUCER]cONSUMER RETURN: 200 OK

[PRODUCER]Producing 3...

[CONSUMER]Consuming 3...

[PRODUCER]cONSUMER RETURN: 200 OK

[PRODUCER]Producing 4...

[CONSUMER]Consuming 4...

[PRODUCER]cONSUMER RETURN: 200 OK

[PRODUCER]Producing 5...

[CONSUMER]Consuming 5...

[PRODUCER]cONSUMER RETURN: 200 OK

'''

#asyncio是Python3.4版本引入的标准库,直接内置了对异步IO的支持

#asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个Eventloop的引用,然后把需要执行的协程扔到Eventloop中执行,就实现了异步IO。

#用asyncio实现Hello world 代码如下:

'''

import threading

import asyncio

@asyncio.coroutine

def hello():

print('Hello world! (%s)' %threading.currentThread())

yield from asyncio.sleep(1)

print('Hello again!(%s)' % threading.currentThread())

loop=asyncio.get_event_loop()

tasks=[hello(),hello()]

loop.run_until_complete(asyncio.wait(tasks))

loop.close()

'''

'''

Hello world! (<_MainThread(MainThread, started 5524)>)

Hello world! (<_MainThread(MainThread, started 5524)>)

(暂停约1秒)

Hello again!(<_MainThread(MainThread, started 5524)>)

Hello again!(<_MainThread(MainThread, started 5524)>)

'''

# @asyncio.coroutine把一个generator标记为corroutine类型,然后,我们就把这个coroutine扔到Eventloop

中执行。

#hello()会首先打印出Hello world!,然后,yield from 语法可以让我们方便地调用另一个generator.由于

asyncio.sleep()也是一个coroutine,所以线程不会等待

#asyncio.sleep(),而是直接中断并执行下一个消息循环。当asyncio.sleep()返回时,线程就可以从yield from

拿到返回值(此处是None),然后接着执行下一行语句。

#把asyncio.sleep(1)看成是一个耗时1秒的IO操作,在此期间,主线程并未等待,而是去执行Eventloop中其他可以执

行的coroutine了,因此可以实现并发执行。

多个coroutine可以封装成一组task然后并发执行。

asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个Eventloop的引用,然后把需要执行的协程扔

到Eventloop中执,就实现了异步IO。

为了简化并更好地标识异步IO,从Python3.5开始引入新的语法async和await,可以让coroutine的代码更简洁易读。

'''

1. 把@asyncio.coroutine替换为async;

2. 把yield from 替换为await

'''

#例

'''

@asyncio.coroutine

def hello():

print("hello world!")

r = yield from asyncio.sleep(1)

print("hello again!")

'''

#可写成

'''

async def hello():

print("hello world!")

r=await asyncio.sleep(1)

print("hello again!")

'''

#剩下的代码保持不变

#aiohttp

#asyncio可以实现单线程并发IO操作。如果仅用在客户端,发挥的威力不大。如果把asyncio用在服务器端,例如web服务器,由于http连接就是IO操作,因此可以用

#单线程+coroutine实现多用户的高并发支持。

#asyncio实现了TCP UDP SSL等协议,aiohttp则是基于asyncio实现的http框架。

#编写一个http服务器    ,分别处理一下URL:

'''

* /  -首页返回b'<h1>Index</h1>';

* /hello/{name}  -根据URL参数返回文本 hello,%s!.

'''

import asyncio

from aiohttp import web

async def index(request):

await asyncio.sleep(0.5)

return web.Response(body=b'<h1>Index</h1>',content_type='text/html')

async def hello(request):

await asyncio.sleep(0.5)

text='<h1>hello, %s!<h1>' %request.match_info['name']

return web.Response(body=text.encode('utf-8'),content_type='text/html')

async def init(loop):

app=web.Application(loop=loop)

app.router.add_route('GET','/',index)

app.router.add_route('GET','/hello/{name}',hello)

srv=await loop.create_server(app.make_handler(),'127.0.0.1',8000)

print('Server started at http://127.0.0.1:8000...')

return srv

loop=asyncio.get_event_loop()

loop.run_until_complete(init(loop))

loop.run_forever()

#aiohttp的初始化函数init()也是一个coroutine,loop.create_server()则利用asyncio创建TCP服务

异步IO(协程,消息循环队列)的更多相关文章

  1. 2020.11.2 异步IO 协程

    异步IO 同步IO在一个线程中,CPU执行代码的速度极快,然而,一旦遇到IO操作,如读写文件.发送网络数据时,就需要等待IO操作完成,才能继续进行下一步操作. 在IO操作的过程中,当前线程被挂起,而其 ...

  2. python并发编程之多进程、多线程、异步、协程、通信队列Queue和池Pool的实现和应用

    什么是多任务? 简单地说,就是操作系统可以同时运行多个任务.实现多任务有多种方式,线程.进程.协程. 并行和并发的区别? 并发:指的是任务数多余cpu核数,通过操作系统的各种任务调度算法,实现用多个任 ...

  3. 异步IO/协程/数据库/队列/缓存(转)

    原文:Python之路,Day9 - 异步IO\数据库\队列\缓存 作者:金角大王Alex add by zhj: 文章很长 引子 到目前为止,我们已经学了网络并发编程的2个套路, 多进程,多线程,这 ...

  4. python -- 异步IO 协程

    python 3.4 >>> import asyncio >>> from datetime import datetime >>> @asyn ...

  5. python异步加协程获取比特币市场信息

    目标 选取几个比特币交易量大的几个交易平台,查看对应的API,获取该市场下货币对的ticker和depth信息.我们从网站上选取4个交易平台:bitfinex.okex.binance.gdax.对应 ...

  6. Python自动化运维之16、线程、进程、协程、queue队列

    一.线程 1.什么是线程 线程是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位. 一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行 ...

  7. Python学习笔记——进阶篇【第九周】———线程、进程、协程篇(队列Queue和生产者消费者模型)

    Python之路,进程.线程.协程篇 本节内容 进程.与线程区别 cpu运行原理 python GIL全局解释器锁 线程 语法 join 线程锁之Lock\Rlock\信号量 将线程变为守护进程 Ev ...

  8. Tornado异步之-协程与回调

    回调处理异步请求 回调 callback 处理异步官方例子 # 导入所需库 from tornado.httpclient import AsyncHTTPClient def asynchronou ...

  9. python并发编程之多进程、多线程、异步和协程

    一.多线程 多线程就是允许一个进程内存在多个控制权,以便让多个函数同时处于激活状态,从而让多个函数的操作同时运行.即使是单CPU的计算机,也可以通过不停地在不同线程的指令间切换,从而造成多线程同时运行 ...

随机推荐

  1. 记录python接口自动化测试--根据excel中的期望输出是否存在请求返回的响应来判断用例是否执行成功(第八目)

    1.首先在excel中的expectValue列填好预期结果值 这里判断接口成功的依据是预期结果值是否存在于接口返回的数据中. 首先,要知道在之前封装的get/post请求方法中返回的是‘str’,也 ...

  2. Server SQL Modes

    The MySQL server can operate in different SQL modes, and can apply these modes differently for diffe ...

  3. Transcranial magnetic stimulation (TMS)

    Transcranial magnetic stimulation (TMS) Effect of Transcranial Magnetic Stimulation on Free Will Tra ...

  4. MySql常用函数 --MySql

    1.目标 MySQL数据库中提供了很丰富的函数.MySQL函数包括数学函数.字符串函数.日期和时间函数.条件判断函数.系统信息函数.加密函数.格式化函数等.通过这些函数,可以简化用户的操作.例如,字符 ...

  5. Vue.js示例:文本编辑器。使用_.debounce()反抖动函数

    Markdown编辑器 https://cn.vuejs.org/v2/examples/index.html 新知识: Underscore.js库 用于弥补标准库,方便了JavaScript的编程 ...

  6. Ugly Number leetcode java

    问题描述: Write a program to check whether a given number is an ugly number. Ugly numbers are positive n ...

  7. 使用scp上传和下载文件

    利用scp传输文件 1.从服务器下载文件 scp username@servername:/path/filename /tmp/local_destination 例如scp codinglog@1 ...

  8. git:not a git repository (or any of the parent directories)

    我用git add file添加文件时出现了这样错误: fatal: Not a git repository (or any of the parent directories): .git 提示说 ...

  9. 51nod-1181-两次筛法

    1181 质数中的质数(质数筛法)  题目来源: Sgu 基准时间限制:1 秒 空间限制:131072 KB 分值: 0 难度:基础题  收藏  关注 如果一个质数,在质数列表中的编号也是质数,那么就 ...

  10. UI基础七:给普通其他界面的PRODUCT 添加标准的搜索帮助

    在使用的组件中添加组件对象 Outbound Plug中添加外向连接:OP_PRODUCT METHOD op_product. DATA: lv_title TYPE string, lr_cont ...