1. 同步

我们用两个函数来模拟两个客户端请求,并依次进行处理:

# coding:utf-8

def req_a():
"""模拟请求a"""
print '开始处理请求req_a'
print '完成处理请求req_a' def req_b():
"""模拟请求b"""
print '开始处理请求req_b'
print '完成处理请求req_b' def main():
"""模拟tornado框架,处理两个请求"""
req_a()
req_b() if __name__ == "__main__":
main()

执行结果:

开始处理请求req_a
完成处理请求req_a
开始处理请求req_b
完成处理请求req_b

同步是按部就班的依次执行,始终按照同一个步调执行,上一个步骤未执行完不会执行下一步。

想一想,如果在处理请求req_a时需要执行一个耗时的工作(如IO),其执行过程如何?

# coding:utf-8

import time

def long_io():
"""模拟耗时IO操作"""
print "开始执行IO操作"
time.sleep(5)
print "完成IO操作"
return "io result" def req_a():
print "开始处理请求req_a"
ret = long_io()
print "ret: %s" % ret
print "完成处理请求req_a" def req_b():
print "开始处理请求req_b"
print "完成处理请求req_b" def main():
req_a()
req_b() if __name__=="__main__":
main()

执行过程:

开始处理请求req_a
开始执行IO操作
完成IO操作
完成处理请求req_a
开始处理请求req_b
完成处理请求req_b

在上面的测试中,我们看到耗时的操作会将代码执行阻塞住,即req_a未处理完req_b是无法执行的。

我们怎么解决耗时操作阻塞代码执行?

2. 异步

对于耗时的过程,我们将其交给别人(如其另外一个线程)去执行,而我们继续往下处理,当别人执行完耗时操作后再将结果反馈给我们,这就是我们所说的异步。

我们用容易理解的线程机制来实现异步。

2.1 回调写法实现原理

# coding:utf-8

import time
import thread def long_io(callback):
"""将耗时的操作交给另一线程来处理"""
def fun(cb): # 回调函数作为参数
"""耗时操作"""
print "开始执行IO操作"
time.sleep(5)
print "完成IO操作,并执行回调函数"
cb("io result") # 执行回调函数
thread.start_new_thread(fun, (callback,)) # 开启线程执行耗时操作 def on_finish(ret):
"""回调函数"""
print "开始执行回调函数on_finish"
print "ret: %s" % ret
print "完成执行回调函数on_finish" def req_a():
print "开始处理请求req_a"
long_io(on_finish)
print "离开处理请求req_a" def req_b():
print "开始处理请求req_b"
time.sleep(2) # 添加此句来突出显示程序执行的过程
print "完成处理请求req_b" def main():
req_a()
req_b()
while 1: # 添加此句防止程序退出,保证线程可以执行完
pass if __name__ == '__main__':
main()

执行过程:

开始处理请求req_a
离开处理请求req_a
开始处理请求req_b
开始执行IO操作
完成处理请求req_b
完成IO操作,并执行回调函数
开始执行回调函数on_finish
ret: io result
完成执行回调函数on_finish

异步的特点是程序存在多个步调,即本属于同一个过程的代码可能在不同的步调上同时执行。

2.2 协程写法实现原理

在使用回调函数写异步程序时,需将本属于一个执行逻辑(处理请求a)的代码拆分成两个函数req_a和on_finish,这与同步程序的写法相差很大。而同步程序更便于理解业务逻辑,所以我们能否用同步代码的写法来编写异步程序?

回想yield关键字的作用?

初始版本

# coding:utf-8

import time
import thread gen = None # 全局生成器,供long_io使用 def long_io():
def fun():
print "开始执行IO操作"
global gen
time.sleep(5)
try:
print "完成IO操作,并send结果唤醒挂起程序继续执行"
gen.send("io result") # 使用send返回结果并唤醒程序继续执行
except StopIteration: # 捕获生成器完成迭代,防止程序退出
pass
thread.start_new_thread(fun, ()) def req_a():
print "开始处理请求req_a"
ret = yield long_io()
print "ret: %s" % ret
print "完成处理请求req_a" def req_b():
print "开始处理请求req_b"
time.sleep(2)
print "完成处理请求req_b" def main():
global gen
gen = req_a()
gen.next() # 开启生成器req_a的执行
req_b()
while 1:
pass if __name__ == '__main__':
main()

执行过程:

开始处理请求req_a
开始处理请求req_b
开始执行IO操作
完成处理请求req_b
完成IO操作,并send结果唤醒挂起程序继续执行
ret: io result
完成处理请求req_a

升级版本

我们在上面编写出的版本虽然req_a的编写方式很类似与同步代码,但是在main中调用req_a的时候却不能将其简单的视为普通函数,而是需要作为生成器对待。

现在,我们试图尝试修改,让req_a与main的编写都类似与同步代码。

# coding:utf-8

import time
import thread gen = None # 全局生成器,供long_io使用 def gen_coroutine(f):
def wrapper(*args, **kwargs):
global gen
gen = f()
gen.next()
return wrapper def long_io():
def fun():
print "开始执行IO操作"
global gen
time.sleep(5)
try:
print "完成IO操作,并send结果唤醒挂起程序继续执行"
gen.send("io result") # 使用send返回结果并唤醒程序继续执行
except StopIteration: # 捕获生成器完成迭代,防止程序退出
pass
thread.start_new_thread(fun, ()) @gen_coroutine
def req_a():
print "开始处理请求req_a"
ret = yield long_io()
print "ret: %s" % ret
print "完成处理请求req_a" def req_b():
print "开始处理请求req_b"
time.sleep(2)
print "完成处理请求req_b" def main():
req_a()
req_b()
while 1:
pass if __name__ == '__main__':
main()

执行过程:

开始处理请求req_a
开始处理请求req_b
开始执行IO操作
完成处理请求req_b
完成IO操作,并send结果唤醒挂起程序继续执行
ret: io result
完成处理请求req_a

最终版本

刚刚完成的版本依然不理想,因为存在一个全局变量gen来供long_io使用。我们现在再次改写程序,消除全局变量gen。

# coding:utf-8

import time
import thread def gen_coroutine(f):
def wrapper(*args, **kwargs):
gen_f = f() # gen_f为生成器req_a
r = gen_f.next() # r为生成器long_io
def fun(g):
ret = g.next() # 执行生成器long_io
try:
gen_f.send(ret) # 将结果返回给req_a并使其继续执行
except StopIteration:
pass
thread.start_new_thread(fun, (r,))
return wrapper def long_io():
print "开始执行IO操作"
time.sleep(5)
print "完成IO操作,yield回操作结果"
yield "io result" @gen_coroutine
def req_a():
print "开始处理请求req_a"
ret = yield long_io()
print "ret: %s" % ret
print "完成处理请求req_a" def req_b():
print "开始处理请求req_b"
time.sleep(2)
print "完成处理请求req_b" def main():
req_a()
req_b()
while 1:
pass if __name__ == '__main__':
main()

执行过程:

开始处理请求req_a
开始处理请求req_b
开始执行IO操作
完成处理请求req_b
完成IO操作,yield回操作结果
ret: io result
完成处理请求req_a

这个最终版本就是理解Tornado异步编程原理的最简易模型,但是,Tornado实现异步的机制不是线程,而是epoll,即将异步过程交给epoll执行并进行监视回调。

需要注意的一点是,我们实现的版本严格意义上来说不能算是协程,因为两个程序的挂起与唤醒是在两个线程上实现的,而Tornado利用epoll来实现异步,程序的挂起与唤醒始终在一个线程上,由Tornado自己来调度,属于真正意义上的协程。虽如此,并不妨碍我们理解Tornado异步编程的原理。

思考

  1. Tornado里的异步就是协程,这句话对吗?
  2. Tornado中出现yield就是异步,这句话对吗?
  3. 怎么理解yield将程序挂起?在Tornado中又如何理解yield挂起程序实现异步?

tornado异步(1)的更多相关文章

  1. tornado异步请求的理解(转)

    tornado异步请求的理解 http://www.kankanews.com/ICkengine/archives/88953.shtml 官网第一段话: Tornado is a Python w ...

  2. 使用Tornado异步接入第三方(支付宝)支付

    目前国内比较流行的第三方支付主要有支付宝和微信支付,博主最近研究了下如何用Python接入支付宝支付,这里我以Tornado作为web框架,接入支付宝构造支付接口. 使用Tornado异步接入支付宝支 ...

  3. Tornado异步非阻塞的使用以及原理

    Tornado 和现在的主流 Web 服务器框架(包括大多数 Python 的框架)有着明显的区别:它是非阻塞式服务器,而且速度相当快.得利于其 非阻塞的方式和对 epoll 的运用,Tornado ...

  4. Python Web框架 tornado 异步原理

    Python Web框架 tornado 异步原理 参考:http://www.jb51.net/article/64747.htm 待整理

  5. Tornado异步(2)

    Tornado异步 因为epoll主要是用来解决网络IO的并发问题,所以Tornado的异步编程也主要体现在网络IO的异步上,即异步Web请求. 1. tornado.httpclient.Async ...

  6. tornado异步请求响应速度的实例测试

    tornado异步请求响应速度的实例测试

  7. 5.(基础)tornado异步

    终于到了传说中的异步了,感觉异步这个名字听起来就很酷酷的,以前还不是多擅长Python时,就跑去看twisted的源码,结果给我幼小的心灵留下了创伤.反正包括我在内,都知道异步编程很强大,但是却很少在 ...

  8. Python web框架 Tornado异步非阻塞

    Python web框架 Tornado异步非阻塞   异步非阻塞 阻塞式:(适用于所有框架,Django,Flask,Tornado,Bottle) 一个请求到来未处理完成,后续一直等待 解决方案: ...

  9. 7.2 Tornado异步

    7.2 Tornado异步 因为epoll主要是用来解决网络IO的并发问题,所以Tornado的异步编程也主要体现在网络IO的异步上,即异步Web请求. 1. tornado.httpclient.A ...

随机推荐

  1. Python3中json的encode和decode

    在Python3中,将对象序列化为JSON对象,即对对象进行json encode编码,使用函数 json.dumps(obj, *, skipkeys=False, ensure_ascii=Tru ...

  2. Yii框架2.0 数据库操作初接触

    Yii2.0和Yii1.1版本的变动还是挺多的,我发现配置文件有许多不同,Yii1.1版本里有个main.php 好多信息是在这里配置的,比如默认控制器,数据库连接信息:Yii的数据库配置被单独拿出来 ...

  3. PHP error_log 新认知

    //error_log 简介及使用方法 //  error_log("消息","类型","路径"); //message   //type  ...

  4. (3.15)常用知识-sql server分页

    推荐使用row_number over()方法,或2012以上使用offset PageSize = PageNumber = 方法一:(最常用的分页代码, top / not in) UserId ...

  5. 一种部署 Python 代码的新方法

    在Nylas,我们喜欢使用Python进行开发.它的语法简单并富有表现力,拥有大量可用的开源模块和框架,而且这个社区既受欢迎又有多样性.我们的后台是纯用 Python 写的,团队也经常在 PyCon ...

  6. oracle的相关信息

    [INS-08109] :https://blog.csdn.net/u012830807/article/details/17302919[INS-13001]:https://blog.csdn. ...

  7. 简单认识TCP/IP协议

    HTTP协议—— 简单认识TCP/IP协议 本文转自: https://www.cnblogs.com/roverliang/p/5176456.html   大学没读计算机专业,所以很多的专业知识都 ...

  8. 宏表达式与函数、#undef、条件编译、

    宏表达式在预编译期被处理,编译器不知道宏表达式的存在. 宏表达式没有任何的调用开销 宏表达式中不能出现递归定义. C语言中强大的内置宏 __FILE__:被编译的文件名 //双底线 __LINE__: ...

  9. C的指针疑惑:C和指针8数组

    ]; ]; 上面申明两个数组,不能进行以下赋值 b = a; 你不能使用赋值符把一个数组的所有元素复制给另一个数组,必须使用一个循环,每次复制一个元素 数组和指针 ]; int *b; 声明一个数组, ...

  10. 模块讲解----json模块(跨平台的序列化与反序列化)

    一.json的特点 1.只能处理简单的可序列化的对象:(字典,列表,元祖) 2.json支持不同语言之间的数据交互:(python  -  go,python - java)   二.使用场景 1.玩 ...