网:https://twistedmatrix.com/trac/

http://www.cnblogs.com/wy-wangyan/p/5252271.html

What is Twisted?

Twisted is an event-driven networking engine written in Python and licensed under the open source ​MIT license. Twisted runs on Python 2 and an ever growing subset also works with Python 3.

twisted是python实现的基于事件驱动的异步网络通信构架。可以在官网上在线浏览twisted的源码,也有svn可以自行下载,源码还是比较清晰易懂的。接下来的代码或者例子,文档很多都来源于官网介绍。

第一个问题是为什么项目叫twisted?   我的理解是由于构成twisted的主要构件deferred list, 有两个回调链,如图所示,回调链每一项包含一个(callback,errback)对。twisted按照回调链从第一个callback开始执行,如果出错执行下一个回调函数对应的errback,如果执行成功,再回到下下个callback继续执行。是不是很twisted?

第二个问题是什么是基于事件驱动的异步网络框架?

我们写过网络通信程序的都熟悉socket, 都知道select/poll/epoll这些网络多路复用程序,都对应着读或者写操作,twisted的构成中包含一个reacotor的东东,就是很多异步事件框架都有的概念反应堆模式,这是个单例模式,同一时间内只有一个reactor在运行。reactor.run(), 我们说的基于事件就是这样的一个事件循环,twisted等待事件就绪,然后调用回调函数,返回结果。当然它是基于select/poll/epoll的输入输出(读、写)事件。

关于反应堆模式: 请移步这里,这个大牛的翻译:http://www.cnblogs.com/pugang/p/4621373.html

那么什么又是异步? 同样的,我们知道网络通信有几个模式,在各种面试中也或有问到,关于同步,异步,阻塞,非阻塞的区别。

关于这个解释的文章很多,权威的请参考《unix网络编程》中关于unix网络i/o模式的描述。说说我自己的理解,在Linux中所有都是文件,socket当然也是,网络i/o是i/o的一种嘛。我们的应用程序也要包含两部分的内容,一个是用户态一个是内核态的内核调用。网络i/o包含了两部分的内容:

1. 应用程序陷入内核态等待数据就绪

2. 将数据从内核空间复制到用户空间。

阻塞就是在这两个阶段都在等待,都被block了,一直等待内核的返回。

非阻塞就是我们熟悉的socket.setblocking(0),或者fnctl设置的非阻塞flag;它只是在第二个阶段阻塞了,在一个阶段,应用程序知道数据未准备好后,立刻返回错误码EAGAIN/EWOULDBLOCK,知道数据准备结束,复制完毕后返回。

同步指的是等待I/O操作的完成。

异步指的是不必等待I/O操作完成,直接返回,等到第二阶段完成后,内核主动通知进程结束。

所以你说区别,我觉得就是阻塞/非阻塞对应的是一个当前的一个状态,同步/异步着眼于整个大局或操作。

我们今天是要说事件驱动的,前面说了我们依赖于select/poll/epoll,他们都是网络多路复用i/o,用了它们不需要再建多线程,线程池这些东西就能同时监控多个fd。有人叫它们异步(同步)非阻塞I/0, 但是从实际上来说,他们也是同步阻塞的,select/poll/epoll阻塞在select(), epoll.wait()这些函数中,等到数据就绪,然后开始第一个阶段,然后第二个阶段,在第二个阶段中也是I/O阻塞的嘛,所以说它们阻塞在了两个地方,而且需要等待I/O操作的完成。那到底有没有异步I/O,异步I/O需要操作系统底层的支持,目前好像还没有满意的异步I/O,有一些实现也是基于线程/线程池模拟实现。

那twisted既然用到了select/poll/epoll,它为什么叫基于事件的异步框架。因为它模式了异步I/O,它使用reactor模式处理事件循环,使用deferred处理回调函数,用户可以自己写一个回调函数,然后放到deferred list中,twsited会在事件通知就绪后调用这些回调函数,执行完毕,返回结果。看,是不是异步I/O。其它的一些基于事件的异步框架,像java的netty也是这样模拟的。

今天写到这里,下一篇准备分析select/epoll这些多路复用I/O,再从socket/epoll的例子入手,开始twisted的讲解。有错误之处,敬请指正,共同学习

twisted是python实现的基于事件驱动的异步网络通信构架。的更多相关文章

  1. Python:使用基于事件驱动的SAX解析XML

    SAX的特点: 是基于事件的 API 在一个比 DOM 低的级别上操作 为您提供比 DOM 更多的控制 几乎总是比 DOM 更有效率 但不幸的是,需要比 DOM 更多的工作 基于对象和基于事件的接口 ...

  2. python 3下基于select模型的事件驱动机制程序

    它的基本原理就是select/epoll这个function会不断的轮询所负责的所有socket,当某个socket有数据到达了,就通知用户进程.它的流程如图: 当用户进程调用了select,那么整个 ...

  3. 【Python之路】特别篇--事件驱动与异步IO

    通常,我们写服务器处理模型的程序时,有以下几种模型: (1)每收到一个请求,创建一个新的进程,来处理该请求: (2)每收到一个请求,创建一个新的线程,来处理该请求: (3)每收到一个请求,放入一个事件 ...

  4. Golang、Php、Python、Java基于Thrift0.9.1实现跨语言调用

    目录: 一.什么是Thrift? 1) Thrift内部框架一瞥 2) 支持的数据传输格式.数据传输方式和服务模型 3) Thrift IDL 二.Thrift的官方网站在哪里? 三.在哪里下载?需要 ...

  5. [python] 3 、基于串口通信的嵌入式设备上位机自动测试程序框架(简陋框架)

    星期一, 20. 八月 2018 01:53上午 - beautifulzzzz 1.前言 做类似zigbee.ble mesh...无线网络节点性能测试的时候,手动操作然后看表象往往很难找出真正的原 ...

  6. 深入理解Node.js基于事件驱动的回调

    回调和异步调用的关系 首先明确一点,回调并非是异步调用,回调是一种解决异步函数执行结果的处理方法.在异步调用,如果我们希望将执行的结果返回并且处理时,可以通过回调的方法解决.为了能够更好的区分回调和异 ...

  7. 基于事件驱动机制,在Service Mesh中进行消息传递的探讨

    翻译 | 宋松 原文 | https://www.infoq.com/articles/service-mesh-event-driven-messaging 关键点 当前流行的Service Mes ...

  8. 创业笔记-Node.js入门之基于事件驱动的回调

    基于事件驱动的回调 这个问题可不好回答(至少对我来说),不过这是Node.js原生的工作方式.它是事件驱动的,这也是它为什么这么快的原因. 你也许会想花点时间读一下Felix Geisendörfer ...

  9. 基于事件驱动的DDD领域驱动设计框架分享(附源代码)

    原文:基于事件驱动的DDD领域驱动设计框架分享(附源代码) 补充:现在再回过头来看这篇文章,感觉当初自己偏激了,呵呵.不过没有以前的我,怎么会有现在的我和现在的enode框架呢?发现自己进步了真好! ...

随机推荐

  1. gulp多张图片自动合成雪碧图

    相信做前端的同学都做过这样的事情,为优化图片,减少请求会把拿到切好的图标图片,通过ps(或者其他工具)把图片合并到一张图里面,再通过css定位把对于的样式写出来引用的html里面.对于一些图片较多的项 ...

  2. Hangfire Highlighter Tutorial

    Hangfire Highlighter Tutorial Hangfire是一个开源且商业免费使用的工具函数库.可以让你非常容易地在ASP.NET应用(也可以不在ASP.NET应用)中执行多种类型的 ...

  3. Mysql InnoDB 是IOT表 锁基于索引

    </pre>Mysql InnoDB 是IOT表 锁基于索引<pre>

  4. form不提交问题

    var confirmOrderForm=document.getElementById("confirmOrderForm"); var url="${pageCont ...

  5. 《转》 Openstack Grizzly 指定 compute node 创建 instance

    声明:此文档仅仅做学习交流使用,请勿用作其它商业用途 作者:朝阳_tony 邮箱:linzhaolover@gmail.com 2013年6月4日9:37:44 星期二 转载请注明出处:http:// ...

  6. codeforces 598B Queries on a String

    题目链接:http://codeforces.com/problemset/problem/598/B 题目分类:字符串 题意:给定一个串,然后n次旋转,每次给l,r,k,表示区间l到r的字符进行k次 ...

  7. java学习笔记13--比较器(Comparable、Comparator)

    java学习笔记13--比较器(Comparable.Comparator) 分类: JAVA 2013-05-20 23:20 3296人阅读 评论(0) 收藏 举报 Comparable接口的作用 ...

  8. DRP之Oracle_11g数据库安装

    不知道大家在安装了Oracle数据库的时候有没有这样或那样的困惑,今天这篇文章就把Oracle数据库的安装过程理一下,作为总结,方便以后的学习. 首先,将下载的两个文件放在一个目录下解压,然后打开文件 ...

  9. GitLab 5.3 升级注意事项

    最主要就是需要更新的Git.我的Ubuntu12.04通过apt-get install安装的git版本过低. 所以只能通过源代码安装. 参考下面的步骤: wget git-core.googleco ...

  10. 解决AngularJS和Django模板标签冲突问题

    原地址 Django和AngularJS在模板中使用同样的符号来引用变量,例如 {{variable_name}}. 有两种解决办法,各有利弊.一个修改AngularJS模板语法,另一个使用Djang ...