关于 windows IOCP 有人说 windows IOCP 是 windows 上最好的东西. IOCP 是真正的异步 IO,意味着每次发起一个 IO 请求,该调用本身则立即返回, 而包括 IO 操作和数据从内核缓冲区到用户缓冲区之间的拷贝都由系统完成,直到这个过程结束系统才通知用户进程. linux 上没有这样的异步 IO. IOCP 的使用 创建一个新的完成端口.完成端口被设计成与一个线程池相互合作,线程池的线程并发的用来处理完成的 IO 通知.CreateIoCompletionPo…

一.重叠I/O回声服务器端 服务端: #include <stdio.h> #include <stdlib.h> #include <WinSock2.h> #define BUF_SIZE 1024 void ErrorHandling(char *message); void CALLBACK ReadCompRoutine(DWORD, DWORD, LPWSAOVERLAPPED, DWORD); void CALLBACK WriteCompRoutine(…

最近需要看一个中间件的IOCP处理模块,需要了解这方面的知识 https://www.codeproject.com/articles/13382/a-simple-application-using-i-o-completion-ports-an http://sysinternals.d4rk4.ru/Information/IoCompletionPorts.html https://stackoverflow.com/questions/7313702/resources-to-lear…

距离我的上一篇文章--写给VC++ Windows开发的初学者已经4年多时间过去了,感慨于时光如梭之余,更感慨于这么多年来(从1998年我初学VC 算起吧)到如今其实我仍然还只是个初学者而已.看看之前写给大家的东西,似乎说了些什么,但仿佛又什么都没有说.好多网友也都慕名加入了我的VC++群,一同探讨学习. 虽然学者众,甚至我的群中也不乏各路高手,更甚至我自己也在这几年努力制作出版了很多网络视频教程来现身说法教学VC++大法,可是事与愿违,VC++现在却越来越小众化了,很多人都转投C#.Java的…

一年前,当我第一次开发完EQueue后,写过一篇文章介绍了其整体架构,做这个框架的背景,以及架构中的所有基本概念.通过那篇文章,大家可以对EQueue有一个基本的了解.经过了1年多的完善,EQueue无论是功能上还是成熟性上都完善了不少.所以,希望再写一篇文章,介绍一下EQueue的整体架构和关键特性. EQueue架构 EQueue是一个分布式的.轻量级.高性能.具有一定可靠性,纯C#编写的消息队列,支持消费者集群消费模式. 主要包括三个部分:producer, broker, consume…

直播都不陌生了,如今主流的协议分析的对比图,个人见解. 协议 httpflv rtmp hls dash 传输层 http流 tcp流 http http 视频格式 flv flv tag Ts文件 Mp4 3gp webm 延时 低 低 高 高 数据分段 连续流 连续流 切片文件 切片文件 Html5播放 可通过html5解封包播放(flv.js) 不支持 可通过html5解封包播放(hls.js) 如果dash文件列表是mp4webm文件,可直接播放 http_flv&rtmp 这两个协议实…

一.01_intro.html Example:A low-level ROT13 server with Libevent 这是一个利用event实现的server实例 Example:A simpler ROT13 server with Libevent 这是一个利用bufferevent实现的server实例 二.Ref0_meta.html 1.libevent设计目标: Portability(可移植).Speed(速度).Scalability(可扩展性).Convenience(…

7.异步IO 上面两篇文章中,我们分别讲解了阻塞式同步IO.非阻塞式同步IO.多路复用IO 这三种IO模型,以及JAVA对于这三种IO模型的支持.重点说明了IO模型是由操作系统提供支持,且这三种IO模型都是同步IO,都是采用的"应用程序不询问我,我绝不会主动通知"的方式. 异步IO则是采用"订阅-通知"模式:即应用程序向操作系统注册IO监听,然后继续做自己的事情.当操作系统发生IO事件,并且准备好数据后,在主动通知应用程序,触发相应的函数: 和同步IO一样,异步IO…

Linux Native Aio 异步AIO的研究 http://rango.swoole.com/archives/282 首先声明一下epoll+nonblock从宏观角度可以叫做全异步,但从微观的角度来看还是同步的IO.只是在数据到达后得到系统通知,然后同步执行recv取回数据,没有iowait. 真正的异步IO(下面会统一叫做AIO)应该像Windows IOCP一样,传入文件句柄,缓存区,尺寸等参数和一个函数指针,当操作系统真正完成了IO操作,再执行对应的函数. 实际上对于socket…

IO设计模式:Reactor和Proactor对比 平时接触的开源产品如Redis.ACE,事件模型都使用的Reactor模式:而同样做事件处理的Proactor,由于操作系统的原因,相关的开源产品也少:这里学习下其模型结构,重点对比下两者的异同点: 反应器Reactor Reactor模式结构 Reactor包含如下角色: Handle 句柄:用来标识socket连接或是打开文件: Synchronous Event Demultiplexer:同步事件多路分解器:由操作系统内核实现的一个函数…

1.什么是coroutine coroutine,最早我是在lua里面看到的,coroutine最大的好处是可以保存堆栈,让程序得以继续执行,在python里面,一般是利用yield来实现,具体可以看如下文章: http://www.cnblogs.com/tqsummer/archive/2010/12/27/1917927.html python中的yield以及yield from语法可以让程序支持coroutine 2.asyncio库 Python3中,提供了基于coroutine的异…

首先给出官方文档吧: http://libevent.org ,首页有个Programming with Libevent,里面是一节一节的介绍libevent,但是感觉信息量太大了,而且还是英文的-.-(当然,如果想好好用libevent,看看还是很有必要的),还有个Reference,大致就是对各个版本的libevent使用doxgen生成的文档,用来查函数原型和基本用法什么的. 下面的来着文档:http://www.wangafu.net/~nickm/libevent-book Libe…

A curated list of awesome Delphi frameworks, libraries, resources, and shiny things. Inspired by awesome-... stuff. Note that only open-source projects are considered. Dead projects are mainly ignored except for those which do not have alive analogs.…

Awesome Delphi  A curated list of awesome Delphi frameworks, libraries, resources, and shiny things. Inspired by awesome-... stuff. Note that only open-source projects are considered. Dead projects are mainly ignored except for those which do not hav…

Libevent is a library for writing fast portable nonblocking IO. libevent是一个为编写快速可移植的非阻塞IO程序而设计的. libevent组件 libevent包括了以下组件: 1. evutil Generic functionality to abstract out the differences between different platforms' networking implementations. 用于抽象…

https://tonybai.com/2015/11/17/tcp-programming-in-golang/ Golang的主要 设计目标之一就是面向大规模后端服务程序,网络通信这块是服务端 程序必不可少也是至关重要的一部分.在日常应用中,我们也可以看到Go中的net以及其subdirectories下的包均是"高频+刚需",而TCP socket则是网络编程的主流,即便您没有直接使用到net中有关TCP Socket方面的接口,但net/http总是用到了吧,http底层依旧是…

同步阻塞式IO开发简单,但在处理IO密集的并发任务时,非常浪费CPU资源,性能低:并且,当一个进程(线程)含有多个套接字上时,同步阻塞式IO会带来问题:因为同步阻塞式IO只支持进程(线程)阻塞在一个套接字上,其余套接字上的事件将得不到及时处理. 为解决这些问题,IO编程的世界诞生了更多的IO模型及实现,这些实现不仅可以用在网络编程中,同样可以用在本地IO编程中. 在此先做说明,阻塞与非阻塞.同步与异步是两组不同的概念. 1.1         IO复用 IO 复用技术是指,调用IO 复用的api…

授权转载: Tony Bai 原文连接: https://tonybai.com/2015/11/17/tcp-programming-in-golang/ Golang的主要 设计目标之一就是面向大规模后端服务程序,网络通信这块是服务端 程序必不可少也是至关重要的一部分.在日常应用中,我们也可以看到Go中的net以及其subdirectories下的包均是“高频+刚需”,而TCP socket则是网络编程的主流,即便您没有直接使用到net中有关TCP Socket方面的接口,但net/http…

目录: <I/O模型之一:Unix的五种I/O模型> <I/O模型之二:Linux IO模式及 select.poll.epoll详解> <I/O模型之三:两种高性能 I/O 设计模式 Reactor 和 Proactor> <I/O模型之四:Java 浅析I/O模型> Reactor(反应堆)和Proactor(前摄器) <I/O模型之三:两种高性能 I/O 设计模式 Reactor 和 Proactor> <[转]第8章 前摄器(Pro…

主要内容 1. Tcp编程2. redis使用 1. Tcp编程 (1)简介       Golang是谷歌设计开发的语言,在Golang的设计之初就把高并发的性能作为Golang的主要特性之一,也是面向大规模后端服务程序.在服务器端网络通信是必不可少的也是至关重要的一部分.Golang内置的包例如net.net/http中的底层就是对TCP socket方法的封装. TCP简介: Golang是谷歌设计开发的语言,在Golang的设计之初就把高并发的性能作为Golang的主要特性之一,也是面向…

Libevent.libev.libuv三个网络库,都是c语言实现的异步事件库Asynchronousevent library). 异步事件库本质上是提供异步事件通知(Asynchronous Event Notification,AEN)的.异步事件通知机制就是根据发生的事件,调用相应的回调函数进行处理. 事件(Event):事件是异步事件通知机制的核心,比如fd事件.超时事件.信号事件.定时器事件.有时候也称事件为事件处理器(EventHandler),这个名称更形象,因为Handler本…

JVM的多路复用器实现原理 Linux 2.5以前:select/poll Linux 2.6以后: epoll Windows: IOCP Free BSD, OS X: kqueue 下面仅讲解Linux的多路复用. Linux中的IO Linux的IO将所有外部设备都看作文件来操作,与外部设备的操作都可以看做文件操作,其读写都使用内核提供的系统调用,内核会返回一个文件描述符(fd, file descriptor),例如socket读写使用socketfd.描述符是一个索引,指向内核中一个…

libuv 简单使用 来源:https://zhuanlan.zhihu.com/p/50497450 前序:说说为啥要研究libuv,其实在很久之前(大概2年前吧)玩nodejs的时候就对这个核心库非常感兴趣,不过由于当年水平确实比较菜,大概看了看之后实在没能静下心来看下去.18年初的时候,360直播云官网做了React同构,那个时候我问自己如果真有百万并发,每天亿级的访问量有没有信心保证中间node层一次不挂(或者不出任何事故),其实我到今天仍然是没有足够底气的.原因有两个吧:一是对node…

Java中的IO操作可谓常见.在Java的IO体系中,常有些名词容易让人困惑不解.为此,先通俗地介绍下这些名词. 1 什么是同步? 2 什么是异步? 3 什么是阻塞? 4 什么是非阻塞? 5 什么是同步阻塞? 6 什么是同步非阻塞? 7 什么是异步阻塞? 8 什么是异步非阻塞? 我们先来弄明白什么是同步,异步,阻塞,非阻塞,只有这几个概念理解清楚了,然后再组合起来理解,就相对比较容易了. 同步和异步是针对应用程序和内核的交互方式而言的. 阻塞和非阻塞是针对于进程在访问数据的时候,根据IO操作的就…

很多时候,除了响应事件之外,应用还希望做一定的数据缓冲.比如说,写入数据的时候,通常的运行模式是: l 决定要向连接写入一些数据,把数据放入到缓冲区中 l 等待连接可以写入 l 写入尽量多的数据 l 记住写入了多少数据,如果还有更多数据要写入,等待连接再次可以写入 这种缓冲IO模式很通用,libevent为此提供了一种通用机制,即bufferevent.bufferevent由一个底层的传输端口(如套接字),一个读取缓冲区和一个写入缓冲区组成.与通常的事件在底层传输端口已经就绪,可以读取或者写入…

Libevent.libev.libuv三个网络库,都是c语言实现的异步事件库Asynchronousevent library). 异步事件库本质上是提供异步事件通知(Asynchronous Event Notification,AEN)的.异步事件通知机制就是根据发生的事件,调用相应的回调函数进行处理. 事件(Event):事件是异步事件通知机制的核心,比如fd事件.超时事件.信号事件.定时器事件.有时候也称事件为事件处理器(EventHandler),这个名称更形象,因为Handler本…

转: https://segmentfault.com/a/1190000002715832 平时接触的开源产品如Redis.ACE,事件模型都使用的Reactor模式:而同样做事件处理的Proactor,由于操作系统的原因,相关的开源产品也少:这里学习下其模型结构,重点对比下两者的异同点: 反应器Reactor Reactor模式结构 Reactor包含如下角色: Handle 句柄:用来标识socket连接或是打开文件: Synchronous Event Demultiplexer:同步事…

首先,我们来看看同步和异步. 在处理 IO 的时候,阻塞和非阻塞都是同步 IO.只有使用了特殊的 API 才是异步 IO. 接下来,我们来看看Linux下的三大同步IO多路复用函数 fcntl(fd, F_SETFL, O_NONBLOCK);  //socket设为O_NONBLOCK,但是select/poll/epoll是block操作 1)select int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exce…

FYI: http://www.wangafu.net/~nickm/libevent-book/Ref6_bufferevent.html Bufferevents: concepts and basics Most of the time, an application wants to perform some amount of data buffering in addition to just responding to events. When we want to write d…

优点:安装简易,能自动配置环境变量 缺点:更新和更换版本需重新安装(这个可以用包管理器解决,不是问题) 高手推荐使用开源的NVM包管理器来更新和安装node,可能这个包在linux平台上比较好用吧 global require module process 这些都是在node中能用而在google浏览器中不好用的功能 windows location document console 这些是在google浏览器中好用的功能 var relay = require('./relay'); 这条语句…