epoll机制详解
epoll机制详解
epoll详解
- 什么是epoll?
- epoll是为处理大批量句柄而作了改进的poll, 是性能最好的多路I/O就绪通知方法;
- 只有三个系统调用: epoll_create, epoll_ctl, epoll_wait;
- epoll_ctl - epoll的事件注册函数,它不同于select()是在监听事件时告诉内核要监听什么类型的事件,而是在这里先注册要监听的事件类型;
- epoll的工作原理
- epoll同样只告知那些就绪的文件描述符,而且当我们调用epoll_wait()获得就绪文件描述符时,返回的不是实际的描述符,而是一个代表就绪描述符数量的值;
- 你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可,这里也使用了内存映射(mmap)技术,这样便彻底省掉了这些文件描述符在系统调用时复制的开销;
- 另一个本质的改进在于epoll采用基于事件的就绪通知方式;
- 在select/poll中,进程只有在调用一定的方法后,内核才对所有监视的文件描述符进行扫描;
- 而epoll事先通过epoll_ctl()来注册一个文件描述符,一旦基于某个文件描述符就绪时,内核会采用类似callback的回调机制,迅速激活这个文件描述符,当进程调用epoll_wait()时便得到通知;
- epoll的两种工作方式
- 水平触发(LT)
- 相当于速度比较快的poll;
- LT(level triggered)是epoll缺省的工作方式,并且同时支持block和no-block socket.在这种做法中,内核告诉你一个文件描述符是否就绪了,然后你可以对这个就绪的fd进行IO操作;
- 如果你不作任何操作,内核还是会继续通知你的,所以,这种模式编程出错误可能性要小一点;
- 传统的select/poll都是这种模型的代表.
- 边缘触发(ET)
- 用了EPOLLET标志;
- 相当于非阻塞的读;
- ET (edge-triggered)是高速工作方式,只支持no-block socket,它效率要比LT更高;
- ET与LT的区别在于,当一个新的事件到来时,ET模式下当然可以从epoll_wait调用中获取到这个事件,可是如果这次没有把这个事件对应的套接字缓冲区处理完,在这个套接字中没有新的事件再次到来时,在ET模式下是无法再次从epoll_wait调用中获取这个事件的;
- 而LT模式正好相反,只要一个事件对应的套接字缓冲区还有数据,就总能从epoll_wait中获取这个事件;
- LT模式下开发基于epoll的应用要简单些,不太容易出错。而在ET模式下事件发生时,如果没有彻底地将缓冲区数据处理完,则会导致缓冲区中的用户请求得不到响应;
- 水平触发(LT)
epoll的优点
- 支持一个进程打开大数目的socket描述符(FD);
- select 最不能忍受的是一个进程所打开的FD是有一定限制的,由FD_SETSIZE设置,默认值是2048;
- 重新编译内核解决这个问题, 或者利用多进程解决这个问题(Apache方案);
- epoll则没有这个限制,它所支持的FD上限是最大可以打开文件的数目, 这个数字一般远大于2048, 1G的内存上是10W左右;
- select 最不能忍受的是一个进程所打开的FD是有一定限制的,由FD_SETSIZE设置,默认值是2048;
- IO效率不随FD数目增加而线性下降;
- 传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合,性能会线性下降;
- 不过由于网络延时,任一时间只有部分的socket是"活跃"的,但是select/poll每次调用都会线性扫描全部的集合,导致效率呈现线性下降;
- epoll不存在这个问题,它只会对"活跃"的socket进行操作(内核实现的原因);
- 这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的;
- 只有"活跃"的socket才会主动的去调用 callback函数,其他idle状态socket则不会;
- epoll实现了一个"伪AIO,因为这时候推动力在os内核;
- 在一些 benchmark中,如果所有的socket基本上都是活跃的;
- epoll并不比select/poll有什么效率,相反,如果过多使用epoll_ctl,效率相比还有稍微的下降;
- 使用mmap加速内核与用户空间的消息传递;
- 这点实际上涉及到epoll的具体实现了;
- 无论是select,poll还是epoll都需要内核把FD消息通知给用户空间,如何避免不必要的内存拷贝就很重要,在这点上,epoll是通过内核于用户空间mmap同一块内存实现的;
- epoll是一种IO多路复用技术,可以非常高效的处理数以百万计的socket句柄;
- 因为select/poll每次调用时都要传递你所要监控的所有socket给select/poll系统调用,这意味着需要将用户态的socket列表copy到内核态,如果以万计的句柄会导致每次都要copy几十几百KB的内存到内核态,非常低效;
- epoll_wait却不用传递socket句柄给内核,因为内核已经在epoll_ctl中拿到了要监控的句柄列表;
- 传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合,性能会线性下降;
- epoll还维护了一个双链表,用户存储发生的事件;
- 当epoll_wait调用时,仅仅观察这个list链表里有没有数据即eptime项即可;
- 有数据就返回,没有数据就sleep,等到timeout时间到后即使链表没数据也返回;
- 这个准备就绪list链表是怎么维护的呢?
- 当我们执行epoll_ctl时,除了把socket放到epoll文件系统里file对象对应的红黑树上之外;
- 还会给内核中断处理程序注册一个回调函数,告诉内核,如果这个句柄的中断到了,就把它放到准备就绪list链表里;
- 一颗红黑树,一张准备就绪句柄链表,少量的内核cache,就帮我们解决了大并发下的socket处理问题;
- 执行epoll_create时,创建了红黑树和就绪链表;
- 执行epoll_ctl时,如果增加socket句柄,则检查在红黑树中是否存在,存在立即返回,不存在则添加到树干上,然后向内核注册回调函数,用于当中断事件来临时向准备就绪链表中插入数据;
- 执行epoll_wait时立刻返回准备就绪链表里的数据即可;
epoll机制详解的更多相关文章
- epoll使用详解(精髓)
epoll使用详解(精髓) epoll - I/O event notification facility 在linux的网络编程中,很长的时间都在使用select来做事件触发.在linux新的内核中 ...
- epoll原理详解及epoll反应堆模型
本文转载自epoll原理详解及epoll反应堆模型 导语 设想一个场景:有100万用户同时与一个进程保持着TCP连接,而每一时刻只有几十个或几百个TCP连接是活跃的(接收TCP包),也就是说在每一时刻 ...
- 从mixin到new和prototype:Javascript原型机制详解
从mixin到new和prototype:Javascript原型机制详解 这是一篇markdown格式的文章,更好的阅读体验请访问我的github,移动端请访问我的博客 继承是为了实现方法的复用 ...
- 浏览器 HTTP 协议缓存机制详解
最近在准备优化日志请求时遇到了一些令人疑惑的问题,比如为什么响应头里出现了两个 cache control.为什么明明设置了 no cache 却还是发请求,为什么多次访问时有时请求里带了 etag, ...
- JVM的垃圾回收机制详解和调优
JVM的垃圾回收机制详解和调优 gc即垃圾收集机制是指jvm用于释放那些不再使用的对象所占用的内存.java语言并不要求jvm有gc,也没有规定gc如何工作.不过常用的jvm都有gc,而且大多数gc都 ...
- ThreadPoolExecutor运转机制详解
ThreadPoolExecutor运转机制详解 - 走向架构师之路 - 博客频道 - CSDN.NET 最近发现几起对ThreadPoolExecutor的误用,其中包括自己,发现都是因为没有仔细看 ...
- Linux 内存机制详解宝典
Linux 内存机制详解宝典 在linux的内存分配机制中,优先使用物理内存,当物理内存还有空闲时(还够用),不会释放其占用内存,就算占用内存的程序已经被关闭了,该程序所占用的内存用来做缓存使用,对于 ...
- PHP的垃圾回收机制详解
原文:PHP的垃圾回收机制详解 最近由于使用php编写了一个脚本,模拟实现了一个守护进程,因此需要深入理解php中的垃圾回收机制.本文参考了PHP手册. 在理解PHP垃圾回收机制(GC)之前,先了解一 ...
- Java 反射 设计模式 动态代理机制详解 [ 转载 ]
Java 反射 设计模式 动态代理机制详解 [ 转载 ] @author 亦山 原文链接:http://blog.csdn.net/luanlouis/article/details/24589193 ...
随机推荐
- input:checked + label用法
input:checked ~ label :相邻同胞选择器,选择被选中的input标签后 所有的label标签[input 和 label标签有共同的父元素]: input:checked + ...
- layui(五)——form组件常见用法总结
form 是我们非常看重的一块.layui中的form实现全自动的初始渲染,和基于事件驱动的接口书写方式.我整理了layui中form的配置.下边直接给一个栗子,后台采用.net MVC,除了razo ...
- ruby数据库表添加字段、修改字段类型、修改字段名称
Rails 手册 3.8 使用 change 方法 1.为表添加字段 rails g migration add_column_to_d_groups_equip_num class AddColum ...
- ubuntu 配置minicom 进行串口开发
sudo apt-get install minicom sudo minicom -s Serial port setup Save setup as d ...
- 阿里云部署Web项目
1.首先最基本的购买服务器和域名(学生党可以享受每月9块钱的优惠,不知道为什么,pc端不能购买,只能下载阿里云APP购买) 下载APP后打开:学生专区-学生特权-购买(我选择的是ubuntu,这个随 ...
- Python实现代理模式
from abc import ABCMeta, abstractmethod NOT_IMPLEMENTED = "You should implement this." cla ...
- 【python小练】0005
第 0005 题:你有一个目录,装了很多照片,把它们的尺寸变成都不大于 iPhone5 分辨率的大小. 首先,iphone5的分辨率是1136x640. if条件句判断横(纵)向是否大于对应的ipho ...
- mvc EF框架中,加载外键对象序列化对象时报错 序列化类型为XX的对象时检测到循环引用
Newtonsoft.Json.dll 或者通过->工具->库程序包管理工具->NuGet管理包->联机 输入Newtonsoft或者json.net Newtonsoft.J ...
- Coursera, Machine Learning, Unsupervised Learning, K-means, Dimentionality Reduction
Clustering K-means: 基本思想是先随机选择要分类数目的点,然后找出距离这些点最近的training data 着色,距离哪个点近就算哪种类型,再对每种分类算出平均值,把中心点移动到 ...
- 使用TensorFlow遇到的若干问题
一.查看版本: 进入到Python的命令行状态后,可以在终端输入查询命令如下: import tensorflow tensorflow.__version__ 查询tensorflow安装路径为: ...