IO 多路复用原理

IO 多路复用

普通情况下，一个进程只能监视一个文件描述符（阻塞），如果使用非阻塞 IO，则会使 CPU 频繁陷入内核和空转，降低效率。而IO 多路复用是操作系统提供的接口，他会帮你同时监视多个 fd，当fd没有事件发生，调用这个接口的用户进程会阻塞，当有事件发生时，返回事件发生的 fd。这样就实现了一个进程处理多个请求。那 IO 多路复用是如何实现的？

前置知识

等待队列

在Linux内核中等待队列有很多用途，可用于中断处理、进程同步及定时。我们在这里只说，进程经常必须等待某些事件的发生。等待队列实现了在事件上的条件等待:希望等待特定事件（在本文中就是 fd 的可读可写事件）的进程把自己放进合适的等待队列，并放弃控制权（挂起）。因此，等待队列表示一组睡眠的进程，当某一条件为真时，由内核唤醒它们。

Linux 的 wakeup&callback 机制

linux(2.6+)内核的事件wakeup callback机制，这是IO多路复用机制存在的本质。Linux 通过等待队列来管理所有等待socket 某个事件的进程。等待的进程会被阻塞在等待队列上，当事件发生时，内核会遍历这个队列，检查如果某个节点进程关心这个事件，则调用这个进程节点的 call back 函数。

select/poll

int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

1. 每次调用 select，用户需要传入所有关心的 socket ，CPU 陷入内核，操作系统需要将文件描述符拷贝到内核空间。
2. 内核依次检查每个 socket：把 current 轮流挂到各个 fd 的设备等待（fd）队列上，在fd有事件发生，会唤醒等待队列上的进程，此时 current 被唤醒，当进程唤醒后，将就绪事件结果保存在fds的res_in、res_out、res_ex。这个过程的时间是 O(n)。
3. 最后检查所有 fds 的res_in、res_out、res_ex，将有事件发生的 fd 拷贝到用户传入的 fb_set 结构体数组，用户遍历找到可读文件描述符。为了效率，操作系统限制拷贝的 BitsMap 大小默认为 1024。

poll 用动态数组取代 BitsMap 但本质不变，对于每个文件描述符的检查复杂度都是 O(n)。

epoll

epoll 有 3 个接口：

1. epoll_creat创建一个 epoll 描述符

2. epoll_ctl动态更新关心的文件描述符

3. epoll_wait 等待关心的 socket 事件发生

4. 首先epoll 和 poll 不一样点是 用户不是在调用 epoll_wait 的时候才传入 fd，而是 epoll_ctl 的时候就已经传入，内核负责保存 fd，这样就省掉了不必要的重复拷贝。epoll_ctl 的同时会把 current 挂在对应 fd 的等待队列并设置回调函数。

5. 每次调用poll系统调用，操作系统都要把current（当前进程）挂到fd对应的所有设备的等待队列上，可以想象，fd多到上千的时候，这样挂法很费事；而每次调用epoll_wait则没有这么啰嗦，epoll只在epoll_ctl时把current挂一遍（这第一遍是免不了的）并给每个fd一个命令：“好了就调回调函数”，如果设备有事件了，通过回调函数，去epoll 的红黑树查找对应节点，并将节点放在 rdllist 双向链表中。而每次调用epoll_wait就只是收集rdllist里的fd就可以了——epoll巧妙的利用回调函数，实现了更高效的事件驱动模型。

6. epoll 通过 Linux 的回调机制，socket事件发生时Linux 内核会通过回调函数去epoll 的红黑树查找对应节点，并将节点放在 ready_list 双向链表中。最后返回这个双向链表，用户只需遍历这个链表即可得到所有就绪的socket。

边缘触发ET和水平触发LT

• 使用边缘触发模式时，当被监控的 Socket 描述符上有可读事件发生时，服务器端只会从 epoll_wait 中苏醒一次，即使进程没有调用 read 函数从内核读取数据，也依然只苏醒一次，因此我们程序要保证一次性将内核缓冲区的数据读取完；
• 使用水平触发模式时，当被监控的 Socket 上有可读事件发生时，服务器端不断地从 epoll_wait 中苏醒，直到内核缓冲区数据被 read 函数读完才结束，目的是告诉我们有数据需要读取；

一般来说，边缘触发的效率比水平触发的效率要高，因为边缘触发可以减少 epoll_wait 的系统调用次数，系统调用也是有一定的开销的的，毕竟也存在上下文的切换。

参考:

9.2 I/O 多路复用：select/poll/epoll | 小林coding (xiaolincoding.com)

https://www.xiaolincoding.com/os/8_network_system/selete_poll_epoll.html

Linux内核select源码剖析 | PandaDemo

poll&&epoll实现分析（一）——poll实现-lvyilong316-ChinaUnix博客

poll&&epoll实现分析（二）——epoll实现-lvyilong316-ChinaUnix博客

大话 Select、Poll、Epoll-腾讯云开发者社区-腾讯云 (tencent.com)

Linux内核——等待队列浅谈 | Shunlqing's Blog