服务器端网络编程之 IO 模型

引言 

从 T 跳槽到 A 之后，我的编程语言也从 C++ 转为 了 Java。在 T 做的偏服务器端开发，而在 A 更偏向于业务开发。上周在 A 公司组内做了一个《服务器端高性能网络编程》的分享，我讶异于组内的十个人竟然没有一个人做过直接基于 TCP/IP 协议的开发，更多的是 Web 后台的业务开发。连 Java 最强大的网络库 Netty，用过的人也只有一个。但也不难理解---A 公司的中间件平台，将业务与底层进行了隔离，让程序员可以专心于业务开发。

孰优孰劣？不能一概而论，还记得跳槽 A 公司之前面试过 N 公司，面试官问我 HTTP 协议、RPC 框架等知识，我也是一知半解。要什么 HTTP 协议、要什么 RPC ，我们直接 TCP/IP。其实这也是 T 公司基础设施不够完善的一种表现，这些在我的另一篇文章《我在腾讯和阿里的见闻》中谈过，感兴趣的可以移步。

作为 Java Web 程序员，你有想过 Web 服务器（Nginx，Tomcat，Jetty等）是如何接受你的 HTTP 请求的吗？你知道 其实 HTTP 也是基于 TCP/IP 的文本协议吗？之所以取这样的标题，希望 Java Web 程序员对服务器端的某些工作原理有一些简单的了解，也不至于在面试的时候一问三不知。

概念

在编写服务器端网络程序时，我们最常见到阻塞、非阻塞、同步和异步这四个词。它们的解释分别如下：

阻塞： 阻塞调用是指调用返回之前，当前线程会被挂起，只有当调用得到结果后才返回。

非阻塞：与阻塞相反，非阻塞调用是指在不能立即得到结果之前，该函数不会将当前线程阻塞，而是立即返回。

同步：所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回。等前一件做完了才能做下一件事。

异步：异步的概念和同步相对。当一个异步过程调用发出后，调用者不能立刻得到结果。实际处理这个调用的部件在完成后，通过状态、通知和回调来通知调用者。

常常有人弄不清阻塞/非阻塞与同步/异步之间的关系，容易将他们混为一谈。阻塞/非阻塞更多的用来形容某次调用的属性（比如 read(),write() 是否是阻塞/非阻塞 ）所以应用范围比较窄；而同步/异步则更上层，通常指各个功能/线程之间的关系（比如 Thread1 和 Thread2 是同步执行还是异步执行）。

IO 模型

服务器端 IO 主要分为两种：磁盘 IO 和网络 IO，在讲服务器端高性能网络编程时更多时候我们讲的是网络 IO 模型。一次完整的服务器端处理网络请求流程图如下（简化版，以 Web 服务器为例）：

这张图比较简单，但是很多人在没看到这张图之前肯定都以为每次网络读(recvfrom())或者写(sendto())都是在网卡与用户进程之间进行操作，其实不是。从上图可以看出，数据无论从网卡到用户空间还是从用户空间到网卡都需要经过内核。从磁盘上读写数据也是如此。所以就有了 mmap 技术，感兴趣的可以自行百度。应用进程（Web 服务器也属于应用进程，这里需要再统一几个概念：用户进程、应用程序、Web 服务器程序，它们相对于内核来说都是应用进程，所以后面文章中统一成应用进程）需要通过系统调用（recvfrom/sendto）向内核读写数据，内核再进一步操作网卡。

根据应用进程系统调用方式的阻塞、非阻塞，操作系统在处理应用程序请求时处理方式的同步、异步处理的不同，参考《UNIX 网络编程卷 I》可以分为 5 种 IO 模型：

1、阻塞 IO 模型（blocking IO）

描述：应用程序进行 recvfrom 系统调用时将阻塞在此调用，直到该套接字上有数据并且复制到用户空间缓冲区。该模式一般配合多线程使用，应用进程每接收一个连接，为此连接创建一个线程来处理该连接上的读写以及业务处理。

优点：编程简单，适合教学。《UNIX网络编程卷I》上很多例子都是基于这种模式。

缺点：如果套接字上没有数据，进程将一直阻塞。这时其他套接字上有数据也不能进行及时处理。如果是多线程方式，除非连接关闭否则线程会一直存在，而线程的创建、维护和销毁非常消耗资源，所以能建立的连接数量非常有限。

2、非阻塞 IO 模型（nonblocking IO）

　　描述：应用进程每次调用 recvfrom 即使没有数据准备好也不会阻塞，会继续往下执行，避免了进程阻塞在某个连接上的弊端。

优点：代码编写相对简单，进程不会阻塞，可以在同一线程中处理所有连接。

缺点：需要频繁的轮询，比较耗 CPU，在并发量很大的时候将花费大量时间在没有任何数据的连接上轮询。所以该模型只在专门提供某种功能的系统中才会出现。

3、IO 复用模型（IO multiplexing）

描述：应用进程阻塞于 select/poll/epoll 等系统函数等待某个连接变成可读（有数据过来），再调用 recvfrom 从连接上读取数据。虽然此模式也会阻塞在 select/poll/epoll 上，但与阻塞IO 模型不同它阻塞在等待多个连接上有读（写）事件的发生，明显提高了效率且增加了单线程/单进程中并行处理多连接的可能。

优点：统一管理连接，不一定采用多线程的方式，同时也不需要轮询。只需要阻塞于 select 即可，可以同时管理多个连接。

缺点：当 select/poll/epoll 管理的连接数过少时，这种模型将退化成阻塞 IO 模型。并且还多了一次系统调用：一次 select/poll/epoll 一次 recvfrom。

4、信号驱动 IO 模型（signal-driven IO）

描述：应用进程创建 SIGIO 信号处理程序，此程序可处理连接上数据的读写和业务处理。并向操作系统安装此信号，进程可以往下执行。当内核数据准备好会向应用进程发送信号，触发信号处理程序的执行。再在信号处理程序中进行 recvfrom 和业务处理。

优点：非阻塞

缺点：在前一个通知信号没被处理的情况下，后一个信号来了也不能被处理。所以在信号量大的时候会导致后面的信号不能被及时感知。

5、异步 IO 模型（asynchronous IO）

描述：应用进程通过 aio_read 告知内核启动某个操作，并且在整个操作完成之后再通知应用进程，包括把数据从内核空间拷贝到用户空间。信号驱动 IO 是内核通知我们何时可以启动一个 IO 操作，而一部 IO 模型是由内核通知我们 IO 操作何时完成。

 注：前 4 种模型都是带有阻塞部分的，有的阻塞在等待数据准备好，有的阻塞在从内核空间拷贝数据到用户空间。而这种模型应用进程从调用 aio_read 到数据被拷贝到用户空间，不用任何阻塞，所以该种模式叫异步 IO 模型。这五种模型的取名和并列方式我是保留意见的，感觉容易迷惑读者。 

优点：没有任何阻塞，充分利用系统内核将 IO 操作与计算逻辑并行。

缺点：编程复杂、操作系统支持不好。目前只有 windows 下的 iocp 实现了真正的 AIO。linux 下在 2.6 版本中才引入，目前并不完善，所以 Linux 下一般采用多路复用模型。

  对比

前四种模型的主要区别于第一阶段，因为他们的第二阶段都是一样的：在数据从内核拷贝到应用进程的缓冲区期间，进程阻塞于 recvfrom 调用。相反，异步 IO 模型在这两个阶段都需要处理，从而不同于其他四种模型。

　　以上图片所有原型都来自于《UNIX网络编程卷 I》，里面有很多跟网络编程有关的知识点和例子，是程序员必备书籍，即使你是业务程序员也应该购买一本，知其然，知其所以然！

    总结

JDK 的网络编程相关的类、接口虽然不像 C++ 是直接依赖于操作系统的，但它的 IO 模型是离不开以上五种模型的。毕竟这是模型，与语言、操作系统无关。 IO 模型只是高性能网络编程中的基础部分，光有好的 IO 模型还不行，我们还需要好的架构（线程模型）。线程模型是高性能网络编程的核心部分，在后面的文章中应该还会分析。