Netty — 线程模型

一.前言

众所周知，netty是高性能的原因源于其使用的是NIO，但是这只是其中一方面原因，其IO模型上决定的。另一方面源于其线程模型的设计，良好的线程模型设计，能够减少线程上下文切换，减少甚至避免锁的竞争（无锁化设计）带来的开销。

本篇文章将介绍netty的线程模型设计，主要从以下几个方面：

Reactor模式
Scalable IO in Java
Netty中的线程模型

### 二.Reactor模式

Reactor模式是一种软件程序设计模式，它由Jim Coplien和Douglas C. Schmidt在1995年发布，主要用于处理一个或者多个客户端发起请求。

从一个客户端连接到日志服务器，然后发送请求的两个流程来看Reactor模式。其中有三种组件：

Dispacther：分发客户端的请求事件
Acceptor：接受客户端连接事件
Handler：处理客户端发起的请求事件

1.客户端连接到日志服务器

日志服务端注册Acceptor至Dispatcher
日志服务端调用分发器内部的handle_events方法
分发器开始在多路监听器（一般为OS的select、epoll）上等待客户端请求
客户端连接至日志服务器
分发器通知Acceptor连接事件
Accetor接受一个新的连接

2.客户端发送记录日志的请求

客户端使用上部分建立的连接发送记录日志的请求
客户端分发器将记录日志的时间通知给Handler
Handler处理读请求然后内部在传递给下个Handler继续处理
最终Handler进行写响应
返回到分发器，分发器继续事件循环等待处理下个事件

以上的几种组件的作用和处理连接和请求事件的模式就是Reactor模式。

### 三.Scalable IO in Java

以上的Reactor模式只是简单的设计模型，对于每种程序语言设计而言，仍然需要做一些改变。基于Java的NIO如何使用该模式构建高性能可伸缩的服务，并发大神Doug Lea在他的网站上发布过一篇论文《Scalable IO in Java》。

这篇论文中主要谈及的话题是如何构建高性能可扩展的IO，其中就是基于Reactor模式进行了演进。

其中涉及到以下组件：

Reactor: 响应IO事件，分发至相应的Handlers
Handlers: 执行非阻塞的IO操作，

1.单线程Reactor模式

其中客户端发送请求至服务端，Reactor响应其IO事件。
如果是建立连接的请求，则将其分发至acceptor，由其接受连接，然后再将其注册至分发器。
如果是读请求，则分发至Handler，由其读出请求内容，然后对内容解码，然后处理计算，再对响应编码，最后发送响应

在整个过程中都是使用单线程，无论是Reactor线程和后续的Handler处理都只使用一个线程。

但是单线程无疑会降低性能，所以需要增加线程提供扩展。

2. 多线程Reactor模式

为了能够提高扩展性，需要在单线程的模型上增加线程，主要从两个方面利用多线程发挥多核的应用优势：

Worker Threads，Reactor应该能够快速的触发事件，防止Handler处理的延迟Reactor的响应导致事件积累，最终导致客户端连接请求的积压，甚至服务端的句柄数耗尽，服务停止响应。所以在Handlers的处理中使用工作多线程
Multiple Reactor Threads，使用多个Reactor线程用于响应客户端发起的事件，可以使用多个Reactor分担负载

以上多线程的Reactor处理模式中，Reactor线程仍然是单线程，负责acceptor和IO read/send。但是对于请求的解码以及业务处理和响应的编码都是有work thread pool负责。

3.多Reactor模式

上述的多线程模式解决了Handler降低Reactor的响应，同时也提升了Handler的处理效率。但是Reactor仍然是单线程，对于大量的网络事件，其仍然有负载压力。为了能够使用多线程分担压力，演进出多Reactor：

其中主Reactor响应用户的连接事件，然后分发给acceptor，由其创建新的子Reactor。多个子Reactor分别处理各自的IO事件，比如read/write，然后再将其交给work thread pool进行解码，业务处理，编码。

多Reactor的设计通过将TCP连接建立和IO read/write事件分离至不同的Reactor，从而分担单个Reactor的压力，提升其响应能力。

### 四.Netty中的线程模型

在认识了Reactor设计模式和基于Reactor构建高性能可扩展的IO后，再来看netty的线程模型就显得简单的多了。

netty的线程模型设计正是Reactor模式的变种。以上的三种Reactor模式，在netty中都能非常好的得到了支持。在netty中主要通过参数配置来切换以上的各种模式。

netty中有EventLoopGroup和EventLoop两个类，它们是实现Reactor的关键之所在。EventLoop正如其名，其中包包含一个Selector选择器和一段循环逻辑。通过不断循环获取Selector上的就绪事件然后进行处理。EventLoopGroup是包含一组EventLoop的组，通过其可以产生一个EventLoop。

在阅读了netty官网给出的Demo后，可以知道，在创建一个Server时都会创建两个EventLoopGroup，分别为boss和work。前者用户Main Reactor，后者用于Sub Reactor和WorkThreadPool。

每次Main Reactor通过Selector得到客户端建立连接的请求后，就从work EventLoopGroup中获取一个EventLoop，然后将建立的连接对应的Socket抽象SocketChannel绑定到EventLoop上，形成了新的Sub Reactor。

在了解了netty的线程模型后，下面首先看下各种模式下的netty的参数配置。

1.单线程Reactor配置

通过构造一个EventLoop，将其用作Reactor和WorkThread，即是单线程模式。

EventLoopGroup eventLoopGroup = new NioEventLoopGroup();

EventLoop bossLoop = eventLoopGroup.next();

EventLoop workLoop = reactorLoop;

ServerBootstrap b = new ServerBootstrap();

b.group(reactorLoop, workLoop);

boss和work使用同一个EventLoop，可以实现单线程Reactor。

2.多线程Reactor配置

Reactor使用单线程，然后Work使用多线程，即是多线程模型。

EventLoopGroup eventLoopGroup = new NioEventLoopGroup();

EventLoop bossLoop = eventLoopGroup.next();

EventLoopGroup workLoopGroup = new NioEventLoopGroup();

ServerBootstrap b = new ServerBootstrap();

b.group(reactorLoop, workLoopGroup);

3.多Reactor模式

以上的多线程Reactor模式，便是多Reactor模式。bossLoop是主Reactor，其通过事件循环创建TCP连接，然后将连接的SocketChannel抽象绑定到workLoopGroup中的EventLoop上，形成Sub Reactor。

只是Main Reactor是单线程进行事件循环。虽然也可以构造多线程，但是没有什么实际意义。因为netty中在绑定端口时只会使用Group中的一个EventLoop绑定到Selector上，即是使用了EventLoopGroup。

当然对于同个应用如果监听多个端口，使用多个ServerBootStrap共享一个boss，那样Main Reactor也是多线程模式，才有意义。

参考

Scalable IO in Java

Reactor Pattern