面试官:Netty的线程模型可不只是主从多Reactor这么简单
笔者看来Netty的内核主要包括如下图三个部分:

其各个核心模块主要的职责如下:
内存管理
主要提高高效的内存管理,包含内存分配,内存回收。网通通道
复制网络通信,例如实现对NIO、OIO等底层JAVA API 的封装,简化网络编程模型。线程模型
提供高效的线程协作模型。
大家不妨回想一下在以往的面试的过程中,面试官通常会问:Netty 的线程模型是什么?
主从多 Reactor 模型,相信大家都能脱口而出,然后呢?就没有然后了?
线程模型在网络通信中主要解决什么样的问题?在 Netty 中又是如何解决的,Netty 的线程模型为什么如此高效?请容我慢慢道来。
温馨提示:为了保证文章观点的严谨性,将探究领域锁定在:Netty NIO 相关。
1、主从多 Reactor 模型
主从多 Reactor 模型是业界一种非常经典的线程编程模型,其原理图如下所示:

我们首先简单介绍一下上图中涉及的几个重要角色:
Acceptor
请求接收者,在实践时其职责类似服务器,并不真正负责连接请求的建立,而只将其请求委托 Main Reactor 线程池来实现,起到一个转发的作用。
Main Reactor
主 Reactor 线程组,主要负责连接事件,并将IO读写请求转发到 SubReactor 线程池。当然在一些需要对客户端进行权限控制等场景下,权限校验的职责可以放到 Main Reactor 线程池,即 Main Reactor 也可以注册通道的读写事件,读取客户端权限校验相关的数据包,执行权限验证,权限验证通过后再将2通道注册到IO线程。Sub Reactor
Main Reactor 通常监听客户端连接后会将通道的读写转发到 Sub Reactor 线程池中一个线程(负载均衡),负责数据的读写。在 NIO 中 通常注册通道的读(OP_READ)、写事件(OP_WRITE)。
为了更加深刻的理解主从 Reactor 模型,我们来看一下网络通讯一般会包含哪些关键动作:

一个网络交互通常的几个步骤如下:
- 服务端启动,并在特定端口上监听,例如 web 应用的 80端口。
- 客户端发起TCP的三次握手,与服务端建立连接,这里以 NIO 为例,连接成功建立后会创建NioSocketChannel对象。
- 服务端通过 NioSocketChannel 从网卡中读取数据。
- 服务端根据通信协议从二进制流中解码出一个个请求。
- 根据请求,执行对应的业务操作,例如 Dubbo 服务端接受一个查询用户ID为1的用户信息。
- 将业务执行结果返回到客户端,通常涉及到协议编码、压缩等。
线程模型需要解决的问题:连接监听、网络读写、编码、解码、业务执行这些操作步骤如何运用多线程编程,提升性能。
主从多Reactor模型是如何解决上面的问题呢?
连接建立(OP_ACCEPT)由 Main Reactor 线程池负责,创建NioSocketChannel后,将其转发给SubReactor。
SubReactor 线程池主要负责网络的读写(从网络中读字节流、将字节流发送到网络中),即注册OP_READ、OP_WRITE,并且同一个通道会绑定一个SubReactor线程。
编码、解码、业务执行,则具体情况具体分析
通常编码、解码会放在IO线程中执行,而业务逻辑的执行通常会采用额外的线程池,但不是绝对的,一个好的框架通常会使用参数来进行定制化选择,例如 ping、pong 这种心跳包,直接在 IO 线程中执行,无需再转发到业务线程池,避免线程切换开销。
温馨提示:在网络编程中,通常将用于网络读写的线程称为IO线程。
2、Netty 的线程模型
Netty的线程模型是基于主从多Reactor模型。

Netty 中网络的连接事件(OP_ACCEPT)由Main Reactor 线程组实现,即 Boss Group,通常只需设置一个线程。
网络的读写操作由 Work Group ( Sub Reactor) 线程组来实现,线程的个数默认为 2 * CPU Core,一个 Channel 绑定到其中一个 Work 线程,一个 Work 线程中可以绑定多个 Channel。
在 Netty 中编码、解码等操作会被封装成一个一个事件处理器(ChannelHandler),那这些 Handler 是在IO线程池中执行?
默认情况下ChannelHandler 是在 IO 线程中执行,那如何改变默认行为呢?其关键代码如下:

关键点:在将事件处理器添加到事件链时可以指定在哪个线程池中执行,如果不指定则为IO线程中执行。
面试官:通常业务操作会专门开辟一个线程池,那业务处理完成之后,如何将响应结果通过 IO 线程写入到网卡中呢?

业务线程调用 Channel 对象的 write 方法并不会立即写入网络,只是将数据放入一个待写入队列(缓存区),然后IO线程每次执行事件选择后,会从待写入缓存区中获取写入任务,将数据真正写入到网络中,数据到达网卡之前会经过一系列的 Channel Handler(Netty事件传播机制),最终写入网卡。
最后再来介绍一下 Netty 中 IO 线程的大体工作流程。

IO线程处理的关键点:
- 每一IO线程在执行上述操作时是串行执行的,即注册在一个 Selector(事件选择器)中的所有通道,同一时间只有一个通道的事件被处理。这也是为什么NIO应对大文件传输时不具备优势的根本原因。
- IO 线程在处理完所有就绪事件后,还会从任务队列(Task Queue)获取任务,例如上文中提到的业务线程在执行完业务后需要将返回结果写入网络,Netty 中所有的网络读写操作只能在IO线程中真正获得运行,故业务线程需要将带写入的响应结果封装成 Task,放入到 IO 线程任务队列中。
3、总结
回到到主题,如果我们在面试过程中碰到面试官提问“Netty 的线程模型是什么?”时,我们应该可以从容应对了。
我觉得可以从如下几个方面进行展开。
- Netty 的线程模型基于主从多Reactor模型。通常由一个线程负责处理OP_ACCEPT事件,拥有 CPU 核数的两倍的IO线程处理读写事件。
- 一个通道的IO操作会绑定在一个IO线程中,而一个IO线程可以注册多个通道。
- 在一个网络通信中通常会包含网络数据读写,编码、解码、业务处理。默认情况下编码、解码等操作会在IO线程中运行,但也可以指定其他线程池。
- 通常业务处理会单独开启业务线程池,但也可以进一步细化,例如心跳包可以直接在IO线程中处理,而需要再转发给业务线程池,避免线程切换。
- 在一个IO线程中所有通道的事件是串行处理的。
好了,本文就介绍到这里了,您的点赞与转发是对我持续输出高质量文章最大的鼓励。更多文章推荐关注我的公众号[中间件兴趣圈]

面试官:Netty的线程模型可不只是主从多Reactor这么简单的更多相关文章
- Netty IO线程模型学习总结
Netty框架的 主要线程是IO线程.线程模型的好坏直接决定了系统的吞吐量.并发性和安全性. Netty的线程模型遵循了Reactor的基础线程模型.以下我们先一起看下该模型 Reactor线程模型 ...
- Netty服务器线程模型概览
一切从ServerBootstrap开始 ServerBootstrap负责初始话netty服务器,并且开始监听端口的socket请求. bootstrap bootstrap =newServerB ...
- netty之==线程模型
1.1 netty线程模型本质遵循了Reactor的基础线程模型,所以得先介绍Reactor模型 1.2 Reactor模型 无论是C++还是Java编写的网络框架,大多数都是基于Reactor模 ...
- 面试官:Java 线程如何启动的?
摘要:Java 的线程创建和启动非常简单,但如果问一个线程是怎么启动起来的往往并不清楚,甚至不知道为什么启动时是调用start(),而不是调用run()方法呢? 本文分享自华为云社区<Threa ...
- Netty是什么,Netty为什么速度这么快,线程模型分析
哈喽!大家好,我是小奇,一位热爱分享的程序员 小奇打算以轻松幽默的对话方式来分享一些技术,如果你觉得通过小奇的文章学到了东西,那就给小奇一个赞吧 文章持续更新 一.前言 书接上回,现在下着大雨看来是去 ...
- 彻底搞懂 netty 线程模型
编者注:Netty是Java领域有名的开源网络库,特点是高性能和高扩展性,因此很多流行的框架都是基于它来构建的,比如我们熟知的Dubbo.Rocketmq.Hadoop等.本文就netty线程模型展开 ...
- Netty — 线程模型
一.前言 众所周知,netty是高性能的原因源于其使用的是NIO,但是这只是其中一方面原因,其IO模型上决定的.另一方面源于其线程模型的设计,良好的线程模型设计,能够减少线程上下文切换,减少甚至避免锁 ...
- 手撕面试官系列(六):并发+Netty+JVM+Linux面试专题
并发面试专题 (面试题+答案领取方式见侧边栏) 现在有 T1.T2.T3 三个线程,你怎样保证 T2 在 T1 执行完后执行,T3 在 T2 执行完后执行? 在 Java 中 Lock 接口比 syn ...
- 深入Netty逻辑架构,从Reactor线程模型开始
本文是Netty系列第6篇 上一篇文章我们从一个Netty的使用Demo,了解了用Netty构建一个Server服务端应用的基本方式.并且从这个Demo出发,简述了Netty的逻辑架构,并对Chann ...
随机推荐
- Java并发编程的艺术(七)——线程间的通信
为什么需要线程间通信 让线程之间合作,提高运行效率. volatile和synchronized关键字 实现原理 这两个方式都是采用共享内存的方式进行通信,通过同步机制保证数据可见性和排他性. 特点 ...
- 谷歌SameSite策略
当我新下载谷歌80.x版本的时候,访问一个系统(内嵌跳转到其他系统的iframe),跳转过去没有携带cookie,以前版本的谷歌浏览器是可以的,控制台提示SameSite策略,给阻止了cookie携带 ...
- JavaScript:记录一些字符串和数组常用的方法
字符串: 字符串的方法:注意:都不会改变原来的字符串,返回值为新的字符串.如果(1,2),一般是包含小标1,不包含下标2 str.charAt(i): 取str的第i+1个字符,类似数组的arr[i] ...
- Salesforce LWC学习(二十八) 复制内容到系统剪贴板(clipboard)
本篇参考: https://developer.mozilla.org/zh-CN/docs/Mozilla/Add-ons/WebExtensions/Interact_with_the_clipb ...
- 20201213-1 HTML基本标签(一)
> HTML 基本结构 <> </> 标签对 > 一个 HTML 文档由 4 个基本部分组成: 文档声明:<!DOCTYPE HTML>声明这是一个 ...
- 1.微博回调接口 和绑定user接口
1.1 oauth/views.py 中添加试图函数 http://192.168.56.100:8888/oauth/weibo/callback/ # 通过vue前端传入的code,微博身份验证c ...
- oracle使用rman备份集恢复方式创建ADG
一.背景 系统: 主库:rhel 6.4 64bit 备库:rhel 6.4 64bit 内存:2G [oracle@dgdb1 ~]$ free -m total used free share ...
- Bug java 安全证书
在一个改修项目里,安全性方面总是出一个bug,错误信息如下: xception in thread "main" javax.crypto.BadPaddingException: ...
- Docker(六):Docker安装Kibana
查找Kibana镜像 镜像仓库 https://hub.docker.com/ 下拉镜像 docker pull kibana:7.7.0 查看镜像 docker images 创建Kibana容器 ...
- 牛客挑战赛46 C
题目链接: 排列 考虑\(dp\),我们思考如何设计状态 将第i个数插入i-1个数中,我们考虑会新增多少个超级逆序对 假设将\(i\)插入后\(i\)的位置为\(l\),\(i-1\)的原来的位置为\ ...