dubbo底层之Netty
背景
- Java线程:由开始的单线程,到通过new Thread()创建的多线程,再到现如今的线程池,Java多线程编程的效率和性能有了很大的提升
- Reactor模型:基于事件驱动,适合处理海量I/O事件
1) 单线程模型,所有的IO操作都在一个NIO线程上完成
存在性能和可靠性上的问题
2) 多线程模型,有一组NIO线程处理IO操作
有一个专门的NIO线程-Acceptor线程用于监听服务端,接收客户端的TCP连接请求;
有一个NIO线程池,负责消息的读取、发送、编码、解码;
一个NIO线程能负责N条链路,一条链路只能由一个线程负责(防止发生并发操作问题)
3) 主从多线程模型
添加主线程池用于处理客户端的连接请求,一旦链路建立成功(经过握手、认证等过程),就将链路注册到从线程池的IO线程上,由IO线程负责后续的IO操作
Netty线程模型
1.线程模型分类
1) 服务端线程模型,类似于Reactor的多线程模型
2) 客户端线程模型:由客户端创建SocketChannel,发起连接,线程池判断连接结果,如果连接成功,则监听读操作位,否则监听连接操作位,一旦连接成功就监听读操作位
2.Reactor线程NioEventLoop
1) 作为服务端Acceptor线程,处理客户端的连接请求
2) 作为客户端的connector,注册监听连接操作位,判断异步连接结果
3) 作为IO线程,监听读操作位,负责从SorcketChannel中读取报文
4) 作为IO线程,监听写操作位,负责向SocketChannel写入报文发送给对方
5) 作为定时线程,执行定时任务(链路空闲检测,心跳检测)
6) 作为线程执行器,可以执行普通的任务线程
3.NioEventLoop设计原理
1) 串行化设计理念:NioEventLoop线程池中有若干个NioEventLoop线程,每一个NioEventLoop线程串行执行Handler链;每当有一个客户端接入,从线程池中获取一个可用的NioEventLoop线程,当数组到达上限之后,从0开始(负载均衡);每个客户端连接一个线程,这样保证了数据的安全性(避免多个线程同时访问)
2) 定时任务和时间轮算法:客户端连接超时,链路空闲检测
Netty的定时任务调度就是基于时间轮调度算法,首先查看任务队列中是否有超时的定时任务或者普通任务,有则执行(按照时间片原则分配运行时间),没有就等待定时任务中延迟最小的任务(即即将第一个超时的任务)的延迟时间,然后将扫描定时任务,将超时的定时任务加入任务队列,在任务执行时,Netty每执行64个定时任务就检测一次是否达到执行时间上限,达到则退出,如果没有执行完就放到下次轮询时再处理。
3) Netty是个异步高性能NIO框架,不是业务处理容器,不需要也不应该提供业务容器和业务线程,,只需要提供和管理NIO线程,关于业务层模型由用户自己集成。
Netty结构

PS:图中有一点修正一下,SocketChannel是建立在客户端与服务端之间的,EventLoopGroup线程池中的一个线程与SocketChannel绑定,在服务端后续的线程处理之前,需要从SocketChannel中读取参数,在处理之后,需要向SocketChannel中写入处理结果。
Dubbo通信层(利用Netty)的实现过程

dubbo底层之Netty的更多相关文章
- Netty:Reactor Pattern 与 Dubbo 底层传输中的 NettyServer
首先,我们需要了解Reactor模式的三种线程模型: 1)单线程模型 Reactor 单线程模型,指的是所有的 IO 操作都在同一个 NIO 线程上面完成,NIO 线程的职责如下: 作为 NIO 服务 ...
- Dubbo底层采用Socket进行通信详解
由于Dubbo底层采用Socket进行通信,自己对通信理理论也不是很清楚,所以顺便把通信的知识也学习一下. n 通信理论 计算机与外界的信息交换称为通信.基本的通信方法有并行通信和串行通信两种. 1 ...
- ES transport client底层是netty实现,netty本质上是异步方式,但是netty自身可以使用sync或者await(future超时机制)来实现类似同步调用!因此,ES transport client可以同步调用也可以异步(不过底层的socket必然是异步实现)
ES transport client底层是netty实现,netty本质上是异步方式,但是netty自身可以使用sync或者await(future超时机制)来实现类似同步调用! 因此,ES tra ...
- Dubbo底层原理
dubbo 1. 依赖 spring扫描注入 2. 反射 3. 动态代理 4.Zookeeper 5.netty 服务不在本地,具体实现在远程 可以用Dubbo 基于XML 效率低 传输低 解析低 ...
- 看 Netty 在 Dubbo 中如何应用
目录: dubbo 的 Consumer 消费者如何使用 Netty dubbo 的 Provider 提供者如何使用 Netty 总结 前言 众所周知,国内知名框架 Dubbo 底层使用的是 Net ...
- Dubbo源码学习之-通过源码看看dubbo对netty的使用
前言 前段时间,从头开始将netty源码了解了个大概,但都是原理上理解.刚好博主对dubbo框架了解过一些,这次就以dubbo框架为例,详细看看dubbo这种出色的开源框架是如何使用netty的,又是 ...
- Dubbo学习小记
前言 周一入职的新公司,到了公司第一件事自然是要熟悉新公司使用的各种技术,搭建本地的环境. 熟悉新公司技术的过程中,首先就是Maven,这个前面已经写过文章了,然后就是Dubbo----公司的服务都是 ...
- dubbo/dubbox 增加原生thrift及avro支持
(facebook) thrift / (hadoop) avro / (google) probuf(grpc)是近几年来比较抢眼的高效序列化/rpc框架,dubbo框架虽然有thrift的支持,但 ...
- Netty权威指南
Netty权威指南(异步非阻塞通信领域的经典之作,国内首本深入剖析Netty的著作,全面系统讲解原理.实战和源码,带你完美进阶Netty工程师.) 李林锋 著 ISBN 978-7-121-233 ...
随机推荐
- 获取QQ头像接口
https://q4.qlogo.cn/g?b=qq&nk=QQ号码&s=140
- 027.1 反射技术 Class
JAVA反射机制是在运行状态中,对于任意一个类,都能够知道这个类的所有属性和方法:对于任意一个对象,都能够调用它的任意一个方法和属性:这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反 ...
- 友盟推送SDK集成测试、常见问题以及注意事项总结
最近为了解决公司APP在一些手机出现的推送问题重新集成了最新版的友盟推送SDK,花费了几天时间终于把集成和测试工作完成,最终在华为,Nexus,三星,小米,HTC,魅族等10多部手机上测试并达到了预想 ...
- OpenCV——KAZE、AKAZE特征检测、匹配与对象查找
AKAZE是KAZE的加速版 特征点查找和绘制:把surf中的surf改成KAZE或AKAZE即可 #include <opencv2/opencv.hpp> #include < ...
- PAT B1015 德才论 (25 分)
宋代史学家司马光在<资治通鉴>中有一段著名的“德才论”:“是故才德全尽谓之圣人,才德兼亡谓之愚人,德胜才谓之君子,才胜德谓之小人.凡取人之术,苟不得圣人,君子而与之,与其得小人,不若得愚人 ...
- Python2.7-sqlite3
sqlite3模块,SQLite 是用 C 写的轻量级的数据库,sqlite3 模块提供了对数据库的接口,要使用必须首先创建一个 Connection 对象,代表连接至数据库,然后才能继续操作,操作数 ...
- 备份时如何排除掉默认的 information_schema 和 mysql 库?
备份时如何排除掉默认的 information_schema 和 mysql 库? mysql -e "show databases;" -uroot -ppassword | g ...
- 无法读取配置节“oracle.manageddataaccess.client”,因为它缺少节声明
程序发布后出现问题: 无法读取配置节“oracle.manageddataaccess.client”,因为它缺少节声明 解决办法: 1.安装了odac12. ODTwithODAC121010.z ...
- C# 分部方法partial
定义:使用partial关键字构建分部类定义.允许在一个文件中构建方法原型,而在另一个文件中实现. 1)分部方法只可以定义在分部类中 2)分部方法必须返回void 3)分部方法可以是静态的或实例级别的 ...
- 文件I/O(2)
文件I/O(2) 文件共享 内核使用三种数据结构表示打开的文件,他们之间的关系决定了在文件共享方面一个进程对还有一个进程可能产生的影响.如图1所看到的. 1) 每一个进程在进程表中都有一个记录项.记 ...