深入netty源码解析之一数据结构
Netty是一个异步事件驱动的网络应用框架,它适用于高性能协议的服务端和客户端的快速开发和维护。其架构如下所示:
其核心分为三部分,
最低层为支持零拷贝功能的自定义Byte buffer;
中间层为通用通信API;
上层为可扩展的事件模型。
现在我们从最低层的支持零拷贝功能的自定义Byte buffer开始,它包含在io.netty.buffer包内。
io.netty.buffer 包描述:
io.netty.buffer 包中包含了Netty底层的数据结构。
在java nio中byteBuffer表现了底层二进制和文本信息的基础数据结构,io.netty.buffer抽象了byteBuffer api,netty使用自己的Buffer API去提供NIO的byteBuffer来表示字节序列。它的buffer Api跟使用ByteBuffer相比有显著的优势。netty的buffer类型:byteBuf的设计从根本上解决了byteBuffer出现的问题,并且满足了网络应用开发者的日常需求。下面列举一些比较酷的特性:
可以根据自身需求定义自己的buffer类型
透明的零拷贝时通过内置的复合buffer类型来实现。
像StringBuffer一样,支持动态buffer类型根据需要扩展buffer容量。
不再需要调用flip()方法。
通常情况比ByteBuffer更快。
扩展性更好
ByteBuf为优化快速协议实现提供,它提供了丰富的一组操作。例如,它提供了多种操作方式去获取unsigned 值和string及对于buffer中的特定字节序列的检索,你亦可以通过扩展或者包装已经存在的Buffer类型来增加更便利的获取方法。自定义的Buffer类型仍然要继承自ByteBuf接口而不是引进一个不兼容的新类型。
透明的零拷贝
为了提升网络应用的性能到极致,你需要降低内存复制操作进行的次数。当然你也可以设置一组可以切分的buffer,用它们来组合中一个完整的消息。Netty提供了一个组合buffer,这个组合buffer支持你从任意数目的已存在bufer中不使用内存拷贝来创建一个新的buffer。例如,一个消息由两部分组成:头部和内容。在一个模块化的应用中,当发送消息时,这两部分可以有不同模块产生和后面的组合。
+--------+----------+
| header | body |
+--------+----------+
若你使用ByteBuffer(java NIO),你必须创建一个新的大的Buffer,然后将这头部和内容拷贝到新创建的buffer中,或者你可以在NIO中使用写操作集中操作,但若你使用复合Buffer作为一个ByteBuffer数组而不是仅仅一个Buffer时,破坏了抽象类型并且引入了一个复杂的状态管理。而且,若你不从NIO channel中读取或者写入时就不会起作用。
//组合类型和组件类型不匹配
ByteBuffer[] message = new ByteBuffer[] { header, body };
相反,ByteBuf没有这种问题,因为它的高扩展性和内置的组合buffer类型。
//组合类型和组件类型不匹配
ByteBuf message = Unpooled.wrappedBuffer(header, body); //因此,你可以通过混和一个组合buffer和一个普通buffer创建一个组合buffer ByteBuf messageWithFooter = Unpooled.wrappedBuffer(message, footer); //由于组合buffer仍然是一个ByteBuf,你可以很容易的获取它的内容,即便你要获取的区域跨越多个组件,和获取简单Buffer的获取方式也是一样的。 //实例中获取的unsigned整型跨越了内容和尾部。
messageWithFooter.getUnsignedInt(
messageWithFooter.readableBytes() - footer.readableBytes() - 1);
容量自动扩充(Automatic Capacity Extension)
许多协议定义了消息的长度,这意味着在创建消息之前没法决定消息的长度或者不容易精确计算消息的长度。就像你刚开始创建一个string一样。我们通常估计字符串的长度,然后使用StringBuffer来根据需要去扩充。
//创建新的动态buffer。在内部,为避免潜在的浪费内存空间,真正的buffer将延后创建。 ByteBuf b = Unpooled.buffer(4); //当第一次尝试去写的时候,才会在内部创建一个容量为4的buffer b.writeByte('1'); b.writeByte('2');
b.writeByte('3');
b.writeByte('4'); //当要写的字节数超过初始化的容量4时,在内部,buffer自动重新分配一个更大的容量 b.writeByte('5');
更好的性能
在绝大部分情况下,继承自ByteBuf的buffer实现对字节数组(例如byte[])的包装是非常轻量级的。不像ByteBuffer,ByteBuf没有复杂的边界检查和索引补偿,因而,对JVM来说,更容易优化获取buffer的方式。
更复杂的buffer实现仅仅用在切分或者组合buffer,并且复杂buffer的性能和ByteBuffer一样。
ByteBuf的继承关系
进入ByteBuf来看:
Byte提供了对字节序列的随机或者顺序获取方式,可以读取0个或者多个字节。
这个接口提供了对一个或者多个基本字节数组(byte[])和普通的NIO ByteBuffer的抽象试图。
创建一个Buffer
建议通过使用helper方法unpooled来创建一个新的buffer,而不是调用一个buffer实现的构造方法。
索引的随机访问
同普通的字节数组一样,ByteBuf使用基于0的索引方法,这意味着字节数组的第一个字节的索引为0,数组的最后一个字节索引为容量-1.例如,为便利一个buffer的所有字节,不用考虑它的内部实现,你可以这样做:
buffer = ...;
for (int i = 0; i < buffer.capacity(); i ++) {
byte b = buffer.getByte(i);
System.out.println((char) b);
}
索引的顺序获取
ByteBuf提供了两个指针来支持顺序读取和写入:readerIndex()用来读操作,writerIndex()用来写操作。下图展示了一个buffer是如何通过2个指针来划分为3个区域的:
+-------------------+------------------+------------------+
| 可丢弃字节 | 可读字节 | 可写字节 |
| | (内容) | |
+-------------------+-------------- +------------------+
| | | |
0 <= 读索引 <= 写索引 <= 容量
可读字节(真正的内容)
这个部分是数据真正存储的区域,名称以read或者skip开头的所有操作都会从当前的读索引处读或者跳过数据,并且根据读的字节数目递增。若读操作的参数同样是一个ByteBuf并且没有指明目的索引,指定buffer的写索引将同步增加。
如果下面没有内容了(接着读取就会报越界异常),buffer新分配的默认值或者复制的buffer的可读索引为0.
//遍历一个buffer的可读字节
buffer = ...;
while (buffer.readable()) {
System.out.println(buffer.readByte());
}
可写字节
这个区域是需要填充的未定义空间。以write结尾的任何操作将在当前可写索引处写入数据,并根据写入的字节数目增加可写索引。若写操作的参数是ByteBuf,并且没有指明源索引,指定的Buffer 的可读索引同步增加。
若没有可写入的内容(继续的话会报越界异常)时,Buffer的默认值的写索引是buffer的容量。
// 用任意的整型来填充buffer的可写区域.
{@link ByteBuf} buffer = ...;
while (buffer.maxWritableBytes() >= 4) {
buffer.writeInt(random.nextInt());
}
可丢弃的字节
这个区域包含了读操作已经读过了的字节。初始化时该区域的容量为0,但当读操作进行时它的容量会逐渐达到写索引。通过调用discardReadBytes()方法来声明不用区域,如下图描述所示:
discardReadBytes()方法前:
* +-------------------+------------------+------------------+
* | discardable bytes | readable bytes | writable bytes |
* +-------------------+------------------+------------------+
* | | | |
* 0 <= readerIndex <= writerIndex <= capacity
*
*
discardReadBytes()方法后
*
* +------------------+--------------------------------------+
* | readable bytes | writable bytes (got more space) |
* +------------------+--------------------------------------+
* | | |
* readerIndex (0) <= writerIndex (decreased) <= capacity
请注意:在调用discardReadBytes()方法后,无法保证可些字节的内容。可写字节在大部分情况下不会移动,甚至可以根据不同buffer实现填充完全不同的数据。
清除buffer索引
你可以通过调用clear()方法来设置readerIndex()和writerIndex()的值为0.clear()方法并没有清除buffer中的内容而仅仅是将两个指针的值设为0.请注意:ByteBuf的clear()方法的语法和ByteBuffer的clear()操作时完全不同的。
* clear()调用前
*
* +-------------------+------------------+------------------+
* | discardable bytes | readable bytes | writable bytes |
* +-------------------+------------------+------------------+
* | | | |
* 0 <= readerIndex <= writerIndex <= capacity
*
*
* clear()调用后
*
* +---------------------------------------------------------+
* | writable bytes (got more space) |
* +---------------------------------------------------------+
* | |
* 0 = readerIndex = writerIndex <= capacity
检索操作:
对简单的单字节检索,使用indexOf()、bytesBefore()。bytesBefore()在处理null(结尾字符)时特别有用。
对于复杂的检索,使用ForEachByte()。
标签 和重置
每个buffer都有两个索引标签。一个用来存储readerIndex,另一个用来存储writerIndex()。你也可以通过调用reset方法来重新设置这两个索引的位置。
除了没有readLimit的inputStream的标签和重置方法也同样起作用。
源buffer
可以通过调用duplicate()或者slice方法来创建一个已经存在buffer的视图。源buffer拥有独立的readerIndex、writeIndex和标签索引,然而像NIO buffer那样,共享别的一些内部数据。
当需要完全拷贝一个已经存在buffer时,请调用copy()方法.
转换到已存在的JDK类型
字节数组
判断一个buffer是否由字节数组组成,使用hasArray()方法判断;
若一个buffer由字节数组构成,可以直接通过array()方法获取;
NIO buffer
判断一个buffer是否可以转换成NIO的buffer,使用nioBufferCount()判断
若一个ByteBuf可以转换成NIO的byteBuffer,可以通过nioBuffer方法获取。
字符串
将ByteBuf转换成string的toString方法有很多个,请一定注意:toString不是一个转换方法。
I/O流
请参考byteBufInputStream和ByteBufOutputStream.
小结:
Netty底层的数据结构为ByteBuf接口及其实现,抓住它们就获取到了底层实现的精华,本文仅是针对ByteBuf做简单介绍,其实现类还需要读者自己去慢慢摸索 。
深入netty源码解析之一数据结构的更多相关文章
- Netty源码解析—客户端启动
Netty源码解析-客户端启动 Bootstrap示例 public final class EchoClient { static final boolean SSL = System.getPro ...
- Netty源码解析---服务端启动
Netty源码解析---服务端启动 一个简单的服务端代码: public class SimpleServer { public static void main(String[] args) { N ...
- Netty 源码解析(三): Netty 的 Future 和 Promise
今天是猿灯塔“365篇原创计划”第三篇. 接下来的时间灯塔君持续更新Netty系列一共九篇 Netty 源码解析(一): 开始 Netty 源码解析(二): Netty 的 Channel 当前:Ne ...
- Netty 源码解析(九): connect 过程和 bind 过程分析
原创申明:本文由公众号[猿灯塔]原创,转载请说明出处标注 今天是猿灯塔“365篇原创计划”第九篇. 接下来的时间灯塔君持续更新Netty系列一共九篇 Netty 源码解析(一): 开始 Netty 源 ...
- Netty 源码解析(八): 回到 Channel 的 register 操作
原创申明:本文由公众号[猿灯塔]原创,转载请说明出处标注 今天是猿灯塔“365篇原创计划”第八篇. 接下来的时间灯塔君持续更新Netty系列一共九篇 Netty 源码解析(一): 开始 Netty 源 ...
- Netty 源码解析(七): NioEventLoop 工作流程
原创申明:本文由公众号[猿灯塔]原创,转载请说明出处标注 今天是猿灯塔“365篇原创计划”第七篇. 接下来的时间灯塔君持续更新Netty系列一共九篇 Netty 源码解析(一): 开始 Netty 源 ...
- Netty 源码解析(六): Channel 的 register 操作
原创申明:本文由公众号[猿灯塔]原创,转载请说明出处标注 今天是猿灯塔“365篇原创计划”第六篇. 接下来的时间灯塔君持续更新Netty系列一共九篇 Netty 源码解析(一 ):开始 Netty ...
- Netty 源码解析(五): Netty 的线程池分析
今天是猿灯塔“365篇原创计划”第五篇. 接下来的时间灯塔君持续更新Netty系列一共九篇 Netty 源码解析(一): 开始 Netty 源码解析(二): Netty 的 Channel Netty ...
- Netty 源码解析(四): Netty 的 ChannelPipeline
今天是猿灯塔“365篇原创计划”第四篇. 接下来的时间灯塔君持续更新Netty系列一共九篇 Netty 源码解析(一): 开始 Netty 源码解析(二): Netty 的 Channel Netty ...
随机推荐
- App开发:模拟服务器数据接口 - MockApi
为了方便app开发过程中,不受服务器接口的限制,便于客户端功能的快速测试,可以在客户端实现一个模拟服务器数据接口的MockApi模块.本篇文章就尝试为使用gradle的android项目设计实现Moc ...
- Java初始化过程
这篇文章主要讲解Java在创建对象的时候,初始化的顺序.主要从以下几个例子中讲解: 继承关系中初始化顺序 初始化块与构造器的顺序 已经加载过的类的初始化顺序 加载父类,会不会加载子类 创建子类对象会不 ...
- Canvas坐标系转换
默认坐标系与当前坐标系 canvas中的坐标是从左上角开始的,x轴沿着水平方向(按像素)向右延伸,y轴沿垂直方向向下延伸.左上角坐标为x=0,y=0的点称作原点.在默认坐标系中,每一个点的坐标都是直接 ...
- SQL Server2016升级前几点自检
SQL Server2016已经出来一段时间了,而且最新的SP1包也于2016年11月18日正式发布,各种新的特性推出让我们跃跃欲试.那么对于我们真实的业务环境,特别是生产环境要不要"跟风& ...
- ASP.NET Core 中文文档 第四章 MVC(4.4)依赖注入和控制器
原文: Dependency Injection and Controllers 作者: Steve Smith 翻译: 刘浩杨 校对: 孟帅洋(书缘) ASP.NET Core MVC 控制器应通过 ...
- ASP.NET中画图形验证码
context.Response.ContentType = "image/jpeg"; //生成随机的中文验证码 string yzm = "人口手大小多少上中下男女天 ...
- WebLogic的安装和配置以及MyEclipse中配置WebLogic
WebLogic 中间件: 是基础软件的一大类,属于可复用软件的范畴,顾名思义,中间件属于操作系统软件与应用软件的中间,比如:JDK,框架,weblogic. weblogic与tomcat区别 : ...
- 如何理解DT将是未来IT的转型之路?
如今的IT面临着内忧外患的挑战. 一方面,企业多多少少都建立了信息化,有些企业或集团甚至会有数几十个分公司,包含直销.代理.零售以及第三方物流等多种业态.越是复杂的业务,信息化建设越困难,比如运用大量 ...
- RMS Server打开或关闭日志记录
原文: https://technet.microsoft.com/zh-cn/library/cc732758 在 Active Directory Rights Management Servic ...
- MongoDB常用操作--集合1
1.创建集合有两种方式,显示创建和隐式创建 显示创建可以使用命令 db.createCollection("集合名称") 隐式创建可以使用命令 db.集合名称.insert({}) ...