一、概述和原理

网络数据传输的基本单位总是字节,Netty 提供了 ByteBuf 作为它的字节容器,既解决了 JDK API 的局限性,又为网络应用程序提供了更好的 API,ByteBuf 的优点:

1、可以被用户自定义的缓冲区类型扩展
2、通过内置的复合缓冲区类型实现了透明的零拷贝
3、容量可以按需增长
4、在读和写这两种模式之间切换不需要调用 ByteBuffer 的 flip()方法
5、读和写使用了不同的索引
6、支持方法的链式调用
7、支持引用计数
8、支持池化

ByteBuf通过两个索引(readerIndex、writerIndex)划分为三个区域:

1、任何名称以 read 或者 skip 开头的操作都将检索或者跳过位于当前readerIndex 的数据,并且将它增加已读字节数;任何名称以 write 开头的操作都将从当前的 writerIndex 处开始写数据,并将它增加已经写入的字节数。readerIndex 不能超过 writerIndex。

2、如果被调用的方法需要一个 ByteBuf 参数作为读取的目标,并且没有指定目标索引参数,那么该目标缓冲区的 writerIndex 也将被增加;如果写操作的目标也是 ByteBuf,并且没有指定源索引的值,则源缓冲区的 readerIndex 也同样会被增加相同的大小。

3、如果尝试在缓冲区的可读字节数已经耗尽时从中读取数据, 那么将会引发一个IndexOutOfBoundsException;如果尝试往目标写入超过目标容量的数据,将检查当前的写索引以及最大容量是否可以在扩展后容纳该数据,可以的话就会分配并调整容量,否则将会引发一个IndexOutOfBoundException。

4、通过调用 discardReadBytes()方法, 可以丢弃已读字节并回收空间。但不建议频繁的调用discardReadBytes(),因为将可能导致内存复制:

5、通过调用 clear()方法来将 readerIndex 和 writerIndex 都设置为 0。 注意,调用 clear()比调用 discardReadBytes()轻量得多, 因为它将只是重置索引而不会复制任何的内存。

二、ByteBuf 分配

ByteBuf 是一个抽象类,在程序中直接new ByteBuf() 是不现实的啦!毕竟还要实现一堆的方法,并且缺乏池化的管理。那么,在 Netty 中要怎么得到 ByteBuf 呢?

有两种方法可以得到 ByteBuf 实例,一种是 ByteBufAllocator (实现了池化,有效的降低了分配和释放内存的开销),另一种是 Unpooled (Netty 提供的工具类来创建未池化的ByteBuf 实例)。
    ByteBufAllocator:Netty 提供了两种 ByteBufAllocator 的实现,PooledByteBufAllocator(默认使用)和UnpooledByteBufAllocator。前者池化了ByteBuf的实例以提高性能并最大限度地减少内存碎片;后者的实现不池化ByteBuf实例, 并且在每次它被调用时都会返回一个新的实例。

创建 ButeBuf 实例的代码如下:

public void createBuf() {
//获得ByteBufAllocator 的两种方式
//1、
Channel channel = null;
ByteBufAllocator alloc = channel.alloc();
//2、
ChannelHandlerContext channelHandlerContext = null;
ByteBufAllocator alloc1 = channelHandlerContext.alloc();

//ByteBufAllocator 创建 ByteBuf 实例
//1、返回一个基于堆或者直接内存存储的ByteBuf
ByteBuf byteBuf = alloc.buffer(256, Integer.MAX_VALUE);
//2、返回一个基于堆内存存储的 ByteBuf 实例
ByteBuf byteBuf1 = alloc.heapBuffer(256);
byteBuf1.refCnt();//检查该ByteBuf的引用计数
byteBuf1.release();//将ByteBuf的引用计数设为0并释放
//3、返回一个基于直接内存存储的 ByteBuf
ByteBuf byteBuf2 = alloc.directBuffer();
//4、返回一个可以通过添加最大到指定数目的基于堆的或者直接内存存储的缓冲区来扩展的 CompositeByteBuf
CompositeByteBuf compositeByteBuf = alloc.compositeBuffer();
CompositeByteBuf compositeByteBuf1 = alloc.compositeHeapBuffer(16);
CompositeByteBuf compositeByteBuf2 = alloc.compositeDirectBuffer(16);
//5、返回一个用于套接字的 I/O 操作的ByteBuf
ByteBuf byteBuf3 = alloc.ioBuffer(); //Unpooled 创建 ByteBuf 实例
//1、创建一个未池化的基于堆内存存储的 ByteBuf 实例
ByteBuf buf = Unpooled.buffer();
//2、创建一个未池化的基于内存存储的ByteBuf
ByteBuf buf1 = Unpooled.directBuffer(256, Integer.MAX_VALUE);
//3、返回一个包装了给定数据的 ByteBuf
Unpooled.wrappedBuffer("Hello Netty".getBytes());
//4、返回一个复制了给定数据的 ByteBuf
Unpooled.copiedBuffer("Hello Netty",CharsetUtil.UTF_8);
}

三、ByteBuf 操作

涉及到 ByteBuf 的操作主要是两个方面,一个是 ByteBuf 的读/写,另一个是 ByteBuf 的复制分片操作。

ByteBuf 的读/写操作操作有两种类别:get() 和 set() 操作,从给定的索引开始,并且保持索引不变,也就是说get() 和 set() 操作并不会改变 readerIndex 和 writerIndex 的值;read()和 write()操作, 从给定的索引开始,并且会根据已经访问过的字节数对索引进行调整,比如 read() 操作 readerIndex 会根据读取的数据类型(byte 1个字节,short 2个字节,int 4个字节,long 8个字节)增加对应的索引数。

ByteBuf 提供了专门的方式来实现复制分片操作:

duplicate();
slice();
slice(int, int);
Unpooled.unmodifiableBuffer(…);
order(ByteOrder);
readSlice(int)。

这些方法都将返回一个新的 ByteBuf 实例,它具有自己的读索引、写索引和标记索引。其内部存储和 JDK 的 ByteBuffer 一样也是共享的。这意味着,如果你修改了它的内容,也同时修改了其对应ByteBuf的源实例。

如果需要一个现有缓冲区的真实副本,请使用 copy()或者 copy(int, int)方法。不同于派生缓冲区,由这个调用所返回的 ByteBuf 拥有独立的数据副本。

现在我们具体来看看 ByteBuf 的操作:

1、数据遍历

for (int i = 0; i < byteBuf.capacity(); i++) {
byte aByte = byteBuf.getByte(i);
System.out.print((char) aByte);
} while (byteBuf.isReadable()){
System.out.print((char) byteBuf.readByte());
}

2、写入数据

while (byteBuf.writableBytes() >= 4){
byteBuf.writeByte(65);
}

3、索引标记管理

ByteBuf buf = byteBuf.readerIndex(0);//将 readerIndex 移动到指定的位置
buf.markReaderIndex();//标记当前的 readerIndex
while (buf.isReadable()){
System.out.print((char) buf.readByte());
}
buf.resetReaderIndex();//回退到之前标记的 readerIndex
while (buf.isReadable()){
System.out.print((char) buf.readByte());
} int index = byteBuf.indexOf(0, byteBuf.capacity() - 1, (byte) 65);//在某个范围内查找某个字节的索引

4、分片操作

ByteBuf slice = byteBuf.slice(0, 15);
System.out.print(slice.toString(CharsetUtil.UTF_8));
//更新索引0处的字节
slice.setByte(0, (byte) 'J');
byte aByte = byteBuf.getByte(0);
System.out.print("\r\n" + (char)aByte);

5、复制操作

ByteBuf copy = buf.copy(0, 15);
System.out.println(copy.toString(CharsetUtil.UTF_8));
copy.setByte(0, (byte) 'A');
System.out.println((char) byteBuf.getByte(0));

6、其他操作

System.out.println("如果至少有一个字节可读取:" + byteBuf.isReadable());
System.out.println("如果至少有一个字节可写入:" + byteBuf.isWritable());
System.out.println("返回可被读取的字节数:" + byteBuf.readableBytes());
System.out.println("返回可被写入的字节数:" + byteBuf.writableBytes());
System.out.println("可容纳的字节数:" + byteBuf.capacity() + ",可扩展最大的字节数:" + byteBuf.maxCapacity());
System.out.println("是否由一个字节数组支撑:" + byteBuf.hasArray());
System.out.println("由一个字节数组支撑则返回该数组:" + byteBuf.array().length);
System.out.println("计算第一个字节的偏移量:" + byteBuf.arrayOffset());
System.out.println("返回Bytebuf的十六进制:" + ByteBufUtil.hexDump(byteBuf.array()));

四、补充

ByteBuf 的使用模式 :

1、堆缓冲区:最常用的 ByteBuf 模式是将数据存储在 JVM 的堆空间中。 这种模式被称为支撑数组(backing array), 它能在没有使用池化的情况下提供快速的分配和释放。

2、直接缓冲区:将数据驻留在会被垃圾回收的堆之外,直接缓冲区对于网络数据传输是最理想的选择,不过,相对于基于堆的缓冲区,它们的分配和释放都较为昂贵。另外,如果你的数据包含在一个在堆上分配的缓冲区中, 那么事实上,在通过套接字发送它之前, JVM将会在内部把你的缓冲区复制到一个直接缓冲区中。经验表明,Bytebuf的最佳实践是在IO通信线程的读写缓冲区使用DirectByteBuf,后端业务使用HeapByteBuf。

3、复合缓冲区:为多个 ByteBuf 提供一个聚合视图。 在这里你可以根据需要添加或者删除 ByteBuf 实例。

Netty 通过一个 ByteBuf 子类——CompositeByteBuf——实现了这个模式, 它提供了一个将多个缓冲区表示为单个合并缓冲区的虚拟表示。

使用 CompositeByteBuf 的复合缓冲区模式:

public void CompositeBuffer() {
CompositeByteBuf messageBuf = Unpooled.compositeBuffer();
ByteBuf headBuf = Unpooled.copiedBuffer("Hello,", CharsetUtil.UTF_8);
ByteBuf bodyBuf = Unpooled.copiedBuffer("Netty!", CharsetUtil.UTF_8);
//将 ByteBuf 实例追加到 CompositeByteBuf
messageBuf.addComponents(headBuf, bodyBuf);
Iterator<ByteBuf> it = messageBuf.iterator();
//访问CompositeByteBuf数据
while(it.hasNext()){
ByteBuf buf = it.next();
while (buf.isReadable()){
System.out.print((char) buf.readByte());
}
}
//使用数组访问数据
if(!messageBuf.hasArray()){
int len = messageBuf.readableBytes();
byte[] arr = new byte[len];
messageBuf.getBytes(0, arr);
for (byte b : arr){
System.out.print((char)b);
}
}
messageBuf.removeComponent(0); //删除位于索引位置为 0(第一个组件)的 ByteBuf
}

参考资料:《Netty IN ACTION》

演示源代码:https://github.com/JMCuixy/NettyDemo/blob/master/src/main/java/org/netty/demo/bytebuf/ByteBufOperation.java

Netty 系列三(ByteBuf).的更多相关文章

  1. Netty 系列(三)Netty 入门

    Netty 系列(三)Netty 入门 Netty 是一个提供异步事件驱动的网络应用框架,用以快速开发高性能.高可靠性的网络服务器和客户端程序.更多请参考:Netty Github 和 Netty中文 ...

  2. Netty 系列之 Netty 高性能之道 高性能的三个主题 Netty使得开发者能够轻松地接受大量打开的套接字 Java 序列化

    Netty系列之Netty高性能之道 https://www.infoq.cn/article/netty-high-performance 李林锋 2014 年 5 月 29 日 话题:性能调优语言 ...

  3. JAVA通信系列三:Netty入门总结

    一.Netty学习资料 书籍<Netty In Action中文版> 对于Netty的十一个疑问http://news.cnblogs.com/n/205413/ 深入浅出Nettyhtt ...

  4. netty系列之:netty中的ByteBuf详解

    目录 简介 ByteBuf详解 创建一个Buff 随机访问Buff 序列读写 搜索 其他衍生buffer方法 和现有JDK类型的转换 总结 简介 netty中用于进行信息承载和交流的类叫做ByteBu ...

  5. netty系列之:不用怀疑,netty中的ByteBuf就是比JAVA中的好用

    目录 简介 ByteBuf和ByteBuffer的可扩展性 不同的使用方法 性能上的不同 总结 简介 netty作为一个优秀的的NIO框架,被广泛应用于各种服务器和框架中.同样是NIO,netty所依 ...

  6. Netty 系列目录

    Netty 系列目录 二 Netty 源码分析(4.1.20) 1.1 Netty 源码(一)Netty 组件简介 2.1 Netty 源码(一)服务端启动 2.2 Netty 源码(二)客户端启动 ...

  7. Netty系列(四)TCP拆包和粘包

    Netty系列(四)TCP拆包和粘包 一.拆包和粘包问题 (1) 一个小的Socket Buffer问题 在基于流的传输里比如 TCP/IP,接收到的数据会先被存储到一个 socket 接收缓冲里.不 ...

  8. 【读后感】Netty 系列之 Netty 高性能之道 - 相比 Mina 怎样 ?

    [读后感]Netty 系列之 Netty 高性能之道 - 相比 Mina 怎样 ? 太阳火神的漂亮人生 (http://blog.csdn.net/opengl_es) 本文遵循"署名-非商 ...

  9. netty系列之:netty架构概述

    目录 简介 netty架构图 丰富的Buffer数据机构 零拷贝 统一的API 事件驱动 其他优秀的特性 总结 简介 Netty为什么这么优秀,它在JDK本身的NIO基础上又做了什么改进呢?它的架构和 ...

随机推荐

  1. 解决Mac系统升级导致cocoapods失效问题

    使用pod install出现如下错误 -bash: /usr/local/bin/pod: /System/Library/Frameworks/Ruby.framework/Versions/2. ...

  2. [python] 3 、基于串口通信的嵌入式设备上位机自动测试程序框架(简陋框架)

    星期一, 20. 八月 2018 01:53上午 - beautifulzzzz 1.前言 做类似zigbee.ble mesh...无线网络节点性能测试的时候,手动操作然后看表象往往很难找出真正的原 ...

  3. HTML学习一_网页的基本结构及HTML简介

    HTML网页的基本结构 ```angular2html<!DOCTYPE html> 声明为 HTML5 文档<html> 元素是 HTML 页面的根元素<head> ...

  4. JavaScript变量与数据类型详解

    变量 变量来源于数学,是计算机语言中能储存计算结果或能表示值抽象概念.变量可以通过变量名访问. 变量的作用就是用于存储值. 语法: 声明变量时,总是以关键字var打头.任何情况下都应该这样做.然后给变 ...

  5. 把ajax包装成promise的形式(1)

    概述 为了体验promise的原理,我打算自己把ajax包装成promise的形式.主要希望实现下列功能: // 1.使用success和error进行链式调用,并且可以在后面加上无限个 promis ...

  6. 消除浏览器对input的自动填充

    在做登录相关的页面时,常遇到这样的现象,浏览器input的自动填充行为. 原因 设置 input 的 type 属性为 password 后,当页面进行过提交,并且允许浏览器记住密码后,那么再次加载该 ...

  7. AI - 机器学习常见算法简介(Common Algorithms)

    机器学习常见算法简介 - 原文链接:http://usblogs.pwc.com/emerging-technology/machine-learning-methods-infographic/ 应 ...

  8. sql server 备份与恢复系列二 事务日志概述

    1.1  日志文件与数据文件一致性 在上一章备份与恢复里了解到事务日志的重要性,这篇重点来了解事务日志. 事务日志记录了数据库所有的改变,能恢复该数据库到改变之前的任意状态.在sql server实例 ...

  9. Android--UI之Gallery

    前言 这篇博客讲解一下Android开发中,Gallery控件的使用,这是一个画廊视图,用于展示一组图片,用固定在中间位置的水平滚动列表显示列表项的视图.Android最新的API文档中了解到,在An ...

  10. HttpClientHelper

    using Newtonsoft.Json; using System; using System.Collections.Generic; using System.IO; using System ...