由于JDK中提供的ByteBuffer无法动态扩容,并且API使用复杂等原因,Netty中提供了ByteBuf。
Bytebuf的API操作更加便捷,可以动态扩容,提供了多种ByteBuf的实现,以及高效的零拷贝机制。

ByteBuf的操作

ByteBuf有三个重要的属性:capacity容量,readerIndex读取位置,writerIndex写入位置
提供了readerIndex和weiterIndex两个变量指针来支持顺序读和写操作

下图显示了一个缓冲区是如何被两个指针分割成三个区域的:

代码示例:

  1. import io.netty.buffer.ByteBuf;
  2. import io.netty.buffer.Unpooled;
  3. import java.util.Arrays;
  4. public class ByteBufDemo {
  5. public static void main(String[] args) {
  6. // 1.创建一个非池化的ByteBuf,大小为10个字节
  7. ByteBuf buf = Unpooled.buffer(10);
  8. System.out.println("原始ByteBuf为:" + buf.toString());
  9. System.out.println("1.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
  10. // 2.写入一段内容
  11. byte[] bytes = {1, 2, 3, 4, 5};
  12. buf.writeBytes(bytes);
  13. System.out.println("写入的bytes为:" + Arrays.toString(bytes));
  14. System.out.println("写入一段内容后ByteBuf为:" + buf.toString());
  15. System.out.println("2.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
  16. // 3. 读取一段内容
  17. byte b1 = buf.readByte();
  18. byte b2 = buf.readByte();
  19. System.out.println("读取的bytes为:" + Arrays.toString(new byte[] {b1, b2}));
  20. System.out.println("读取一段内容后ByteBuf为:" + buf.toString());
  21. System.out.println("3.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
  22. // 4.将读取的内容丢弃
  23. buf.discardReadBytes();
  24. System.out.println("将读取的内容丢弃后ByteBuf为:" + buf.toString());
  25. System.out.println("4.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
  26. // 5.清空读写指针
  27. buf.clear();
  28. System.out.println("清空读写指针后ByteBuf为:" + buf.toString());
  29. System.out.println("5.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
  30. // 6.再次写入一段内容,比第一段内容少
  31. byte[] bytes2 = {1, 2, 3};
  32. buf.writeBytes(bytes2);
  33. System.out.println("写入的bytes为:" + Arrays.toString(bytes2));
  34. System.out.println("写入一段内容后ByteBuf为:" + buf.toString());
  35. System.out.println("6.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
  36. // 7.将ByteBuf清零
  37. buf.setZero(0, buf.capacity());
  38. System.out.println("清零后ByteBuf为:" + buf.toString());
  39. System.out.println("7.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
  40. // 8.再次写入一段超过容量的内容
  41. byte[] bytes3 = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11};
  42. buf.writeBytes(bytes3);
  43. System.out.println("写入的bytes为:" + Arrays.toString(bytes));
  44. System.out.println("写入一段内容后ByteBuf为:" + buf.toString());
  45. System.out.println("8.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
  46. }
  47. }

ButeBuf动态扩容

capacity默认值:256字节,最大值:Integer.MAX_VALUE (2G)

writeXXX方法调用时,通过AbstractByteBuf.ensureWritable0()方法进行检查
容量计算方法:AbstractByteBufAllocator.calculateNewCapacity

根据capacity的最小值要求,对应有两套计算方法:
没超过4兆:从64字节开始,每次递增一倍,直至计算出来的newCapacity满足新容量最小要求
示例:当前大小256,已写250,继续写10字节的数据,需要的最小容量要求是261,则新容量为64x2x2x2=512

超过4兆:新容量=新容量最小要求/4兆x4兆+4兆
示例:当前大小为3兆,已写3兆,继续写2兆,需要的最小容量大小为5兆,则新容量是8兆(不能超过最大值)

4兆的来源:一个固定的阈值AbstractByteBufAllocator.CALCULATE_THRESHOLD

ByteBuf的实现

在使用中都是通过ByteBufAllocator分配器进行申请,同时具备有内存管理功能

PooledByteBuf对象,内存 复用

PooledThreadCache:PooledByteBufAllocator实例维护的一个线程变量
多种分类的MemoryRegionCache数组用作内存缓存,MemoryRegionCache内部是链表,队列里面存Chuck。PoolChuck里面维护了内存引用,内存复用的做法就是把buf的memory指向chuck的memory
PooledByteBufAllocator.ioBuffer运作过程梳理:

零拷贝机制

Netty的零拷贝机制,是一种应用层的实现,和底层JVM,操作系统内存机制并无过多关联。

  1. CompositeByteBuf,将多个ByteBuf合并为一个逻辑上的ByteBuf,避免了各个ByteBuf之间的拷贝

  1. wrapedBuffer()方法,将byte[]数组包装成ByteBuf对象

  1. slice()方法,将一个ByteBuf对象切割成多个ByteBuf对象

代码示例:

  1. public class ZeroCopyTest {
  2. public static void main(String[] args) {
  3. ByteBuf buffer1 = Unpooled.buffer(7);
  4. buffer1.writeByte(7);
  5. ByteBuf buffer2 = Unpooled.buffer(7);
  6. buffer2.writeByte(13);
  7. CompositeByteBuf compositeByteBuf = Unpooled.compositeBuffer();
  8. CompositeByteBuf newBuf = compositeByteBuf.addComponents(true, buffer1, buffer2);
  9. System.out.println("CompositeByteBuf:" + newBuf);
  10. byte[] bytes = {1, 2, 3};
  11. ByteBuf wrappedBuffer = Unpooled.wrappedBuffer(bytes);
  12. System.out.println("wrappedBuffer:" + wrappedBuffer.getByte(2));
  13. bytes[2] = 7;
  14. System.out.println("wrappedBuffer:" + wrappedBuffer.getByte(2));
  15. ByteBuf buf = Unpooled.wrappedBuffer("Netty".getBytes());
  16. ByteBuf slice = buf.slice(1, 2);
  17. slice.unwrap();
  18. System.out.println("slice:" + slice);
  19. }
  20. }

Java网络编程 -- Netty中的ByteBuf的更多相关文章

  1. Java网络编程--Netty中的责任链

    Netty中的责任链 设计模式 - 责任链模式 责任链模式(Chain of Responsibility Pattern)是一种是行为型设计模式,它为请求创建了一个处理对象的链.其链中每一个节点都看 ...

  2. 网络编程Netty入门:ByteBuf分析

    目录 Netty中的ByteBuf优势 NIO使用的ByteBuffer有哪些缺点 ByteBuf的优势和做了哪些增强 ByteBuf操作示例 ByteBuf操作 简单的Demo示例 堆内和堆外内存 ...

  3. Java网络编程 -- Netty入门

    Netty简介 Netty是一个高性能,高可扩展性的异步事件驱动的网络应用程序框架,它极大的简化了TCP和UDP客户端和服务器端网络开发.它是一个NIO框架,对Java NIO进行了良好的封装.作为一 ...

  4. Java网络编程和NIO详解9:基于NIO的网络编程框架Netty

    Java网络编程和NIO详解9:基于NIO的网络编程框架Netty 转自https://sylvanassun.github.io/2017/11/30/2017-11-30-netty_introd ...

  5. Java网络编程基础(Netty预备知识)

    今天在家休息,闲来无事,写篇博客,陶冶下情操~~~ =================我是分割线================ 最近在重新学习Java网络编程基础,以便后续进行Netty的学习. 整 ...

  6. Java网络编程和NIO详解4:浅析NIO包中的Buffer、Channel 和 Selector

    Java网络编程与NIO详解4:浅析NIO包中的Buffer.Channel 和 Selector 转自https://www.javadoop.com/post/nio-and-aio 本系列文章首 ...

  7. Java网络编程和NIO详解1:JAVA 中原生的 socket 通信机制

    Java网络编程和NIO详解1:JAVA 中原生的 socket 通信机制 JAVA 中原生的 socket 通信机制 摘要:本文属于原创,欢迎转载,转载请保留出处:https://github.co ...

  8. Java网络编程与NIO详解11:Tomcat中的Connector源码分析(NIO)

    本文转载 https://www.javadoop.com 本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 https://github.c ...

  9. Java网络编程与NIO详解10:深度解读Tomcat中的NIO模型

    本文转自:http://www.sohu.com/a/203838233_827544 本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 ht ...

随机推荐

  1. 什么是POSP?系统逻辑是什么?pos收单必读

    POSProxy,POS前置系统.主要用于管理前端的POS机具和交易的转发,具体功能有:   1. POS机具的密钥及下载管理:   2. 交易的合法检测和过滤:   3. 交易监控和分流:   4. ...

  2. iOS 常用算法之设计一个算法,验证某字符是否为合法IPV4字符

    浅析 : 一个IPV4字符由3个大于0小于255的数字 以及 3个点构成, 所有我们需要判断小数点数量是否满足条件, 以及小数点隔开的每部分是否满足条件即可. 思路: 1. 校验是否有3个小数点; 2 ...

  3. Python之Beautiful Soup 4使用实例

    Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库,它能够通过你喜欢的转换器实现惯用的文档导航.查找.修改文档的方式.Beautiful Soup 4 官方文档: ...

  4. 使用Urllib下载图片

    urllib下载图片 urllib3下载图片 Urllib下载图片 from urllib import request import re import os # 妹子图首页 下载首页的几张 url ...

  5. python 将带有TZ的UTC时间字符串,转换成本地时间

    整个地球分为二十四时区,每个时区都有自己的本地时间.在国际无线电通信中,为统一而普遍使用一个标准时间,称为通用协调时(UTC, Universal Time Coordinated).UTC与格林尼治 ...

  6. c#_sort排序函数的返回值

    C# List.Sort函数的返回值 值 含义 小于零 left在right的前面 零 位置不变 大于零 right在left的前面 示例: 本测试结果在unity3d 和纯C#环境下执行. List ...

  7. c# WF 第3节 窗体的属性

    本节内容: 1:如何找到窗口属性 2:窗口属性 1:如何找到窗口属性 2:窗口属性

  8. keeplived+lvs(主从热备+负载均衡)

    本次实验基于DR负载均衡模式(直接路由),设置一个VIP(Virtual IP)为192.168.1.225,用户只需要访问这个IP地址即可获得网页服务.其中,负载均衡主机为192.168.1.221 ...

  9. python 实用小技巧

    1. 列表 #以下三式等价 c = (a>b and a or b) c = a if a>b else b c = [b, a][a>b] 字符串拼接 ' + '.join('%s ...

  10. oracle 循环插入数据

    参考链接:oracle 行转列 pivot函数基本用法 --建表 --drop table SalesList; create table SalesList( keHu varchar2(20), ...