Java网络编程 -- Netty中的ByteBuf
由于JDK中提供的ByteBuffer无法动态扩容,并且API使用复杂等原因,Netty中提供了ByteBuf。
Bytebuf的API操作更加便捷,可以动态扩容,提供了多种ByteBuf的实现,以及高效的零拷贝机制。
ByteBuf的操作
ByteBuf有三个重要的属性:capacity容量,readerIndex读取位置,writerIndex写入位置
提供了readerIndex和weiterIndex两个变量指针来支持顺序读和写操作
下图显示了一个缓冲区是如何被两个指针分割成三个区域的:
代码示例:
import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import java.util.Arrays;
public class ByteBufDemo {
public static void main(String[] args) {
// 1.创建一个非池化的ByteBuf,大小为10个字节
ByteBuf buf = Unpooled.buffer(10);
System.out.println("原始ByteBuf为:" + buf.toString());
System.out.println("1.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
// 2.写入一段内容
byte[] bytes = {1, 2, 3, 4, 5};
buf.writeBytes(bytes);
System.out.println("写入的bytes为:" + Arrays.toString(bytes));
System.out.println("写入一段内容后ByteBuf为:" + buf.toString());
System.out.println("2.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
// 3. 读取一段内容
byte b1 = buf.readByte();
byte b2 = buf.readByte();
System.out.println("读取的bytes为:" + Arrays.toString(new byte[] {b1, b2}));
System.out.println("读取一段内容后ByteBuf为:" + buf.toString());
System.out.println("3.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
// 4.将读取的内容丢弃
buf.discardReadBytes();
System.out.println("将读取的内容丢弃后ByteBuf为:" + buf.toString());
System.out.println("4.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
// 5.清空读写指针
buf.clear();
System.out.println("清空读写指针后ByteBuf为:" + buf.toString());
System.out.println("5.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
// 6.再次写入一段内容,比第一段内容少
byte[] bytes2 = {1, 2, 3};
buf.writeBytes(bytes2);
System.out.println("写入的bytes为:" + Arrays.toString(bytes2));
System.out.println("写入一段内容后ByteBuf为:" + buf.toString());
System.out.println("6.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
// 7.将ByteBuf清零
buf.setZero(0, buf.capacity());
System.out.println("清零后ByteBuf为:" + buf.toString());
System.out.println("7.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
// 8.再次写入一段超过容量的内容
byte[] bytes3 = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11};
buf.writeBytes(bytes3);
System.out.println("写入的bytes为:" + Arrays.toString(bytes));
System.out.println("写入一段内容后ByteBuf为:" + buf.toString());
System.out.println("8.ByteBuf中的内容为:" + Arrays.toString(buf.array()) + "\n");
}
}
ButeBuf动态扩容
capacity默认值:256字节,最大值:Integer.MAX_VALUE (2G)
writeXXX方法调用时,通过AbstractByteBuf.ensureWritable0()方法进行检查
容量计算方法:AbstractByteBufAllocator.calculateNewCapacity
根据capacity的最小值要求,对应有两套计算方法:
没超过4兆:从64字节开始,每次递增一倍,直至计算出来的newCapacity满足新容量最小要求
示例:当前大小256,已写250,继续写10字节的数据,需要的最小容量要求是261,则新容量为64x2x2x2=512
超过4兆:新容量=新容量最小要求/4兆x4兆+4兆
示例:当前大小为3兆,已写3兆,继续写2兆,需要的最小容量大小为5兆,则新容量是8兆(不能超过最大值)
4兆的来源:一个固定的阈值AbstractByteBufAllocator.CALCULATE_THRESHOLD
ByteBuf的实现
在使用中都是通过ByteBufAllocator分配器进行申请,同时具备有内存管理功能
PooledByteBuf对象,内存 复用
PooledThreadCache:PooledByteBufAllocator实例维护的一个线程变量
多种分类的MemoryRegionCache数组用作内存缓存,MemoryRegionCache内部是链表,队列里面存Chuck。PoolChuck里面维护了内存引用,内存复用的做法就是把buf的memory指向chuck的memory
PooledByteBufAllocator.ioBuffer运作过程梳理:
零拷贝机制
Netty的零拷贝机制,是一种应用层的实现,和底层JVM,操作系统内存机制并无过多关联。
- CompositeByteBuf,将多个ByteBuf合并为一个逻辑上的ByteBuf,避免了各个ByteBuf之间的拷贝
- wrapedBuffer()方法,将byte[]数组包装成ByteBuf对象
- slice()方法,将一个ByteBuf对象切割成多个ByteBuf对象
代码示例:
public class ZeroCopyTest {
public static void main(String[] args) {
ByteBuf buffer1 = Unpooled.buffer(7);
buffer1.writeByte(7);
ByteBuf buffer2 = Unpooled.buffer(7);
buffer2.writeByte(13);
CompositeByteBuf compositeByteBuf = Unpooled.compositeBuffer();
CompositeByteBuf newBuf = compositeByteBuf.addComponents(true, buffer1, buffer2);
System.out.println("CompositeByteBuf:" + newBuf);
byte[] bytes = {1, 2, 3};
ByteBuf wrappedBuffer = Unpooled.wrappedBuffer(bytes);
System.out.println("wrappedBuffer:" + wrappedBuffer.getByte(2));
bytes[2] = 7;
System.out.println("wrappedBuffer:" + wrappedBuffer.getByte(2));
ByteBuf buf = Unpooled.wrappedBuffer("Netty".getBytes());
ByteBuf slice = buf.slice(1, 2);
slice.unwrap();
System.out.println("slice:" + slice);
}
}
Java网络编程 -- Netty中的ByteBuf的更多相关文章
- Java网络编程--Netty中的责任链
Netty中的责任链 设计模式 - 责任链模式 责任链模式(Chain of Responsibility Pattern)是一种是行为型设计模式,它为请求创建了一个处理对象的链.其链中每一个节点都看 ...
- 网络编程Netty入门:ByteBuf分析
目录 Netty中的ByteBuf优势 NIO使用的ByteBuffer有哪些缺点 ByteBuf的优势和做了哪些增强 ByteBuf操作示例 ByteBuf操作 简单的Demo示例 堆内和堆外内存 ...
- Java网络编程 -- Netty入门
Netty简介 Netty是一个高性能,高可扩展性的异步事件驱动的网络应用程序框架,它极大的简化了TCP和UDP客户端和服务器端网络开发.它是一个NIO框架,对Java NIO进行了良好的封装.作为一 ...
- Java网络编程和NIO详解9:基于NIO的网络编程框架Netty
Java网络编程和NIO详解9:基于NIO的网络编程框架Netty 转自https://sylvanassun.github.io/2017/11/30/2017-11-30-netty_introd ...
- Java网络编程基础(Netty预备知识)
今天在家休息,闲来无事,写篇博客,陶冶下情操~~~ =================我是分割线================ 最近在重新学习Java网络编程基础,以便后续进行Netty的学习. 整 ...
- Java网络编程和NIO详解4:浅析NIO包中的Buffer、Channel 和 Selector
Java网络编程与NIO详解4:浅析NIO包中的Buffer.Channel 和 Selector 转自https://www.javadoop.com/post/nio-and-aio 本系列文章首 ...
- Java网络编程和NIO详解1:JAVA 中原生的 socket 通信机制
Java网络编程和NIO详解1:JAVA 中原生的 socket 通信机制 JAVA 中原生的 socket 通信机制 摘要:本文属于原创,欢迎转载,转载请保留出处:https://github.co ...
- Java网络编程与NIO详解11:Tomcat中的Connector源码分析(NIO)
本文转载 https://www.javadoop.com 本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 https://github.c ...
- Java网络编程与NIO详解10:深度解读Tomcat中的NIO模型
本文转自:http://www.sohu.com/a/203838233_827544 本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 ht ...
随机推荐
- 什么是POSP?系统逻辑是什么?pos收单必读
POSProxy,POS前置系统.主要用于管理前端的POS机具和交易的转发,具体功能有: 1. POS机具的密钥及下载管理: 2. 交易的合法检测和过滤: 3. 交易监控和分流: 4. ...
- iOS 常用算法之设计一个算法,验证某字符是否为合法IPV4字符
浅析 : 一个IPV4字符由3个大于0小于255的数字 以及 3个点构成, 所有我们需要判断小数点数量是否满足条件, 以及小数点隔开的每部分是否满足条件即可. 思路: 1. 校验是否有3个小数点; 2 ...
- Python之Beautiful Soup 4使用实例
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库,它能够通过你喜欢的转换器实现惯用的文档导航.查找.修改文档的方式.Beautiful Soup 4 官方文档: ...
- 使用Urllib下载图片
urllib下载图片 urllib3下载图片 Urllib下载图片 from urllib import request import re import os # 妹子图首页 下载首页的几张 url ...
- python 将带有TZ的UTC时间字符串,转换成本地时间
整个地球分为二十四时区,每个时区都有自己的本地时间.在国际无线电通信中,为统一而普遍使用一个标准时间,称为通用协调时(UTC, Universal Time Coordinated).UTC与格林尼治 ...
- c#_sort排序函数的返回值
C# List.Sort函数的返回值 值 含义 小于零 left在right的前面 零 位置不变 大于零 right在left的前面 示例: 本测试结果在unity3d 和纯C#环境下执行. List ...
- c# WF 第3节 窗体的属性
本节内容: 1:如何找到窗口属性 2:窗口属性 1:如何找到窗口属性 2:窗口属性
- keeplived+lvs(主从热备+负载均衡)
本次实验基于DR负载均衡模式(直接路由),设置一个VIP(Virtual IP)为192.168.1.225,用户只需要访问这个IP地址即可获得网页服务.其中,负载均衡主机为192.168.1.221 ...
- python 实用小技巧
1. 列表 #以下三式等价 c = (a>b and a or b) c = a if a>b else b c = [b, a][a>b] 字符串拼接 ' + '.join('%s ...
- oracle 循环插入数据
参考链接:oracle 行转列 pivot函数基本用法 --建表 --drop table SalesList; create table SalesList( keHu varchar2(20), ...