前言

到目前为止,我们知道Nio当中有三个最最核心的组件,分别是:Selelctor,Channel,Buffer。在Netty基础系列(3) --彻底理解NIO 这一篇文章中只是进行了大致的介绍。

我们现在来深入理解一下Buffer在 堆内创建内存堆外创建内存 的底层原理,与 零拷贝 的具体实现。

Buffer

Buffer是一个抽象类,首先我们来看看Buffer有哪些实现类。

我们从上面这张截图可以看出,Buffer的直接子类有7种。除了Java中Boolean类型。剩余的7种基本类型都有与之对应的Buffer。不同类型的Buffer存储的内容也不同,比如说ByteBuffer存储的就是byte。IntBuffer存储的就是int。不要想得太复杂,把底层想象成数组即可


接下来我们着重对ByteBuffer来进行讲解。理解了一个其他的理解起来都差不多。

首先我们来看ByteBuffer的继承关系图

由上面的继承关系图可以看出,ByteBuffer的子类有五个,分别为:

HeapByteBuffer:代表的是jvm堆内的缓存。
HeapByteBufferR: 代表的是jvm堆内的只读缓存。
MappedByteBuffer: 直接缓存的抽象基类。
DirectByteBuffer: 代表的是操作系统内存的缓存。
DirectByteBufferR: 代表的是操作系统内存的只读缓存

上面这几个类看名字和我的介绍我想你应该知道有什么区别了,这里其实只分为两大类。

分配在堆内存的缓存分配在操作系统内存的缓存

HeapByteBuffer

我们首先来看在堆内分配缓存的底层原理。

先来看一段代码。

    public static void main(String args[]){
ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
}

我们直接调用ByteBuffer的静态方法创建了一个1024个字节的ByteBuffer缓存。那么ByteBuffer的静态方法allocate()在底层到底做了些什么呢?

我们再来看看ByteBuffer类对于静态方法allocate()的实现。

public abstract class ByteBuffer extends Buffer implements Comparable<ByteBuffer>
{
public static ByteBuffer allocate(int capacity) {
if (capacity < 0)
throw new IllegalArgumentException();
return new HeapByteBuffer(capacity, capacity);
}
}

没错,就是很简单。直接new了一个HeapByteBuffer对象,并指定大小为1024个字节。这里暂时不用管capacity是什么,后面我们会详细的讲解,在这里capacity就是我们传入的1024。

到目前为止,我们已经创建了一个HeapByteBuffer对象。我们创建这个对象的意义就是用来对Channel进行读写。此时我们内存模型已经变成了如下图所示:

对照着上图我们再来看看之前写的这个方法。

ByteBuffer byteBuffer = ByteBuffer.allocate(1024);

首先再栈空间的某个栈帧中创建了byteBuffer,接着将其指向堆内存中的对象HeapByteBuffer。

好了接下来是我们的重点!!!!

此时操作系统会自动在JVM之外的内存中分配一块内存空间,这部分内存空间的创建和销毁完全由操作系统来管理。我们无需在意。

Channel的数据无论是读还是写都是与操作系统分配的这块内存打交道而不是我们的堆内存,当准备读数据的时候,Channel将数据读到操作系统分配的内存中,然后再复制到JVM堆内存中的HeapByteBuffer对象中。写操作也是如此,当我们修改了HeapByteBuffer的数据,会将修改后的数据复制到操作系统分配的内存中,然后再写到Channel中。

我们之前学的普通的IO操作底层基本上都是如此,我们思考一下,为什么不能直接将Channel怼到HeapByteBuffer中呢?

没错,如果你有一定的开发经验,一定会想到垃圾回收器。当发送垃圾回收的时候,我们的对象在堆内存中是会发送移动的,移动后内存地址是会改变的,而io操作并不能追踪到你改变后的内存地址。所以只能在jvm外分配内存来操作数据。因为这一块内存从创建到销毁之间都是不会移动的。

DirectByteBuffer

我们来看看在堆外分配内存是如何实现的。

与前文一样,我们首先来看在操作系统中直接分配内存的底层原理。先来看一段代码。

    public static void main(String args[]){
ByteBuffer byteBuffer = ByteBuffer.allocateDirect(1024);
}

与创建堆内缓存类似,我们直接调用ByteBuffer的静态方法创建了一个1024个字节的DirectByteBuffer缓存。那么ByteBuffer的静态方法allocateDirect()方法与allocate()方法又有什么区别呢?

我们再来看看ByteBuffer类对于静态方法allocateDirect()的实现。

public abstract class ByteBuffer extends Buffer implements Comparable<ByteBuffer>
{
public static ByteBuffer allocateDirect(int capacity) {
return new DirectByteBuffer(capacity);
}
}

这里也是直接new了一个DirectByteBuffer对象,我们进入该对象的构造函数看看干了些什么

这里调用勒unsafe的allocateMemory(size)方法。我们进去后会发现这是一个native方法,底层调用的c语言的代码。就是在操作系统内存中分配了一个我们指定大小的内存用以操作数据。并且记录了这块内存的地址。

此时我们的内存模型如下图所示:

因为内存中这块内存不再是操作系统分配的,而是我们java代码调用native方法,自己分配的内存,并且记录了该内存的地址。所以我们操作数据就不需要再堆内操作可以直接在jvm内存以外的内存操作。此时每次读写操作都节省了两次内存复制操作。

这就是我们大名鼎鼎的zero copy(零拷贝)技术。

总结

其实我们多思考一下,这样的优势大吗?其实Channel中IO的操作相对于内存的复制来说是慢很多的,即便我们在读写数据的时候多了两次复制的过程对于整体来说影响是不大的。

那么什么时候就会体现出零拷贝的优势呢?有大量并发io操作,并且io操作是短暂完成的。这时由于节省了大量的内存copy操作,这些节省的时间积累下来也是非常可观的。

netty的底层就是用的零拷贝技术,所以netty能做到很好并发,之后我们会分析在netty中零拷贝是如何落实的。

Netty基础系列(4) --堆外内存与零拷贝详解的更多相关文章

  1. Java NIO 堆外内存与零拷贝

    一.直接缓存 这个例子的区别就是 ByteBuffer.allocateDirect(512); 进入allocateDirect方法 进入DirectByteBuffer构造函数 Native方法: ...

  2. NIO堆外内存与零拷贝

    重点: 1.0拷贝需要系统支持. 普通内存模型: java线程内存 --> 操作系统内存 --> 硬盘 直接内存模型: java --> 操作系统内存 --> 硬盘 两者对比, ...

  3. 深度学习基础系列(十一)| Keras中图像增强技术详解

    在深度学习中,数据短缺是我们经常面临的一个问题,虽然现在有不少公开数据集,但跟大公司掌握的海量数据集相比,数量上仍然偏少,而某些特定领域的数据采集更是非常困难.根据之前的学习可知,数据量少带来的最直接 ...

  4. Netty基础系列(5) --零拷贝彻底分析

    前言 上一节(堆外内存与零拷贝)当中我们从jvm堆内存的视角解释了一波零拷贝原理,但是仅仅这样还是不够的. 为了彻底搞懂零拷贝,我们趁热打铁,接着上一节来继续讲解零拷贝的底层原理. 感受一下NIO的速 ...

  5. Netty堆外内存泄漏排查,这一篇全讲清楚了

    上篇文章介绍了Netty内存模型原理,由于Netty在使用不当会导致堆外内存泄漏,网上关于这方面的资料比较少,所以写下这篇文章,专门介绍排查Netty堆外内存相关的知识点,诊断工具,以及排查思路提供参 ...

  6. Netty之Java堆外内存扫盲贴

    Java的堆外内存本来是高贵而神秘的东西,只在一些缓存方案的收费企业版里出现.但自从用了Netty,就变成了天天打交道的事情,毕竟堆外内存能减少IO时的内存复制,不需要堆内存Buffer拷贝一份到直接 ...

  7. Netty堆外内存泄露排查与总结

    导读 Netty 是一个异步事件驱动的网络通信层框架,用于快速开发高可用高性能的服务端网络框架与客户端程序,它极大地简化了 TCP 和 UDP 套接字服务器等网络编程. Netty 底层基于 JDK ...

  8. Java堆外内存的使用

    堆外内存的回收见HeapByteBuffer和DirectByteBuffer以及回收DirectByteBuffer 基本类型长度 在Java中有很多的基本类型,比如: byte,一个字节是8位bi ...

  9. JVM堆外内存随笔

    一 JVM堆外内存 1)java与io(file,socket)的操作都需要堆外内存与jvm内存进行互相拷贝,因为操作系统是不懂jvm的内存结构的(jvm的内存结构是自管理的),所以堆外内存存放的是操 ...

随机推荐

  1. pod update更新error: RPC failed; curl 18 transfer closed with outstanding read data remaining

    1. pod update 的时候出现下边的错误 error: RPC failed; curl 18 transfer closed with outstanding read data remai ...

  2. 3. Django每日一码 之 Serializers 源码

    2019-7-6 今日源码:rest-framework 序列化Serializers 序列化组件Serializers 源码分析 首先,它需要 data .many . instance,其中 in ...

  3. Golang 受欢迎的原因:大道至简

    前言 Golang自2009年发布第一个版本,2012年发布1.0版本.在这10年的时间里,不断有开发者加入Golang的阵营中,不断共建Golang生态.其中比较有代表性的Golang编写软件作品是 ...

  4. jekyll搭建个人博客1

    目录 配置环境 使用模板 配置环境 简介 jekyll是一个简单的免费的,生成静态网页的工具,不需要数据库支持.但是可以配合第三方服务,例如Disqus.最关键的是jekyll可以免费部署在Githu ...

  5. Centos7 下nginx 搭建文件图片服务器

    现在服务器部署nginx yum install -y epel-release yum install nginx -y 安装完成之后 访问ip 由此可见nginx服务是可用的 修改nginx的配置 ...

  6. [原创]wireshark&xterm安装、配置和使用

    --wireshark && xterm--一.安装wireshark: #apt-get install wireshark二.启动wireshark: #wireshark 或者 ...

  7. springboot快速入门02--Controller编写和测试

    02springboot快速入门--Controller编写和测试 1.新建一个HelloController import org.springframework.boot.SpringApplic ...

  8. weblogic10.3.6重置/修改控制台账号密码

    weblogic部署服务后由于交接过程中文档不完整导致有一个域的控制台账号密码遗失, 在此整理记录一下重置控制台账号密码的过程: 注:%DOMAIN_HOME%:指WebLogic Server 域( ...

  9. 个人永久性免费-Excel催化剂功能第86波-人工智能之图像OCR文本识别全覆盖

    在上一年中,Excel催化剂已经送上一波人工智能系列功能,鉴于部分高端用户的需求,再次给予实现了复杂的图像OCR识别,包含几乎所有日常场景,让公司个人手头的图像非结构化数据瞬间变为可进行结构化处理分析 ...

  10. 个人永久性免费-Excel催化剂功能第57波-一键生成完全组合的笛卡尔积结果表

    在数据库的多表查询中,通常会有各种连接关系,同样地在Excel环境中,也有很大的场景需要用到类似数据库的多表查询,如经典的VLOOKUP就是其中一种类似LEFT JOIN查询的查询效果.在很多时候需要 ...