java中的mmap实现--转
- 什么是mmap
mmap对于c程序员很熟悉,对于java程序员有点陌生。简而言之,将文件直接映射到用户态的内存地址,这样对文件的操作不再是write/read,而是直接对内存地址的操作。
- 在c中提供了三个函数来实现
- [list]
- mmap 进行映射
- munmap 取消映射
- msync 进程在映射空间的对共享内容的改变并不直接写回到磁盘文件中,往往在调用munmap()后才执行该操作。
具体参照http://blog.chinaunix.net/uid-24517893-id-164217.html
- java中的map
java中的FileChannel,提供了map和force方法,map创建文件和内存的映射,
- MappedByteBuffer buffer = fc.map(MapMode.READ_WRITE, 0, 1000);
返回一个MappedByteBuffer,这是一个DirectBuffer,其中包含一个内存地址,然后可用就做一些读写操作。
还有另外一个方法是force,是将内存的更新的内容刷到磁盘中。
在这里抛出一个问题,force是必须调用的,如果不调用force会怎样。
我试着写了一段小程序来试验
- MappedByteBuffer buffer = fc.map(MapMode.READ_WRITE, 0, 1000);
- for (int i = 0;i< 100000;i++){
- buffer.put((byte)65);
- }
- System.out.println("write completed!");
- System.in.read();
然后观察文件发现文件中是有1000个B的,那么就是说不调用force,内容也会落到磁盘中的。既然不用force内容也可以落到磁盘中,那force的作用什么呢?带着这个问题我查看了openJdk的force和map的实现和linux中mmap的实现。
- JDK的force和map的实现
通过FileChannel->FileChannelImpl的native知道,对linux平台调用应该在D:\git\openjdk\jdk\src\solaris\native\sun\nio\ch下的FileChannelImpl.c
- NIEXPORT jlong JNICALL
- Java_sun_nio_ch_FileChannelImpl_map0(JNIEnv *env, jobject this,
- jint prot, jlong off, jlong len)
- mapAddress = mmap64(
- 0, /* Let OS decide location */
- len, /* Number of bytes to map */
- protections, /* File permissions */
- flags, /* Changes are shared */
- fd, /* File descriptor of mapped file */
- off); /* Offset into file */
- JNIEXPORT jint JNICALL
- Java_sun_nio_ch_FileChannelImpl_force0(JNIEnv *env, jobject this,
- jobject fdo, jboolean md)
- {
- jint fd = fdval(env, fdo);
- int result = 0;
- if (md == JNI_FALSE) {
- result = fdatasync(fd);
- } else {
- result = fsync(fd);
- }
- return handle(env, result, "Force failed");
- }
原来force是调用的fdatasync(fsync),这不是linux中buffered IO,write(2)以后需要调用的方法吗,难道mmap也是走的BufferdIO那一套,首先写到page cache,然后由pdflush定时刷到磁盘中,那这么说mmap只是在进程空间分配一个内存地址,真实的内存还是使用的pagecache。所以force是调用fsync将dirty page刷到磁盘中,但mmap还有共享之类的实现起来应该很复杂。
- 验证
为了验证上面的假设,我做了一个实验。在linux下起两个终端,A终端通过上面的程序向a.txt写入数据,B终端使用tailf a.txt观察数据的写入。奇怪的是A终端执行完,B终端立马就成看到数据,而不是等30s以后pdflush刷到磁盘以后才能看到,难道前面的假设错了?或者另一种可能tailf查看到也是在page cache中读取的。那只需查看下文件的page是不是dirty就知道了。
- cat /proc/$(pidof java)/smaps|grep a.txt -A 10 -B 10
就可以查看一个文件的page是否是dirty。
重新实现使用如上脚本观察
- 2aaab30c4000-2aaab31b9000 rw-s 00000000 fd:00 81887299 /opt/zhanghailei/a.txt
- Size: 980 kB
- Rss: 980 kB
- Shared_Clean: 0 kB
- Shared_Dirty: 0 kB
- Private_Clean: 0 kB
- Private_Dirty: 980 kB
- Swap: 0 kB
- Pss: 980 kB
果然是dirty的,然后继续等待一段时间再次执行发现已经是clean,被刷到磁盘中。
- 2aaab30c4000-2aaab31b9000 rw-s 00000000 fd:00 81887299 /opt/zhanghailei/a.txt
- Size: 980 kB
- Rss: 980 kB
- Shared_Clean: 0 kB
- Shared_Dirty: 0 kB
- Private_Clean: 980 kB
- Private_Dirty: 0 kB
- Swap: 0 kB
- Pss: 980 kB
- 结论
1. mmap,底层还是走的BufferedIO,好处大概是减少了内核态和用户态的内存拷贝,这点不太确定,对内核不熟。
2. force,参数为true调用fsync,false调用fdatasync,fdatasync只刷数据不刷meta数据
3. 即使不调用force,内核也会定期将dirty page刷到磁盘,默认是30s。
原文来自:http://xiaoz5919.iteye.com/blog/2093323
java中的mmap实现--转的更多相关文章
- Java中9种常见的CMS GC问题分析与解决
1. 写在前面 | 本文主要针对 Hotspot VM 中"CMS + ParNew"组合的一些使用场景进行总结.重点通过部分源码对根因进行分析以及对排查方法进行总结,排查过程会省 ...
- 【Java】Java中的零拷贝
物理内存 计算机物理内存条的容量,比如我们买电脑会关注内存大小有多少G,这个容量就是计算机的物理内存. 虚拟内存 操作系统为每个进程分配了独立的虚拟地址空间,也就是虚拟内存,虚拟地址空间又分为用户空间 ...
- java中的锁
java中有哪些锁 这个问题在我看了一遍<java并发编程>后尽然无法回答,说明自己对于锁的概念了解的不够.于是再次翻看了一下书里的内容,突然有点打开脑门的感觉.看来确实是要学习的最好方式 ...
- java中的字符串相关知识整理
字符串为什么这么重要 写了多年java的开发应该对String不陌生,但是我却越发觉得它陌生.每学一门编程语言就会与字符串这个关键词打不少交道.看来它真的很重要. 字符串就是一系列的字符组合的串,如果 ...
- Java中的Socket的用法
Java中的Socket的用法 Java中的Socket分为普通的Socket和NioSocket. 普通Socket的用法 Java中的 ...
- java中Action层、Service层和Dao层的功能区分
Action/Service/DAO简介: Action是管理业务(Service)调度和管理跳转的. Service是管理具体的功能的. Action只负责管理,而Service负责实施. DAO只 ...
- Java中常用集合操作
一.Map 名值对存储的. 常用派生类HashMap类 添加: put(key,value)往集合里添加数据 删除: clear()删除所有 remove(key)清除单个,根据k来找 获取: siz ...
- java中的移位运算符:<<,>>,>>>总结
java中有三种移位运算符 << : 左移运算符,num << 1,相当于num乘以2 >> : 右移运算符,num >& ...
- 关于Java中进程和线程的详解
一.进程:是程序的一次动态执行,它对应着从代码加载,执行至执行完毕的一个完整的过程,是一个动态的实体,它有自己的生命 周期.它因创建而产生,因调度而运行,因等待资源或事件而被处于等待状态,因完成任务而 ...
随机推荐
- iOS: plist实例
// // main.m // OSXDemo0601_plist // // Created by yao_yu on 14-6-3. // Copyright (c) 2014年 yao_yu. ...
- Spring 初学 1
Spring是一个轻量级的框架,他有自己的MVC框架SpringMVC,在以往的Web项目中大多采用Structs2+hibernate+Spring的框架,Structs做web层,Hibernat ...
- bzoj 1191: [HNOI2006]超级英雄Hero 并查集 || 匈牙利算法
1191: [HNOI2006]超级英雄Hero Time Limit: 10 Sec Memory Limit: 162 MBSubmit: 1804 Solved: 850[Submit][S ...
- Contest 20140708 testA && testC
testA 输入文件: testA.in 输出文件testA.out 时限2000ms 问题描述: 如果一个数化为一个二进制数之后(没有前导0),0的个数>=1的个数.那么这个数就是方数. E ...
- 当我们在谈论 DevOps,我们在谈论什么?
Cloud Insight 携手 BearyChat:打造适合运维人员的团队协作工具 走过 C 轮的 OneAPM,旗下的产品已经日渐丰满,从应用性能监控的 Application Insight 到 ...
- 2016年 IT 趋势大预测!
新年伊始,有不少人在总结过去,也有一些人在展望未来.下面让我们跟随 OpsClarity 的 Dhruv Jain,看看他对 2016 IT 趋势有什么大胆的预测. 又到了众人纷纷对下一年进行预测的时 ...
- Android开源项目发现---Spinner选择器与日历选择器篇(持续更新)
1. android-times-square Android日历部件 支持选取单个日期,多个日期,及日期区间段和对话框形式显示 项目地址:https://github.com/square/andr ...
- 《STL源码剖析》chapter2空间配置器allocator
为什么不说allocator是内存配置器而说是空间配置器,因为空间不一定是内存,也可以是磁盘或其他辅助介质.是的,你可以写一个allocator,直接向硬盘取空间.sgi stl提供的配置器,配置的对 ...
- linux下USB串口,minicom
[一].驱动相关说明: 如果直接使用串口线,而没有用到USB转串口设备,就不需要安装驱动. 如果使用了USB转串口,一般情况下也不需要安装驱动了,目前linux系统已经包含了该驱动,可以自动识别,亦可 ...
- once
var once = function(obj, evtType, handler) { var f = function() { //console.log(arguments) handler.a ...