Java IO学习笔记一:为什么带Buffer的比不带Buffer的快
作者:Grey
原文地址:Java IO学习笔记一:为什么带Buffer的比不带Buffer的快
Java中为什么BufferedReader,BufferedWriter要比FileReader 和 FileWriter高效?
问题来自于:https://www.zhihu.com/question/29351698
其中R大的一个回答:
现在我们可以通过实验来说明这个问题:
环境:CentOS 7, jdk1.8
首先,写一个不带buffer的代码
static byte[] data = "123456789\n".getBytes();
static String path = "/data/io/out.txt";
public static void testBasicFileIO() throws Exception {
File file = new File(path);
FileOutputStream out = new FileOutputStream(file);
while (true) {
out.write(data);
}
}
同时,我们写一个带buffer的代码
public static void testBufferedFileIO() throws Exception {
File file = new File(path);
BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file));
while (true) {
out.write(data);
}
}
通过main函数的args参数来控制执行哪个方法,完整代码为:
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileOutputStream;
public class OSFileIO {
static byte[] data = "123456789\n".getBytes();
static String path = "/data/io/out.txt";
public static void main(String[] args) throws Exception {
switch (args[0]) {
case "0":
testBasicFileIO();
break;
case "1":
testBufferedFileIO();
break;
default:
break;
}
}
public static void testBasicFileIO() throws Exception {
File file = new File(path);
FileOutputStream out = new FileOutputStream(file);
while (true) {
out.write(data);
}
}
public static void testBufferedFileIO() throws Exception {
File file = new File(path);
BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file));
while (true) {
out.write(data);
}
}
}
在Linux(先安装好jdk1.8)中,准备好目录:
mkdir -p /data/io
安装必要工具
yum install -y strace lsof pmap tcpdump
将OSFileIO.java这个类上传到/data/io目录下,在/data/io目录下,新建一个mysh.sh的脚本,脚本内容如下:
rm -rf *out*
/usr/local/jdk/bin/javac OSFileIO.java
strace -ff -o out /usr/local/jdk/bin/java OSFileIO $1
赋予mysh.sh执行权限
chmod +x /data/io/mysh.sh
先监控带buffer的writer和不带buffer的writer的写效率,
不带buffer的writer效率,在控制台执行:
./mysh.sh 0
打开另外一个控制台,进入/data/io目录,监控生成out文件大小的速度,不断执行
ll -h
可以看到out.txt的增长速度
-rw-r--r--. 1 root root 2.1M Jun 10 19:50 out.txt
...
-rw-r--r--. 1 root root 5.3M Jun 10 19:51 out.txt
重新执行,使用带buffer的writer
./mysh.sh 1
在另外一个控制台,进入/data/io目录,继续监控out.txt的增长
cd /data/io
ll -h
可以看到out.txt的增长速度明显更快
-rw-r--r--. 1 root root 290M Jun 10 19:54 out.txt
....
-rw-r--r--. 1 root root 768M Jun 10 19:54 out.txt
....
-rw-r--r--. 1 root root 1.4G Jun 10 19:55 out.txt
这个是表现,我们再观察一下使用buffer和未使用buffer的writer在执行的时候,系统调用的次数。
重新执行
./mysh.sh 0
执行大约10秒后,停止执行
由于mysh.sh中使用了strace, 可以用于跟踪和分析进程执行时中系统调用和耗时以及占用cpu的比例
查看生成的out文件列表:
[root@io io]# ll
total 60708
-rwxr-xr-x. 1 root root 106 Jun 10 19:25 mysh.sh
-rw-r--r--. 1 root root 3981 Jun 10 20:08 OSFileIO.class
-rw-r--r--. 1 root root 4587 Jun 10 19:29 OSFileIO.java
-rw-r--r--. 1 root root 9379 Jun 10 20:10 out.6916
-rw-r--r--. 1 root root 50363725 Jun 10 20:10 out.6917
-rw-r--r--. 1 root root 1027 Jun 10 20:10 out.6918
-rw-r--r--. 1 root root 885 Jun 10 20:10 out.6919
-rw-r--r--. 1 root root 850 Jun 10 20:10 out.6920
-rw-r--r--. 1 root root 948 Jun 10 20:10 out.6921
-rw-r--r--. 1 root root 885 Jun 10 20:10 out.6922
-rw-r--r--. 1 root root 885 Jun 10 20:10 out.6923
-rw-r--r--. 1 root root 850 Jun 10 20:10 out.6924
-rw-r--r--. 1 root root 1134 Jun 10 20:10 out.6925
-rw-r--r--. 1 root root 26835 Jun 10 20:10 out.6926
-rw-r--r--. 1 root root 1343 Jun 10 20:10 out.6927
-rw-r--r--. 1 root root 1210 Jun 10 20:10 out.6928
-rw-r--r--. 1 root root 2324 Jun 10 20:10 out.6929
-rw-r--r--. 1 root root 9954 Jun 10 20:10 out.6930
-rw-r--r--. 1 root root 9792 Jun 10 20:10 out.6931
-rw-r--r--. 1 root root 9477 Jun 10 20:10 out.6932
-rw-r--r--. 1 root root 8295 Jun 10 20:10 out.6933
-rw-r--r--. 1 root root 1190 Jun 10 20:10 out.6934
-rw-r--r--. 1 root root 485668 Jun 10 20:10 out.6935
-rw-r--r--. 1 root root 2008 Jun 10 20:10 out.7023
-rw-r--r--. 1 root root 11152490 Jun 10 20:10 out.txt
可以看到
-rw-r--r--. 1 root root 50363725 Jun 10 20:10 out.6917
是主线程生成的系统调用,查看这个文件,可以看到,系统调用write的次数很多
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
切换成带buffer的执行,大约执行10秒
./mysh.sh 1
同样可以通过ll查看
[root@io io]# ll
total 388808
-rwxr-xr-x. 1 root root 106 Jun 10 19:25 mysh.sh
-rw-r--r--. 1 root root 3981 Jun 10 20:17 OSFileIO.class
-rw-r--r--. 1 root root 4587 Jun 10 19:29 OSFileIO.java
-rw-r--r--. 1 root root 9526 Jun 10 20:18 out.7053
-rw-r--r--. 1 root root 3262847 Jun 10 20:18 out.7054
-rw-r--r--. 1 root root 1076 Jun 10 20:18 out.7055
-rw-r--r--. 1 root root 885 Jun 10 20:18 out.7056
-rw-r--r--. 1 root root 885 Jun 10 20:18 out.7057
-rw-r--r--. 1 root root 948 Jun 10 20:18 out.7058
-rw-r--r--. 1 root root 983 Jun 10 20:18 out.7059
-rw-r--r--. 1 root root 948 Jun 10 20:18 out.7060
-rw-r--r--. 1 root root 885 Jun 10 20:18 out.7061
-rw-r--r--. 1 root root 1099 Jun 10 20:18 out.7062
-rw-r--r--. 1 root root 3812 Jun 10 20:18 out.7063
-rw-r--r--. 1 root root 1259 Jun 10 20:18 out.7064
-rw-r--r--. 1 root root 1245 Jun 10 20:18 out.7065
-rw-r--r--. 1 root root 2337 Jun 10 20:18 out.7066
-rw-r--r--. 1 root root 6415 Jun 10 20:18 out.7067
-rw-r--r--. 1 root root 5486 Jun 10 20:18 out.7068
-rw-r--r--. 1 root root 6347 Jun 10 20:18 out.7069
-rw-r--r--. 1 root root 4972 Jun 10 20:18 out.7070
-rw-r--r--. 1 root root 1008 Jun 10 20:18 out.7071
-rw-r--r--. 1 root root 25438 Jun 10 20:18 out.7072
-rw-r--r--. 1 root root 2071 Jun 10 20:18 out.7073
-rw-r--r--. 1 root root 394725240 Jun 10 20:18 out.txt
其中
-rw-r--r--. 1 root root 3262847 Jun 10 20:18 out.7054
为主线程的系统调用,打开这个文件可以看到
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
不是每次写都调用系统的write,而是凑齐8190后再调用一次系统的write,所以速度更快。
源码:Github
Java IO学习笔记一:为什么带Buffer的比不带Buffer的快的更多相关文章
- Java IO学习笔记二:DirectByteBuffer与HeapByteBuffer
作者:Grey 原文地址:Java IO学习笔记二:DirectByteBuffer与HeapByteBuffer ByteBuffer.allocate()与ByteBuffer.allocateD ...
- Java IO学习笔记六:NIO到多路复用
作者:Grey 原文地址:Java IO学习笔记六:NIO到多路复用 虽然NIO性能上比BIO要好,参考:Java IO学习笔记五:BIO到NIO 但是NIO也有问题,NIO服务端的示例代码中往往会包 ...
- Java IO学习笔记五:BIO到NIO
作者:Grey 原文地址: Java IO学习笔记五:BIO到NIO 准备环境 准备一个CentOS7的Linux实例: 实例的IP: 192.168.205.138 我们这次实验的目的就是直观感受一 ...
- Java IO学习笔记七:多路复用从单线程到多线程
作者:Grey 原文地址:Java IO学习笔记七:多路复用从单线程到多线程 在前面提到的多路复用的服务端代码中, 我们在处理读数据的同时,也处理了写事件: public void readHandl ...
- Java IO学习笔记八:Netty入门
作者:Grey 原文地址:Java IO学习笔记八:Netty入门 多路复用多线程方式还是有点麻烦,Netty帮我们做了封装,大大简化了编码的复杂度,接下来熟悉一下netty的基本使用. Netty+ ...
- Java IO学习笔记:概念与原理
Java IO学习笔记:概念与原理 一.概念 Java中对文件的操作是以流的方式进行的.流是Java内存中的一组有序数据序列.Java将数据从源(文件.内存.键盘.网络)读入到内存 中,形成了 ...
- Java IO学习笔记总结
Java IO学习笔记总结 前言 前面的八篇文章详细的讲述了Java IO的操作方法,文章列表如下 基本的文件操作 字符流和字节流的操作 InputStreamReader和OutputStreamW ...
- Java IO学习笔记三
Java IO学习笔记三 在整个IO包中,实际上就是分为字节流和字符流,但是除了这两个流之外,还存在了一组字节流-字符流的转换类. OutputStreamWriter:是Writer的子类,将输出的 ...
- Java IO学习笔记二
Java IO学习笔记二 流的概念 在程序中所有的数据都是以流的方式进行传输或保存的,程序需要数据的时候要使用输入流读取数据,而当程序需要将一些数据保存起来的时候,就要使用输出流完成. 程序中的输入输 ...
随机推荐
- Linux下性能监控、守护进程与计划任务管理
目录 一:监视系统进程(ps .top) 二:查看网络连接信息 (netstat) 三:文件进程.端口关联(lsof) 四:计划任务管理(at .crontab) at crontab 一:监视系统进 ...
- android CVE
本文收集网上android cve的一些分析供后续学习: Android uncovers master-key:android1.6-4.0 由于ZIP格式允许存在两个或以上完全相同的路径,而安卓系 ...
- Linux中常见的150个命令(干货)
目录 线上查询及帮助命令 文件和目录操作命令 查看文件和内容处理命令 文件压缩及解压缩命令 信息显示命令 搜索文件命令 进程管理相关命令 用户管理命令 基础网络操作命令 深入网络操作命令 有关磁盘与文 ...
- 简化mapstruct代码: mapstruct-spring-plus
mapstruct MapStruct 是一个属性映射工具,只需要定义一个 Mapper 接口,MapStruct 就会自动实现这个映射接口,避免了复杂繁琐的映射实现.MapStruct官网地址: h ...
- <JVM下篇:性能监控与调优篇>补充:浅堆深堆与内存泄露
笔记来源:尚硅谷JVM全套教程,百万播放,全网巅峰(宋红康详解java虚拟机) 同步更新:https://gitee.com/vectorx/NOTE_JVM https://codechina.cs ...
- Python中的迭代器、生成器、装饰器
1. 迭代器 1 """ 2 iterator 3 迭代器协议: 对象必须提供一个next()方法,执行该方法要么返回迭代中的下一项,要么引起一个StopIterati ...
- 0902-用GAN生成动漫头像
0902-用GAN生成动漫头像 目录 一.概述 二.代码结构 三.model.py 3.1 生成器 3.2 判别器 四.参数配置 五.数据处理 六.训练 七.随机生成图片 八.训练模型并测试 pyto ...
- 附近的人?你zao吗?
前几天收到一个新的需求,需要实现类似"附近的人"的功能:根据自己当前的定位,获取距离范围内的所有任务地点.刚看到这个需求时有点懵逼,第一想到的就是要利用地球的半径公式去计算距离,也 ...
- BUAA软件工程热身作业
写在前面 项目 内容 所属课程 2020春季计算机学院软件工程(罗杰 任健) (北航) 作业要求 热身作业(阅读) 课程目标 培养软件开发能力 本作业对实现目标的具体作用 深入认识自己,总结过往并展望 ...
- 初探DBSCAN聚类算法
DBSCAN介绍 一种基于密度的聚类算法 他最大的优势是可以发现任意形状的聚类簇,而传统的聚类算法只能使用凸的样本聚集类 两个参数: 邻域半径R和最少点数目minpoints. 当邻域半径R内的点的个 ...