作者:Grey

原文地址:Java IO学习笔记一:为什么带Buffer的比不带Buffer的快

Java中为什么BufferedReader,BufferedWriter要比FileReader 和 FileWriter高效?

问题来自于:https://www.zhihu.com/question/29351698

其中R大的一个回答:

现在我们可以通过实验来说明这个问题:

环境:CentOS 7, jdk1.8

首先,写一个不带buffer的代码

static byte[] data = "123456789\n".getBytes();
static String path = "/data/io/out.txt";
public static void testBasicFileIO() throws Exception {
File file = new File(path);
FileOutputStream out = new FileOutputStream(file);
while (true) {
out.write(data);
}
}

同时,我们写一个带buffer的代码

public static void testBufferedFileIO() throws Exception {
File file = new File(path);
BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file));
while (true) {
out.write(data);
}
}

通过main函数的args参数来控制执行哪个方法,完整代码为:

import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileOutputStream; public class OSFileIO { static byte[] data = "123456789\n".getBytes();
static String path = "/data/io/out.txt"; public static void main(String[] args) throws Exception {
switch (args[0]) {
case "0":
testBasicFileIO();
break;
case "1":
testBufferedFileIO();
break;
default:
break;
}
} public static void testBasicFileIO() throws Exception {
File file = new File(path);
FileOutputStream out = new FileOutputStream(file);
while (true) {
out.write(data);
}
} public static void testBufferedFileIO() throws Exception {
File file = new File(path);
BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file));
while (true) {
out.write(data);
}
}
}

在Linux(先安装好jdk1.8)中,准备好目录:

mkdir -p /data/io

安装必要工具

yum install -y strace lsof  pmap tcpdump

将OSFileIO.java这个类上传到/data/io目录下,在/data/io目录下,新建一个mysh.sh的脚本,脚本内容如下:

rm -rf *out*
/usr/local/jdk/bin/javac OSFileIO.java
strace -ff -o out /usr/local/jdk/bin/java OSFileIO $1

赋予mysh.sh执行权限

chmod +x /data/io/mysh.sh

先监控带buffer的writer和不带buffer的writer的写效率,

不带buffer的writer效率,在控制台执行:

./mysh.sh 0

打开另外一个控制台,进入/data/io目录,监控生成out文件大小的速度,不断执行

ll -h

可以看到out.txt的增长速度

-rw-r--r--. 1 root root 2.1M Jun 10 19:50 out.txt

...

-rw-r--r--. 1 root root 5.3M Jun 10 19:51 out.txt

重新执行,使用带buffer的writer

./mysh.sh 1

在另外一个控制台,进入/data/io目录,继续监控out.txt的增长

cd /data/io
ll -h

可以看到out.txt的增长速度明显更快

-rw-r--r--. 1 root root 290M Jun 10 19:54 out.txt

....

-rw-r--r--. 1 root root 768M Jun 10 19:54 out.txt

....

-rw-r--r--. 1 root root 1.4G Jun 10 19:55 out.txt

这个是表现,我们再观察一下使用buffer和未使用buffer的writer在执行的时候,系统调用的次数。

重新执行

./mysh.sh 0

执行大约10秒后,停止执行

由于mysh.sh中使用了strace, 可以用于跟踪和分析进程执行时中系统调用和耗时以及占用cpu的比例

查看生成的out文件列表:

[root@io io]# ll
total 60708
-rwxr-xr-x. 1 root root 106 Jun 10 19:25 mysh.sh
-rw-r--r--. 1 root root 3981 Jun 10 20:08 OSFileIO.class
-rw-r--r--. 1 root root 4587 Jun 10 19:29 OSFileIO.java
-rw-r--r--. 1 root root 9379 Jun 10 20:10 out.6916
-rw-r--r--. 1 root root 50363725 Jun 10 20:10 out.6917
-rw-r--r--. 1 root root 1027 Jun 10 20:10 out.6918
-rw-r--r--. 1 root root 885 Jun 10 20:10 out.6919
-rw-r--r--. 1 root root 850 Jun 10 20:10 out.6920
-rw-r--r--. 1 root root 948 Jun 10 20:10 out.6921
-rw-r--r--. 1 root root 885 Jun 10 20:10 out.6922
-rw-r--r--. 1 root root 885 Jun 10 20:10 out.6923
-rw-r--r--. 1 root root 850 Jun 10 20:10 out.6924
-rw-r--r--. 1 root root 1134 Jun 10 20:10 out.6925
-rw-r--r--. 1 root root 26835 Jun 10 20:10 out.6926
-rw-r--r--. 1 root root 1343 Jun 10 20:10 out.6927
-rw-r--r--. 1 root root 1210 Jun 10 20:10 out.6928
-rw-r--r--. 1 root root 2324 Jun 10 20:10 out.6929
-rw-r--r--. 1 root root 9954 Jun 10 20:10 out.6930
-rw-r--r--. 1 root root 9792 Jun 10 20:10 out.6931
-rw-r--r--. 1 root root 9477 Jun 10 20:10 out.6932
-rw-r--r--. 1 root root 8295 Jun 10 20:10 out.6933
-rw-r--r--. 1 root root 1190 Jun 10 20:10 out.6934
-rw-r--r--. 1 root root 485668 Jun 10 20:10 out.6935
-rw-r--r--. 1 root root 2008 Jun 10 20:10 out.7023
-rw-r--r--. 1 root root 11152490 Jun 10 20:10 out.txt

可以看到

-rw-r--r--. 1 root root 50363725 Jun 10 20:10 out.6917

是主线程生成的系统调用,查看这个文件,可以看到,系统调用write的次数很多

write(4, "123456789\n", 10)             = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10

切换成带buffer的执行,大约执行10秒

./mysh.sh 1

同样可以通过ll查看

[root@io io]# ll
total 388808
-rwxr-xr-x. 1 root root 106 Jun 10 19:25 mysh.sh
-rw-r--r--. 1 root root 3981 Jun 10 20:17 OSFileIO.class
-rw-r--r--. 1 root root 4587 Jun 10 19:29 OSFileIO.java
-rw-r--r--. 1 root root 9526 Jun 10 20:18 out.7053
-rw-r--r--. 1 root root 3262847 Jun 10 20:18 out.7054
-rw-r--r--. 1 root root 1076 Jun 10 20:18 out.7055
-rw-r--r--. 1 root root 885 Jun 10 20:18 out.7056
-rw-r--r--. 1 root root 885 Jun 10 20:18 out.7057
-rw-r--r--. 1 root root 948 Jun 10 20:18 out.7058
-rw-r--r--. 1 root root 983 Jun 10 20:18 out.7059
-rw-r--r--. 1 root root 948 Jun 10 20:18 out.7060
-rw-r--r--. 1 root root 885 Jun 10 20:18 out.7061
-rw-r--r--. 1 root root 1099 Jun 10 20:18 out.7062
-rw-r--r--. 1 root root 3812 Jun 10 20:18 out.7063
-rw-r--r--. 1 root root 1259 Jun 10 20:18 out.7064
-rw-r--r--. 1 root root 1245 Jun 10 20:18 out.7065
-rw-r--r--. 1 root root 2337 Jun 10 20:18 out.7066
-rw-r--r--. 1 root root 6415 Jun 10 20:18 out.7067
-rw-r--r--. 1 root root 5486 Jun 10 20:18 out.7068
-rw-r--r--. 1 root root 6347 Jun 10 20:18 out.7069
-rw-r--r--. 1 root root 4972 Jun 10 20:18 out.7070
-rw-r--r--. 1 root root 1008 Jun 10 20:18 out.7071
-rw-r--r--. 1 root root 25438 Jun 10 20:18 out.7072
-rw-r--r--. 1 root root 2071 Jun 10 20:18 out.7073
-rw-r--r--. 1 root root 394725240 Jun 10 20:18 out.txt

其中

-rw-r--r--. 1 root root   3262847 Jun 10 20:18 out.7054

为主线程的系统调用,打开这个文件可以看到

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

不是每次写都调用系统的write,而是凑齐8190后再调用一次系统的write,所以速度更快。

源码:Github

Java IO学习笔记一:为什么带Buffer的比不带Buffer的快的更多相关文章

  1. Java IO学习笔记二:DirectByteBuffer与HeapByteBuffer

    作者:Grey 原文地址:Java IO学习笔记二:DirectByteBuffer与HeapByteBuffer ByteBuffer.allocate()与ByteBuffer.allocateD ...

  2. Java IO学习笔记六:NIO到多路复用

    作者:Grey 原文地址:Java IO学习笔记六:NIO到多路复用 虽然NIO性能上比BIO要好,参考:Java IO学习笔记五:BIO到NIO 但是NIO也有问题,NIO服务端的示例代码中往往会包 ...

  3. Java IO学习笔记五:BIO到NIO

    作者:Grey 原文地址: Java IO学习笔记五:BIO到NIO 准备环境 准备一个CentOS7的Linux实例: 实例的IP: 192.168.205.138 我们这次实验的目的就是直观感受一 ...

  4. Java IO学习笔记七:多路复用从单线程到多线程

    作者:Grey 原文地址:Java IO学习笔记七:多路复用从单线程到多线程 在前面提到的多路复用的服务端代码中, 我们在处理读数据的同时,也处理了写事件: public void readHandl ...

  5. Java IO学习笔记八:Netty入门

    作者:Grey 原文地址:Java IO学习笔记八:Netty入门 多路复用多线程方式还是有点麻烦,Netty帮我们做了封装,大大简化了编码的复杂度,接下来熟悉一下netty的基本使用. Netty+ ...

  6. Java IO学习笔记:概念与原理

    Java IO学习笔记:概念与原理   一.概念   Java中对文件的操作是以流的方式进行的.流是Java内存中的一组有序数据序列.Java将数据从源(文件.内存.键盘.网络)读入到内存 中,形成了 ...

  7. Java IO学习笔记总结

    Java IO学习笔记总结 前言 前面的八篇文章详细的讲述了Java IO的操作方法,文章列表如下 基本的文件操作 字符流和字节流的操作 InputStreamReader和OutputStreamW ...

  8. Java IO学习笔记三

    Java IO学习笔记三 在整个IO包中,实际上就是分为字节流和字符流,但是除了这两个流之外,还存在了一组字节流-字符流的转换类. OutputStreamWriter:是Writer的子类,将输出的 ...

  9. Java IO学习笔记二

    Java IO学习笔记二 流的概念 在程序中所有的数据都是以流的方式进行传输或保存的,程序需要数据的时候要使用输入流读取数据,而当程序需要将一些数据保存起来的时候,就要使用输出流完成. 程序中的输入输 ...

随机推荐

  1. Linux下性能监控、守护进程与计划任务管理

    目录 一:监视系统进程(ps .top) 二:查看网络连接信息 (netstat) 三:文件进程.端口关联(lsof) 四:计划任务管理(at .crontab) at crontab 一:监视系统进 ...

  2. android CVE

    本文收集网上android cve的一些分析供后续学习: Android uncovers master-key:android1.6-4.0 由于ZIP格式允许存在两个或以上完全相同的路径,而安卓系 ...

  3. Linux中常见的150个命令(干货)

    目录 线上查询及帮助命令 文件和目录操作命令 查看文件和内容处理命令 文件压缩及解压缩命令 信息显示命令 搜索文件命令 进程管理相关命令 用户管理命令 基础网络操作命令 深入网络操作命令 有关磁盘与文 ...

  4. 简化mapstruct代码: mapstruct-spring-plus

    mapstruct MapStruct 是一个属性映射工具,只需要定义一个 Mapper 接口,MapStruct 就会自动实现这个映射接口,避免了复杂繁琐的映射实现.MapStruct官网地址: h ...

  5. <JVM下篇:性能监控与调优篇>补充:浅堆深堆与内存泄露

    笔记来源:尚硅谷JVM全套教程,百万播放,全网巅峰(宋红康详解java虚拟机) 同步更新:https://gitee.com/vectorx/NOTE_JVM https://codechina.cs ...

  6. Python中的迭代器、生成器、装饰器

    1. 迭代器  1 """ 2 iterator 3 迭代器协议: 对象必须提供一个next()方法,执行该方法要么返回迭代中的下一项,要么引起一个StopIterati ...

  7. 0902-用GAN生成动漫头像

    0902-用GAN生成动漫头像 目录 一.概述 二.代码结构 三.model.py 3.1 生成器 3.2 判别器 四.参数配置 五.数据处理 六.训练 七.随机生成图片 八.训练模型并测试 pyto ...

  8. 附近的人?你zao吗?

    前几天收到一个新的需求,需要实现类似"附近的人"的功能:根据自己当前的定位,获取距离范围内的所有任务地点.刚看到这个需求时有点懵逼,第一想到的就是要利用地球的半径公式去计算距离,也 ...

  9. BUAA软件工程热身作业

    写在前面 项目 内容 所属课程 2020春季计算机学院软件工程(罗杰 任健) (北航) 作业要求 热身作业(阅读) 课程目标 培养软件开发能力 本作业对实现目标的具体作用 深入认识自己,总结过往并展望 ...

  10. 初探DBSCAN聚类算法

    DBSCAN介绍 一种基于密度的聚类算法 他最大的优势是可以发现任意形状的聚类簇,而传统的聚类算法只能使用凸的样本聚集类 两个参数: 邻域半径R和最少点数目minpoints. 当邻域半径R内的点的个 ...