Java IO学习笔记一：为什么带Buffer的比不带Buffer的快

作者：Grey

原文地址：Java IO学习笔记一：为什么带Buffer的比不带Buffer的快

Java中为什么BufferedReader，BufferedWriter要比FileReader 和 FileWriter高效？

问题来自于：https://www.zhihu.com/question/29351698

其中R大的一个回答：

现在我们可以通过实验来说明这个问题：

环境：CentOS 7, jdk1.8

首先，写一个不带buffer的代码

static byte[] data = "123456789\n".getBytes();

static String path = "/data/io/out.txt";

public static void testBasicFileIO() throws Exception {

    File file = new File(path);

    FileOutputStream out = new FileOutputStream(file);

    while (true) {

        out.write(data);

    }

}

同时，我们写一个带buffer的代码

public static void testBufferedFileIO() throws Exception {

   File file = new File(path);

   BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file));

   while (true) {

       out.write(data);

   }

}

通过main函数的args参数来控制执行哪个方法，完整代码为：

import java.io.BufferedOutputStream;

import java.io.File;

import java.io.FileOutputStream;

public class OSFileIO {

    static byte[] data = "123456789\n".getBytes();

    static String path = "/data/io/out.txt";

    public static void main(String[] args) throws Exception {

        switch (args[0]) {

            case "0":

                testBasicFileIO();

                break;

            case "1":

                testBufferedFileIO();

                break;

            default:

                break;

        }

    }

    public static void testBasicFileIO() throws Exception {

        File file = new File(path);

        FileOutputStream out = new FileOutputStream(file);

        while (true) {

            out.write(data);

        }

    }

    public static void testBufferedFileIO() throws Exception {

        File file = new File(path);

        BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file));

        while (true) {

            out.write(data);

        }

    }

}

在Linux（先安装好jdk1.8）中，准备好目录：

mkdir -p /data/io

安装必要工具

yum install -y strace lsof  pmap tcpdump

将OSFileIO.java这个类上传到/data/io目录下，在/data/io目录下，新建一个mysh.sh的脚本,脚本内容如下：

rm -rf *out*

/usr/local/jdk/bin/javac OSFileIO.java

strace -ff -o out /usr/local/jdk/bin/java OSFileIO $1

赋予mysh.sh执行权限

chmod +x /data/io/mysh.sh

先监控带buffer的writer和不带buffer的writer的写效率，

不带buffer的writer效率，在控制台执行：

./mysh.sh 0

打开另外一个控制台，进入/data/io目录，监控生成out文件大小的速度,不断执行

ll -h

可以看到out.txt的增长速度

-rw-r--r--. 1 root root 2.1M Jun 10 19:50 out.txt

...

-rw-r--r--. 1 root root 5.3M Jun 10 19:51 out.txt

重新执行，使用带buffer的writer

./mysh.sh 1

在另外一个控制台，进入/data/io目录，继续监控out.txt的增长

cd /data/io

ll -h

可以看到out.txt的增长速度明显更快

-rw-r--r--. 1 root root 290M Jun 10 19:54 out.txt

....

-rw-r--r--. 1 root root 768M Jun 10 19:54 out.txt

....

-rw-r--r--. 1 root root 1.4G Jun 10 19:55 out.txt

这个是表现，我们再观察一下使用buffer和未使用buffer的writer在执行的时候，系统调用的次数。

重新执行

./mysh.sh 0

执行大约10秒后，停止执行

由于mysh.sh中使用了strace, 可以用于跟踪和分析进程执行时中系统调用和耗时以及占用cpu的比例

查看生成的out文件列表：

[root@io io]# ll

total 60708

-rwxr-xr-x. 1 root root      106 Jun 10 19:25 mysh.sh

-rw-r--r--. 1 root root     3981 Jun 10 20:08 OSFileIO.class

-rw-r--r--. 1 root root     4587 Jun 10 19:29 OSFileIO.java

-rw-r--r--. 1 root root     9379 Jun 10 20:10 out.6916

-rw-r--r--. 1 root root 50363725 Jun 10 20:10 out.6917

-rw-r--r--. 1 root root     1027 Jun 10 20:10 out.6918

-rw-r--r--. 1 root root      885 Jun 10 20:10 out.6919

-rw-r--r--. 1 root root      850 Jun 10 20:10 out.6920

-rw-r--r--. 1 root root      948 Jun 10 20:10 out.6921

-rw-r--r--. 1 root root      885 Jun 10 20:10 out.6922

-rw-r--r--. 1 root root      885 Jun 10 20:10 out.6923

-rw-r--r--. 1 root root      850 Jun 10 20:10 out.6924

-rw-r--r--. 1 root root     1134 Jun 10 20:10 out.6925

-rw-r--r--. 1 root root    26835 Jun 10 20:10 out.6926

-rw-r--r--. 1 root root     1343 Jun 10 20:10 out.6927

-rw-r--r--. 1 root root     1210 Jun 10 20:10 out.6928

-rw-r--r--. 1 root root     2324 Jun 10 20:10 out.6929

-rw-r--r--. 1 root root     9954 Jun 10 20:10 out.6930

-rw-r--r--. 1 root root     9792 Jun 10 20:10 out.6931

-rw-r--r--. 1 root root     9477 Jun 10 20:10 out.6932

-rw-r--r--. 1 root root     8295 Jun 10 20:10 out.6933

-rw-r--r--. 1 root root     1190 Jun 10 20:10 out.6934

-rw-r--r--. 1 root root   485668 Jun 10 20:10 out.6935

-rw-r--r--. 1 root root     2008 Jun 10 20:10 out.7023

-rw-r--r--. 1 root root 11152490 Jun 10 20:10 out.txt

可以看到

-rw-r--r--. 1 root root 50363725 Jun 10 20:10 out.6917

是主线程生成的系统调用，查看这个文件，可以看到，系统调用write的次数很多

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

切换成带buffer的执行，大约执行10秒

./mysh.sh 1

同样可以通过ll查看

[root@io io]# ll

total 388808

-rwxr-xr-x. 1 root root       106 Jun 10 19:25 mysh.sh

-rw-r--r--. 1 root root      3981 Jun 10 20:17 OSFileIO.class

-rw-r--r--. 1 root root      4587 Jun 10 19:29 OSFileIO.java

-rw-r--r--. 1 root root      9526 Jun 10 20:18 out.7053

-rw-r--r--. 1 root root   3262847 Jun 10 20:18 out.7054

-rw-r--r--. 1 root root      1076 Jun 10 20:18 out.7055

-rw-r--r--. 1 root root       885 Jun 10 20:18 out.7056

-rw-r--r--. 1 root root       885 Jun 10 20:18 out.7057

-rw-r--r--. 1 root root       948 Jun 10 20:18 out.7058

-rw-r--r--. 1 root root       983 Jun 10 20:18 out.7059

-rw-r--r--. 1 root root       948 Jun 10 20:18 out.7060

-rw-r--r--. 1 root root       885 Jun 10 20:18 out.7061

-rw-r--r--. 1 root root      1099 Jun 10 20:18 out.7062

-rw-r--r--. 1 root root      3812 Jun 10 20:18 out.7063

-rw-r--r--. 1 root root      1259 Jun 10 20:18 out.7064

-rw-r--r--. 1 root root      1245 Jun 10 20:18 out.7065

-rw-r--r--. 1 root root      2337 Jun 10 20:18 out.7066

-rw-r--r--. 1 root root      6415 Jun 10 20:18 out.7067

-rw-r--r--. 1 root root      5486 Jun 10 20:18 out.7068

-rw-r--r--. 1 root root      6347 Jun 10 20:18 out.7069

-rw-r--r--. 1 root root      4972 Jun 10 20:18 out.7070

-rw-r--r--. 1 root root      1008 Jun 10 20:18 out.7071

-rw-r--r--. 1 root root     25438 Jun 10 20:18 out.7072

-rw-r--r--. 1 root root      2071 Jun 10 20:18 out.7073

-rw-r--r--. 1 root root 394725240 Jun 10 20:18 out.txt

其中

-rw-r--r--. 1 root root   3262847 Jun 10 20:18 out.7054

为主线程的系统调用，打开这个文件可以看到

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

不是每次写都调用系统的write，而是凑齐8190后再调用一次系统的write，所以速度更快。

源码：Github

Java IO学习笔记一：为什么带Buffer的比不带Buffer的快的更多相关文章

Java IO学习笔记二：DirectByteBuffer与HeapByteBuffer
作者:Grey 原文地址:Java IO学习笔记二:DirectByteBuffer与HeapByteBuffer ByteBuffer.allocate()与ByteBuffer.allocateD ...
Java IO学习笔记六：NIO到多路复用
作者:Grey 原文地址:Java IO学习笔记六:NIO到多路复用虽然NIO性能上比BIO要好,参考:Java IO学习笔记五:BIO到NIO 但是NIO也有问题,NIO服务端的示例代码中往往会包 ...
Java IO学习笔记五：BIO到NIO
作者:Grey 原文地址: Java IO学习笔记五:BIO到NIO 准备环境准备一个CentOS7的Linux实例: 实例的IP: 192.168.205.138 我们这次实验的目的就是直观感受一 ...
Java IO学习笔记七：多路复用从单线程到多线程
作者:Grey 原文地址:Java IO学习笔记七:多路复用从单线程到多线程在前面提到的多路复用的服务端代码中, 我们在处理读数据的同时,也处理了写事件: public void readHandl ...
Java IO学习笔记八：Netty入门
作者:Grey 原文地址:Java IO学习笔记八:Netty入门多路复用多线程方式还是有点麻烦,Netty帮我们做了封装,大大简化了编码的复杂度,接下来熟悉一下netty的基本使用. Netty+ ...
Java IO学习笔记：概念与原理
Java IO学习笔记:概念与原理一.概念 Java中对文件的操作是以流的方式进行的.流是Java内存中的一组有序数据序列.Java将数据从源(文件.内存.键盘.网络)读入到内存中,形成了 ...
Java IO学习笔记总结
Java IO学习笔记总结前言前面的八篇文章详细的讲述了Java IO的操作方法,文章列表如下基本的文件操作字符流和字节流的操作 InputStreamReader和OutputStreamW ...
Java IO学习笔记三
Java IO学习笔记三在整个IO包中,实际上就是分为字节流和字符流,但是除了这两个流之外,还存在了一组字节流-字符流的转换类. OutputStreamWriter:是Writer的子类,将输出的 ...
Java IO学习笔记二
Java IO学习笔记二流的概念在程序中所有的数据都是以流的方式进行传输或保存的,程序需要数据的时候要使用输入流读取数据,而当程序需要将一些数据保存起来的时候,就要使用输出流完成. 程序中的输入输 ...

随机推荐

POJ1376简单广搜
题意: 给你一个n*m的矩阵,然后给你机器人的起点和终点,还有起点的方向,然后每次机器人有两种操作,左右旋转90度,或者是朝着原来的方向走1,2或者3步,机器人再走的过程中不能碰到格子,也 ...
C#-FTP
/// <summary> /// 上传文件 /// </summary> /// <param name="fileinfo">需要上传的文件 ...
Android拆分与加载Dex的多种方案对比
http://mp.weixin.qq.com/s?__biz=MzAwNDY1ODY2OQ==&mid=207151651&idx=1&sn=9eab282711f4eb2b ...
冒泡排序——Python实现
冒泡排序Python实现 # -*- coding: utf-8 -*- # @Time : 2019/10/28 19:41 # @Author : yuzhou_1shu # @Email : y ...
一款好用的数据血缘关系在线工具--SQLFlow
l 数据血缘关系(data lineage) 数据血缘属于数据治理中的一个概念,是在数据溯源的过程中找到相关数据之间的联系,它是一个逻辑概念.数据治理中经常提到血缘分析,血缘分析是保证数据融合的 ...
istio流量管理：非侵入式流量治理
在服务治理中,流量管理是一个广泛的话题,一般情况下,常用的包括: 动态修改服务访问的负载均衡策略,比如根据某个请求特征做会话保持: 同一个服务有多版本管理,将一部分流量切到某个版本上: 对服务进行保护 ...
[bug] MySQL 无法删除表
参考 https://blog.csdn.net/smbluesky/article/details/82427121
CentOS 7.6 操作系统安装指导书 (鲲鹏920处理器) 01
若需要手动调整预留内存大小,请参考如下配置进行调整. 以下以配置crashkernel为512M为例进行操作说明: 命令行执行命令vi /etc/default/grub,配置"crashk ...
所有的 Unix Like 系统都会内建 vi 文书编辑器。vim 是vi的升级版本，它不仅兼容vi的所有指令，而且还有一些新的特性在里面。
所有的 Unix Like 系统都会内建 vi 文书编辑器.vim 是vi的升级版本,它不仅兼容vi的所有指令 ,而且还有一些新的特性在里面. https://blog.csdn.net/carolz ...
python-dict和list常用方法
1 # *********-list-********* 2 # 创建一个list 3 list1 = [1, 2, '力气,', 'afd'] 4 print(type(list1)) 5 prin ...

Java IO学习笔记一：为什么带Buffer的比不带Buffer的快

Java IO学习笔记一：为什么带Buffer的比不带Buffer的快的更多相关文章

随机推荐

热门专题