Java IO学习笔记一：为什么带Buffer的比不带Buffer的快

作者：Grey

原文地址：Java IO学习笔记一：为什么带Buffer的比不带Buffer的快

Java中为什么BufferedReader，BufferedWriter要比FileReader 和 FileWriter高效？

问题来自于：https://www.zhihu.com/question/29351698

其中R大的一个回答：

现在我们可以通过实验来说明这个问题：

环境：CentOS 7, jdk1.8

首先，写一个不带buffer的代码

static byte[] data = "123456789\n".getBytes();

static String path = "/data/io/out.txt";

public static void testBasicFileIO() throws Exception {

    File file = new File(path);

    FileOutputStream out = new FileOutputStream(file);

    while (true) {

        out.write(data);

    }

}

同时，我们写一个带buffer的代码

public static void testBufferedFileIO() throws Exception {

   File file = new File(path);

   BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file));

   while (true) {

       out.write(data);

   }

}

通过main函数的args参数来控制执行哪个方法，完整代码为：

import java.io.BufferedOutputStream;

import java.io.File;

import java.io.FileOutputStream;

public class OSFileIO {

    static byte[] data = "123456789\n".getBytes();

    static String path = "/data/io/out.txt";

    public static void main(String[] args) throws Exception {

        switch (args[0]) {

            case "0":

                testBasicFileIO();

                break;

            case "1":

                testBufferedFileIO();

                break;

            default:

                break;

        }

    }

    public static void testBasicFileIO() throws Exception {

        File file = new File(path);

        FileOutputStream out = new FileOutputStream(file);

        while (true) {

            out.write(data);

        }

    }

    public static void testBufferedFileIO() throws Exception {

        File file = new File(path);

        BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file));

        while (true) {

            out.write(data);

        }

    }

}

在Linux（先安装好jdk1.8）中，准备好目录：

mkdir -p /data/io

安装必要工具

yum install -y strace lsof  pmap tcpdump

将OSFileIO.java这个类上传到/data/io目录下，在/data/io目录下，新建一个mysh.sh的脚本,脚本内容如下：

rm -rf *out*

/usr/local/jdk/bin/javac OSFileIO.java

strace -ff -o out /usr/local/jdk/bin/java OSFileIO $1

赋予mysh.sh执行权限

chmod +x /data/io/mysh.sh

先监控带buffer的writer和不带buffer的writer的写效率，

不带buffer的writer效率，在控制台执行：

./mysh.sh 0

打开另外一个控制台，进入/data/io目录，监控生成out文件大小的速度,不断执行

ll -h

可以看到out.txt的增长速度

-rw-r--r--. 1 root root 2.1M Jun 10 19:50 out.txt

...

-rw-r--r--. 1 root root 5.3M Jun 10 19:51 out.txt

重新执行，使用带buffer的writer

./mysh.sh 1

在另外一个控制台，进入/data/io目录，继续监控out.txt的增长

cd /data/io

ll -h

可以看到out.txt的增长速度明显更快

-rw-r--r--. 1 root root 290M Jun 10 19:54 out.txt

....

-rw-r--r--. 1 root root 768M Jun 10 19:54 out.txt

....

-rw-r--r--. 1 root root 1.4G Jun 10 19:55 out.txt

这个是表现，我们再观察一下使用buffer和未使用buffer的writer在执行的时候，系统调用的次数。

重新执行

./mysh.sh 0

执行大约10秒后，停止执行

由于mysh.sh中使用了strace, 可以用于跟踪和分析进程执行时中系统调用和耗时以及占用cpu的比例

查看生成的out文件列表：

[root@io io]# ll

total 60708

-rwxr-xr-x. 1 root root      106 Jun 10 19:25 mysh.sh

-rw-r--r--. 1 root root     3981 Jun 10 20:08 OSFileIO.class

-rw-r--r--. 1 root root     4587 Jun 10 19:29 OSFileIO.java

-rw-r--r--. 1 root root     9379 Jun 10 20:10 out.6916

-rw-r--r--. 1 root root 50363725 Jun 10 20:10 out.6917

-rw-r--r--. 1 root root     1027 Jun 10 20:10 out.6918

-rw-r--r--. 1 root root      885 Jun 10 20:10 out.6919

-rw-r--r--. 1 root root      850 Jun 10 20:10 out.6920

-rw-r--r--. 1 root root      948 Jun 10 20:10 out.6921

-rw-r--r--. 1 root root      885 Jun 10 20:10 out.6922

-rw-r--r--. 1 root root      885 Jun 10 20:10 out.6923

-rw-r--r--. 1 root root      850 Jun 10 20:10 out.6924

-rw-r--r--. 1 root root     1134 Jun 10 20:10 out.6925

-rw-r--r--. 1 root root    26835 Jun 10 20:10 out.6926

-rw-r--r--. 1 root root     1343 Jun 10 20:10 out.6927

-rw-r--r--. 1 root root     1210 Jun 10 20:10 out.6928

-rw-r--r--. 1 root root     2324 Jun 10 20:10 out.6929

-rw-r--r--. 1 root root     9954 Jun 10 20:10 out.6930

-rw-r--r--. 1 root root     9792 Jun 10 20:10 out.6931

-rw-r--r--. 1 root root     9477 Jun 10 20:10 out.6932

-rw-r--r--. 1 root root     8295 Jun 10 20:10 out.6933

-rw-r--r--. 1 root root     1190 Jun 10 20:10 out.6934

-rw-r--r--. 1 root root   485668 Jun 10 20:10 out.6935

-rw-r--r--. 1 root root     2008 Jun 10 20:10 out.7023

-rw-r--r--. 1 root root 11152490 Jun 10 20:10 out.txt

可以看到

-rw-r--r--. 1 root root 50363725 Jun 10 20:10 out.6917

是主线程生成的系统调用，查看这个文件，可以看到，系统调用write的次数很多

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

write(4, "123456789\n", 10)             = 10

切换成带buffer的执行，大约执行10秒

./mysh.sh 1

同样可以通过ll查看

[root@io io]# ll

total 388808

-rwxr-xr-x. 1 root root       106 Jun 10 19:25 mysh.sh

-rw-r--r--. 1 root root      3981 Jun 10 20:17 OSFileIO.class

-rw-r--r--. 1 root root      4587 Jun 10 19:29 OSFileIO.java

-rw-r--r--. 1 root root      9526 Jun 10 20:18 out.7053

-rw-r--r--. 1 root root   3262847 Jun 10 20:18 out.7054

-rw-r--r--. 1 root root      1076 Jun 10 20:18 out.7055

-rw-r--r--. 1 root root       885 Jun 10 20:18 out.7056

-rw-r--r--. 1 root root       885 Jun 10 20:18 out.7057

-rw-r--r--. 1 root root       948 Jun 10 20:18 out.7058

-rw-r--r--. 1 root root       983 Jun 10 20:18 out.7059

-rw-r--r--. 1 root root       948 Jun 10 20:18 out.7060

-rw-r--r--. 1 root root       885 Jun 10 20:18 out.7061

-rw-r--r--. 1 root root      1099 Jun 10 20:18 out.7062

-rw-r--r--. 1 root root      3812 Jun 10 20:18 out.7063

-rw-r--r--. 1 root root      1259 Jun 10 20:18 out.7064

-rw-r--r--. 1 root root      1245 Jun 10 20:18 out.7065

-rw-r--r--. 1 root root      2337 Jun 10 20:18 out.7066

-rw-r--r--. 1 root root      6415 Jun 10 20:18 out.7067

-rw-r--r--. 1 root root      5486 Jun 10 20:18 out.7068

-rw-r--r--. 1 root root      6347 Jun 10 20:18 out.7069

-rw-r--r--. 1 root root      4972 Jun 10 20:18 out.7070

-rw-r--r--. 1 root root      1008 Jun 10 20:18 out.7071

-rw-r--r--. 1 root root     25438 Jun 10 20:18 out.7072

-rw-r--r--. 1 root root      2071 Jun 10 20:18 out.7073

-rw-r--r--. 1 root root 394725240 Jun 10 20:18 out.txt

其中

-rw-r--r--. 1 root root   3262847 Jun 10 20:18 out.7054

为主线程的系统调用，打开这个文件可以看到

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190

不是每次写都调用系统的write，而是凑齐8190后再调用一次系统的write，所以速度更快。

源码：Github

Java IO学习笔记一：为什么带Buffer的比不带Buffer的快的更多相关文章

Java IO学习笔记二：DirectByteBuffer与HeapByteBuffer
作者:Grey 原文地址:Java IO学习笔记二:DirectByteBuffer与HeapByteBuffer ByteBuffer.allocate()与ByteBuffer.allocateD ...
Java IO学习笔记六：NIO到多路复用
作者:Grey 原文地址:Java IO学习笔记六:NIO到多路复用虽然NIO性能上比BIO要好,参考:Java IO学习笔记五:BIO到NIO 但是NIO也有问题,NIO服务端的示例代码中往往会包 ...
Java IO学习笔记五：BIO到NIO
作者:Grey 原文地址: Java IO学习笔记五:BIO到NIO 准备环境准备一个CentOS7的Linux实例: 实例的IP: 192.168.205.138 我们这次实验的目的就是直观感受一 ...
Java IO学习笔记七：多路复用从单线程到多线程
作者:Grey 原文地址:Java IO学习笔记七:多路复用从单线程到多线程在前面提到的多路复用的服务端代码中, 我们在处理读数据的同时,也处理了写事件: public void readHandl ...
Java IO学习笔记八：Netty入门
作者:Grey 原文地址:Java IO学习笔记八:Netty入门多路复用多线程方式还是有点麻烦,Netty帮我们做了封装,大大简化了编码的复杂度,接下来熟悉一下netty的基本使用. Netty+ ...
Java IO学习笔记：概念与原理
Java IO学习笔记:概念与原理一.概念 Java中对文件的操作是以流的方式进行的.流是Java内存中的一组有序数据序列.Java将数据从源(文件.内存.键盘.网络)读入到内存中,形成了 ...
Java IO学习笔记总结
Java IO学习笔记总结前言前面的八篇文章详细的讲述了Java IO的操作方法,文章列表如下基本的文件操作字符流和字节流的操作 InputStreamReader和OutputStreamW ...
Java IO学习笔记三
Java IO学习笔记三在整个IO包中,实际上就是分为字节流和字符流,但是除了这两个流之外,还存在了一组字节流-字符流的转换类. OutputStreamWriter:是Writer的子类,将输出的 ...
Java IO学习笔记二
Java IO学习笔记二流的概念在程序中所有的数据都是以流的方式进行传输或保存的,程序需要数据的时候要使用输入流读取数据,而当程序需要将一些数据保存起来的时候,就要使用输出流完成. 程序中的输入输 ...

随机推荐

Dalvik模式下System.loadLibrary函数的执行流程分析
本文博客地址:http://blog.csdn.net/qq1084283172/article/details/78212010 Android逆向分析的过程中免不了碰到Android so被加固的 ...
hdu4911 简单树状数组
题意: 给你一串数字,然后给你最多进行k次交换(只能交换相邻的)问交换后的最小逆序数是多少. 思路: 首先要知道的一个就是给你一个序列,每次只能交换相邻的位置,把他交换成一个递增序 ...
Windows核心编程笔记之处理字符串
0x01 ANSI 和宽字符定义 // ANSI 字符定义 CHAR varChar_1 = 'a'; // #typedef char CHAR CHAR varChar_2[] = "A ...
【JavaScript】Leetcode每日一题-平方数之和
[JavaScript]Leetcode每日一题-平方数之和 [题目描述] 给定一个非负整数 c ,你要判断是否存在两个整数 a 和 b,使得 a2 + b2 = c . 示例1: 输入:c = 5 ...
日期格式化时注解@DateTimeFormat无效的问题分析
作者:汤圆个人博客:javalover.cc 背景有时候我们在写接口时,需要把前台传来的日期String类型转为Date类型这时我们可能会用到@DateTimeFormat注解在请求数据为非J ...
MFC的六大机制
MFC的六大机制程序的初始化过程运行时类型识别动态创建永久保存消息映射命令传递运行时类型识别 MFC的运行时类型识别就是在程序运行过程中判断某个对象是否属于某个类,MFC通过为需要进行运 ...
从0开始fastjson漏洞分析2
从0开始fastjson漏洞分析https://www.cnblogs.com/piaomiaohongchen/p/14777856.html 有了前文铺垫,可以说对fastjson内部机制和fas ...
快速熟悉windows操作
快捷键 win + E : 打开我的电脑 Ctrl+Shift+Esc:打开资源管理器 Alt +F4 :关闭当前窗口 Win + R:打开命令窗口 DOS 命令打开CMD 的方式 Win+R:输入 ...
golang：正则表达式总结
正则表达式是一种进行模式匹配和文本操纵的复杂而又强大的工具.虽然正则表达式比纯粹的文本匹配效率低,但是它却更灵活.按照它的语法规则,随需构造出的匹配模式就能够从原始文本中筛选出几乎任何你想要得到的字符 ...
[Java] Structs
背景基于MVC的WEB框架在表示层过滤访问请求并处理步骤在eclipse中创建Web动态项目导入相关jar包到WEB-INF/lib 在WEB-INF目录下新建web.xml,配置Filte ...

Java IO学习笔记一：为什么带Buffer的比不带Buffer的快

Java IO学习笔记一：为什么带Buffer的比不带Buffer的快的更多相关文章

随机推荐

热门专题