[转帖]Linux磁盘I/O（一）：Cache，Buffer和sync

`Cache`和`Buffer`的区别

磁盘是一个块设备，可以划分为不同的分区；在分区之上再创建文件系统，挂载到某个目录，之后才可以在这个目录中读写文件。Linux 中“一切皆文件”，我们平时查看的“文件”是普通文件，磁盘是块设备文件，我们可以通过执行 “ls -l <路径>” 查看它们的区别：

$ ls -l /bin/pwd

-rwxr-xr-x 1 root root 31472 3月   3  2017 /bin/pwd

$ ls -l /dev/sda1

brw-rw---- 1 root disk 8, 1 5月  28 14:04 /dev/sda1

第一个符号是“-”表示普通文件，“b”表示块设备文件。在读写普通文件时，会经过文件系统，由文件系统负责与磁盘交互，使用的缓存是Cache（也就是Page Cache）；而读写磁盘或者分区时，就会跳过文件系统，也就是所谓的“裸I/O“，使用的缓存是Buffer（也就是Block Buffer）。

同步`I/O`：`sync`函数和命令

当将数据写入普通文件时，Linux内核通常先将该数据复制到其中一个Cache中，如果该Cache尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该Cache以便存放其他磁盘块数据时，再将该Cache排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写（delayed write）。
延迟写减少了磁盘读写次数，但是却降低了文件内容的更新速度，使得欲写到文件中的数据在一段时间内并没有写到磁盘上。当系统发生故障时，这种延迟可能造成文件更新内容的丢失。为了保证磁盘上实际文件系统与Cache内容的一致性，Linux系统提供了sync(2)函数。通常称为update的系统守护进程会周期性地（一般每隔30秒）调用sync函数。这就保证了定期冲洗内核的块缓冲区。命令sync(1)也调用sync(2)函数。我们通过man命令来查看下sync(1)命令：

$ man 1 sync

NAME

       sync - Synchronize cached writes to persistent storage

sync(1)命令的作用是同步Cache写入到磁盘，接下来我们来查看下改命令调用的sync(2)函数：

$ man 2 sync

NAME

       sync, syncfs - commit buffer cache to disk

BUGS

       According  to the standard specification (e.g., POSIX.1-2001), sync() schedules the writes, but may return before the actual writing is done.  However, since version 1.3.20 Linux does actually wait.  (This still does not guarantee data integrity: modern disks have large caches.)

sync(2)函数当然也是同步Cache写入到磁盘。不过我们可以看到POSIX.1-2001规定该函数只是将所有修改过的块缓冲区排入写队列，然后就返回，它并不等待实际写磁盘操作结束。但是在最新的Linux中，该函数需要等待实际写磁盘操作结束才返回。通常我们往U盘拷贝大文件后，可以通过如下命令查看数据同步到U盘的过程：

$ sync &

$ watch -d grep -e Dirty: /proc/meminfo

一开始Dirty数字会很大，接下来我们看到在sync(1)完成的同时接近0。

文章知识点与官方知识档案匹配，可进一步学习相关知识

CS入门技能树Linux入门初识Linux31175 人正在系统学习中