blktrace 深度了解linux系统的IO运作

http://blog.yufeng.info/archives/751

我们在Linux上总是要保存数据的，数据要么保存在文件系统里(如ext3)，要么就在裸设备里面。我们在使用这些数据的时候都是通过文件这个抽象来访问的，操作系统会把我们需要的数据给我们，我们通常无需和块设备打交道。

从下图我们可以很清楚的看到：

我们会发现IO是个层次很深的子系统，有很复杂的数据流动线路。

至于操作系统如何去存储和获取这些数据对我们完全是黑盒子的，这通常不是问题。但是如果我们的IO很密集，我们就需要搞清楚IO具体是如何运作的，免的滥用IO和导致设计问题。

这时候你就需要blktrace这样的工具。

blktrace is a block layer IO tracing mechanism which provides detailed information about request queue operations up to user space.

它的作者Jens Axboe， 是内核IO模块的维护者，目前就职于FusionIO, 是个很nice的家伙，同时他还是著名IO评测工具fio的作者。

相关的文档：
users guide: http://pdfedit.petricek.net/bt/file_download.php?file_id=17&type=bug

HP的人写的指南：http://www.gelato.org/pdf/apr2006/gelato_ICE06apr_blktrace_brunelle_hp.pdf

CU上的小伙子写的： http://linux.chinaunix.net/bbs/viewthread.php?tid=1115851&extra=&ordertype=2

目前blktrace在大部分的Linux发行版都支持的，我们可以轻松的安装使用：

$ sudo yum install blktrace

$ sudo  blktrace /dev/sda5 -o - | blkparse -i -   

  ,                 0.000000000       C   W  +  []
  ,                 0.000040884    A   W  +  <- (,)
  ,                 0.000041214    Q   W  +  [(null)]
  ,                 0.000045947    G   W  +  [(null)]
  ,                 0.000046707    P   N [(null)]
  ,                 0.000047073    I   W  +  [(null)]
  ,                 0.000048282    A   W  +  <- (,)
  ,                 0.000048357    Q   W  +  [(null)]
  ,                 0.000049137    M   W  +  [(null)]
  ,                0.000050167    A   W  +  <- (,)
  ,                0.000050241    Q   W  +  [(null)]
  ,                0.000050417    M   W  +  [(null)]
  ,                0.000050984    A   W  +  <- (,)
  ,                0.000051047    Q   W  +  [(null)]
  ,                0.000051258    M   W  +  [(null)]
  ,                0.000051829    U   N [(null)]
  ,                0.000052699    D   W  +  [(null)]
  ,                0.000108292       C   W  +  []
  ,                0.000127791    A   W  +  <- (,)
  ,                0.000128001    Q   W  +  [(null)]
  ,                0.000128874    G   W  +  [(null)]
  ,                0.000129373    P   N [(null)]
  ,                0.000129706    I   W  +  [(null)]
  ,                0.000130551    U   N [(null)]
  ,                0.000131330    D   W  +  [(null)]
  ,                0.000172705       C   W  +  []
  ,            1266874889.709337223    A   W  +  <- (,)
  ,            1266874889.709338011    Q   W  +  [kjournald]
  ,            1266874889.709343974    G   W  +  [kjournald]
  ,            1266874889.709346653    P   N [kjournald]
  ,            1266874889.709347728    I   W  +  [kjournald]
  ,            1266874889.709350795    U   N [kjournald]
  ,            1266874889.709355396    D   W  +  [kjournald]
  ,                0.504685570    A   W  +  <- (,)
  ,                0.504686212    Q   W  +  [kjournald]
  ,                0.504690614    G   W  +  [kjournald]
  ,                0.504691826    P   N [kjournald]
  ,                0.504692896    I   W  +  [kjournald]
  ,                0.504694268    A   W  +  <- (,)
  ,                0.504694448    Q   W  +  [kjournald]
  ,                0.504695115    M   W  +  [kjournald]
  ,                0.504696227    A   W  +  <- (,)
  ,               0.504696357    Q   W  +  [kjournald]
  ,               0.504696615    M   W  +  [kjournald]
  ,               0.504697422    A   W  +  <- (,)
  ,               0.504697565    Q   W  +  [kjournald]
  ,               0.504697787    M   W  +  [kjournald]
  ,               0.504698549    A   W  +  <- (,)
  ,               0.504698677    Q   W  +  [kjournald]
  ,               0.504698939    M   W  +  [kjournald]
  ,               0.504699954    U   N [kjournald]
  ,               0.504704050    D   W  +  [kjournald]
  ,                0.504810390       C   W  +  []
  ,                0.504842324    A   W  +  <- (,)
  ,                0.504842594    Q   W  +  [kjournald]
  ,                0.504844133    G   W  +  [kjournald]
  ,                0.504845233    P   N [kjournald]
  ,                0.504845703    I   W  +  [kjournald]
  ,                0.504846958    U   N [kjournald]
  ,                0.504848547    D   W  +  [kjournald]
  ,                0.504879109       C   W  +  []
CPU2 (,):
 Reads Queued:           ,        0KiB  Writes Queued:           ,       24KiB
 Read Dispatches:        ,        0KiB  Write Dispatches:        ,       24KiB
 Reads Requeued:                        Writes Requeued:
 Reads Completed:        ,        0KiB  Writes Completed:        ,       48KiB
 Read Merges:            ,        0KiB  Write Merges:            ,       12KiB
 Read depth:                            Write depth:
 IO unplugs:                            Timer unplugs:
CPU13 (,):
 Reads Queued:           ,        0KiB  Writes Queued:           ,        4KiB
 Read Dispatches:        ,        0KiB  Write Dispatches:        ,        4KiB
 Reads Requeued:                        Writes Requeued:
 Reads Completed:        ,        0KiB  Writes Completed:        ,        0KiB
 Read Merges:            ,        0KiB  Write Merges:            ,        0KiB
 Read depth:                            Write depth:
 IO unplugs:                            Timer unplugs:
CPU21 (,):
 Reads Queued:           ,        0KiB  Writes Queued:           ,       20KiB
 Read Dispatches:        ,        0KiB  Write Dispatches:        ,       20KiB
 Reads Requeued:                        Writes Requeued:
 Reads Completed:        ,        0KiB  Writes Completed:        ,        0KiB
 Read Merges:            ,        0KiB  Write Merges:            ,       16KiB
 Read depth:                            Write depth:
 IO unplugs:                            Timer unplugs:           

Total (,):
 Reads Queued:           ,        0KiB  Writes Queued:          ,       48KiB
 Read Dispatches:        ,        0KiB  Write Dispatches:        ,       48KiB
 Reads Requeued:                        Writes Requeued:
 Reads Completed:        ,        0KiB  Writes Completed:        ,       48KiB
 Read Merges:            ,        0KiB  Write Merges:            ,       28KiB
 IO unplugs:                            Timer unplugs:           

Throughput (R/W): 0KiB/s / 95KiB/s
Events (,):  entries
Skips:  forward ( -   0.0%)

利用这些信息我们可以很清楚的知道我们IO设备在做什么，花了多少时间，透过它了解我们系统的运作。如何解读这些信息我们可以看手册有详细的解释：

$ man blkparse

同时如果你觉得这些信息太原始，类似btt, seekwatcher这样的工具在blktrace的信息的基础上更深入的挖掘了系统的行为，使用起来也更简单。

我们在实际工作的过程中用blktrace定位了很多问题，比如fsync的延时问题和IO调度器的问题，确实是很实用的一个工具。

祝大家玩的开心。