如何理解iowait

Linux中，%iowait 过高可能是个问题，严重的时候，它能使服务停止，但问题是，多高才算高？什么时候应该担心呢？

本文将讨论 iowait 的含义、相关的统计数据、原理以及 iowait的瓶颈问题

什么是 iowait

Linux 中的解释

Show the percentage of time that the CPU or CPUs were idle during which the system had an outstanding disk I/O request.

iowait 指在一个采样周期内有百分之几的时间是属于以下情况：CPU处于空闲状态并且至少有一个未完成的磁盘IO请求

每个CPU 可以处于以下状态之一: user, sys, idle, iowait , 我们通过 iostat工具可以看到这几个状态的值，它们都是以百分比的形式显示的，CPU 是在这几个状态之间切换，所以这几个值总和是 100%

需要说明一点，上图中的 %sys, %user, %idle, %iowait 的百分比值都是针对所有的 CPU 来说的，统计的是全局的信息，并不是指单个进程的数据

根据 iowait的定义可知， iowait是属于 idle的一个子类，为了便于理解，可以把 iowait 当成一种等待 IO 造成的 idle状态

原理

在内核中，user, sys, idle, iowait 四种状态，每个状态都有一个计数器，一个采样周期内统计每个状态的计数器，最后计算每个计数器占总计数的百分比，结果就是每个状态所占的百分比

当发生时钟中断的时候，内核会检查 CPU 当前的状态，如果 CPU 正在执行内核空间的指令，则 sys 的计数器加 1 ，如果是用户空间的指令，则 user 的计数器加 1

如果 CPU 此时处于 idle 状态，内核会做以下检查

1、是否存在从该 CPU 发起的一个未完成的本地磁盘IO请求

2、是否存在从该 CPU 发起的网络磁盘挂载的操作

如果存在以上任一情况，则 iowait 的计数器加 1，如果都没有，则 idle 的计数器加 1

当使用 iostat 工具时，它会读取上述四种计数器的值，间隔玩家指定的秒数后，再次读取计数器的值，取两次的差值就得到了采样周期内计的增量值，我们知道，Linux下每一个时钟 tick 是 10ms，根据间隔的秒数，就可以得到间隔了多少个时钟，而计数器是在每次时钟中断时进行计数，所以用每种状态的计数器的增量值除以总间隔时钟数，就能得到每种状态所占时间的百分比

假如间隔时间是 1s，则共有 100 个时钟，假如 sys 计数为 2, user 计数为 3，iowait 计数为 0 ， idle 计数为 95，则它们的百分比依次为：2%、 %3、 0%、 95%

iowait 常见的误解

有些同学可能对 iowait 的理解有偏差，常见的误解大概有以下几点

iowait 表示等待IO完成，在此期间 CPU 不能接受其他任务

从上面 iowait 的定义可以知道，iowait 表示 CPU 处于空闲状态并且有未完成的磁盘 IO 请求，也就是说，iowait 的首要条件就是 CPU 空闲，既然空闲就能接受任务，只是当前没有可运行的任务，才会处于空闲状态的，为什么没有可运行的任务呢？有可能是正在等待一些事件，比如：磁盘IO、键盘输入或者等待网络的数据等

iowait 高表示 IO 存在瓶颈

由于 Linux 文档对 iowait 的说明不多，这点很容易产生误解，iowait 第一个条件是 CPU 空闲，也即所有的进程都在休眠，第二个条件是有未完成的 IO 请求

这两个条件放到一起很容易产生下面的理解：进程休眠的原因是为了等待 IO 请求完成，而 %iowait 变高说明进程因等待IO 而休眠的时间变长了，或者因等待IO而休眠的进程数量变多了初一听，似乎很有道理，但实际是不对的

iowait 升高并不一定会导致等待IO进程的数量变多，也不一定会导致等待IO的时间变长，我们借助下面的图来理解

上图中，红色表示 CPU繁忙，绿色表示 CPU 空闲

一个周期内，两个 IO 依次提交，左图的 CPU 一直处于繁忙状态，所以 %iowait 为 0%，右边的 CPU 繁忙时间只有左边的一半儿，另一半时间是空闲时间，因此 %iowait 为 50%，可以看到，IO 并没有变化，%iowait 确升高了，其实是因为 CPU 空闲时间增加了而已

上图中，一个周期内，CPU 一直处于空闲状态，两个 IO 依次提交，整个周期内始终有 IO 再进行，所以 %iowait 为 100%

假如系统有能力同时处理多个 IO，现在两个 IO 同时提交

可以看到，系统处理两个并发 IO 只需要一半儿的时间，此时， %iowait 变成了 50%，其实，如果系统能同时处理 3 个并发 IO 的话，%iowait 依然为 50%

所以，%iowait 的高低与 IO 的多少没有必然的关系，而是与 IO 的并发度相关，仅根据 %iowait 的上升是不能确定 IO 负载增加的结论

如何确定磁盘IO的瓶颈

通过前面的讲述，可以发现 %iowait 包含的信息量还不足以判断出磁盘IO 是否存在瓶颈

当 %iowait 升高，还需要检查下 IO 量是否有明显增加以及avgrq-sz、avgqu-sz r_await、 w_await 等指标有没有增加，实际的操作以及应用有没有明显的变慢，如果都没有的话，应该没什么问题

avgrq-sz:  向设备发出请求的平均大小（单位：扇区）

avgqu-sz: 向设备发出请求的队列平均长度

r_await:   向服务设备发出读取请求的平均时间（单位：毫秒）

           包括请求入队的时间以及设备处理请求的时间

w_await:  向服务设备发出写请求的平均时间（单位：毫秒）

           包括请求入队的时间以及设备处理请求的时间

小结

把 %iowait的值作为判断 IO 性能的指标，可能有用，也可能没用，但是它的能告诉我们系统是否还能处理更多的计算任务，例如：当 iowait 很高时，说明空闲的 CPU 资源较多，还能处理一些计算相关的工作，也就是说，iowait 是 CPU 空闲时间的一种表现形式