Linux 有许多可用来查找问题的简单工具，也有许多是更高级的

I/O Wait 就是一个需要使用高级的工具来debug的问题，当然也有许多基本工具的高级用法。I/O wait的问题难以定位的原因是因为我们有很多工具可以告诉你说I/O 受限了，但是并没有告诉你具体是那个进程引起的（哪些进程们）

确认是否是I/O问题导致系统缓慢

确认是否是I/O导致的系统缓慢我们可以使用多个命令，但是，最简单的是unix的命令 top

[root@localhost ~]# top

top - 15:19:26 up  6:10,  4 users,  load average: 0.00, 0.01, 0.05

Tasks: 147 total,   1 running, 146 sleeping,   0 stopped,   0 zombie

%Cpu(s):  0.0 us,  0.3 sy,  0.0 ni, 99.7 id,  96.0 wa,  0.0 hi,  0.0 si,  0.0 st

KiB Mem :   999936 total,   121588 free,   328672 used,   549676 buff/cache

KiB Swap:  2097148 total,  2095792 free,     1356 used.   450460 avail Mem

从Cpu一行我们可以看到浪费在I/O Wait上的CPU百分比；这个数字越高说明越多的CPU资源在等待I/O权限

wa -- iowait

 AmountoftimetheCPUhasbeenwaitingfor I/O to complete.

查找哪块磁盘正在被写入

上边的top命令从一个整体上说明了I/O wait，但是并没有说明是哪块磁盘影响的，想知道是哪块磁盘引发的问题，我们用到了另外一个命令 iostat 命令

[root@localhost ~]# iostat -x 2 5

Linux 3.10.0-514.el7.x86_64 (localhost.localdomain)     2017年03月03日     _x86_64_    (1 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

           0.34    0.00    0.31    0.01    0.00   99.33

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util

sda               0.00     0.05    1.16    0.17    39.00    17.38    84.60     0.00    2.17    0.87   11.14   0.65   111.41

scd0              0.00     0.00    0.00    0.00     0.00     0.00     8.00     0.00    0.64    0.64    0.00   0.64   0.00

dm-0              0.00     0.00    1.10    0.20    37.85    17.21    84.71     0.00    2.43    0.90   10.88   0.66   0.09

dm-1              0.00     0.00    0.01    0.02     0.07     0.08     9.70     0.00    1.42    0.27    2.05   0.09   0.00

上边的例子中，iostat 会每2秒更新一次，一共打印5次信息， -x 的选项是打印出扩展信息

第一个iostat 报告会打印出系统最后一次启动后的统计信息，这也就是说，在多数情况下，第一个打印出来的信息应该被忽略，剩下的报告，都是基于上一次间隔的时间。举例子来说，这个命令会打印5次，第二次的报告是从第一次报告出来一个后的统计信息，第三次是基于第二次 ，依次类推

在上面的例子中，sda的%utilized 是111.41%，这个很好的说明了有进程正在写入到sda磁盘中。

除了%utilized 外，我们可以得到更丰富的资源从iostat，例如每毫秒读写请求（rrqm/s & wrqm/s)），每秒读写的（(r/s & w/s)，当然还有更多。在上边的例子中，我们的项目看起来正在读写非常多的信息。这个对我们查找相应的进程非常有用

查找引起高I/O wait 对应的进程 

[root@localhost ~]# iotop

Total DISK READ :    0.00 B/s | Total DISK WRITE :       0.00 B/s

Actual DISK READ:    0.00 B/s | Actual DISK WRITE:       0.00 B/s

   TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND

  1028 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % sshd

最简单的方式来发现罪魁祸首是使用命令iotop，通过查看iotop的统计信息，我们可以很容易的指导sshd就是罪魁祸首

虽然iotop是一个非常强大的工具，并且使用简单，但是它并不是默认安装在所有的linux操作系统中。并且我个人倾向不要太依赖那些默认没有安装的命令。一个系统管理员可能会发现他无法立即安装额外的除默认程序之外的软件，除非等到后边的维护的时间。

 查找哪个文件引起的I/Owait

lsof 命令可以展示一个进程打开的所有文件，或者打开一个文件的所有进程。从这个列表中，我们可以找到具体是什么文件被写入，根据文件的大小和/proc中io文件的具体数据

我们可以使用-p <pid>的方式来减少输出，pid是具体的进程

[root@localhost ~]# lsof -p 1028

COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF    NODE NAME

sshd    1028 root  cwd    DIR  253,0      233      64 /

sshd    1028 root  rtd    DIR  253,0      233      64 /

sshd    1028 root  txt    REG  253,0   819640 2393730 /usr/sbin/sshd

sshd    1028 root  mem    REG  253,0    61752  180464 /usr/lib64/libnss_files-2.17.so

sshd    1028 root  mem    REG  253,0    43928  180476 /usr/lib64/librt-2.17.so

sshd    1028 root  mem    REG  253,0    15688  269136 /usr/lib64/libkeyutils.so.1.5

sshd    1028 root  mem    REG  253,0    62744  482870 /usr/lib64/libkrb5support.so.0.1

sshd    1028 root  mem    REG  253,0    11384  180425 /usr/lib64/libfreebl3.so

sshd    1028 root  mem    REG  253,0   143352  180472 /usr/lib64/libpthread-2.17.so

sshd    1028 root  mem    REG  253,0   251784  202440 /usr/lib64/libnspr4.so

sshd    1028 root  mem    REG  253,0    20016  202441 /usr/lib64/libplc4.so

sshd    1028 root  mem    REG  253,0    15768  202442 /usr/lib64/libplds4.so

sshd    1028 root  mem    REG  253,0   182056  202443 /usr/lib64/libnssutil3.so

sshd    1028 root  mem    REG  253,0  1220240  650074 /usr/lib64/libnss3.so

sshd    1028 root  mem    REG  253,0   164048  650076 /usr/lib64/libsmime3.so

sshd    1028 root  mem    REG  253,0   276752  650077 /usr/lib64/libssl3.so

sshd    1028 root  mem    REG  253,0   121296  269112 /usr/lib64/libsasl2.so.3.0.0

sshd    1028 root  mem    REG  253,0   398264  202404 /usr/lib64/libpcre.so.1.2.0

sshd    1028 root  mem    REG  253,0  2116736  180446 /usr/lib64/libc-2.17.so

sshd    1028 root  mem    REG  253,0    15848  202439 /usr/lib64/libcom_err.so.2.1

sshd    1028 root  mem    REG  253,0   202568  482862 /usr/lib64/libk5crypto.so.3.1

sshd    1028 root  mem    REG  253,0   959008  482868 /usr/lib64/libkrb5.so.3.3

sshd    1028 root  mem    REG  253,0   324888  482858 /usr/lib64/libgssapi_krb5.so.2.2

sshd    1028 root  mem    REG  253,0   110632  180474 /usr/lib64/libresolv-2.17.so

sshd    1028 root  mem    REG  253,0    40640  180450 /usr/lib64/libcrypt-2.17.so

sshd    1028 root  mem    REG  253,0   113152  180456 /usr/lib64/libnsl-2.17.so

sshd    1028 root  mem    REG  253,0    90664  202424 /usr/lib64/libz.so.1.2.7

sshd    1028 root  mem    REG  253,0    14432  186432 /usr/lib64/libutil-2.17.so

sshd    1028 root  mem    REG  253,0    61872  766946 /usr/lib64/liblber-2.4.so.2.10.3

sshd    1028 root  mem    REG  253,0   344280  766948 /usr/lib64/libldap-2.4.so.2.10.3

sshd    1028 root  mem    REG  253,0    19344  180452 /usr/lib64/libdl-2.17.so

sshd    1028 root  mem    REG  253,0  2025472  482880 /usr/lib64/libcrypto.so.1.0.1e

sshd    1028 root  mem    REG  253,0    23968  202508 /usr/lib64/libcap-ng.so.0.0.0

sshd    1028 root  mem    REG  253,0   155744  202421 /usr/lib64/libselinux.so.1

sshd    1028 root  mem    REG  253,0    61672  539049 /usr/lib64/libpam.so.0.83.1

sshd    1028 root  mem    REG  253,0   122936  202512 /usr/lib64/libaudit.so.1.0.0

sshd    1028 root  mem    REG  253,0    42520  298848 /usr/lib64/libwrap.so.0.7.6

sshd    1028 root  mem    REG  253,0    11328  568388 /usr/lib64/libfipscheck.so.1.2.1

sshd    1028 root  mem    REG  253,0   155064  180439 /usr/lib64/ld-2.17.so

sshd    1028 root    0u   CHR    1,3      0t0    5930 /dev/null

sshd    1028 root    1u   CHR    1,3      0t0    5930 /dev/null

sshd    1028 root    2u   CHR    1,3      0t0    5930 /dev/null

sshd    1028 root    3u  IPv4  21185      0t0     TCP *:ssh (LISTEN)

sshd    1028 root    4u  IPv6  21194      0t0     TCP *:ssh (LISTEN)

为了更深入的确认这些文件被频繁的读写，我们可以通过如下命令来查看

[root@localhost ~]# df /tmp

文件系统               1K-块    已用     可用 已用% 挂载点

/dev/mapper/cl-root 17811456 3981928 13829528   23% /

从上面的命令结果来看，我们可以确定/tmp 是我们环境的逻辑磁盘的根目录

[root@localhost ~]# pvdisplay

  --- Physical volume ---

  PV Name               /dev/sda2

  VG Name               cl

  PV Size               19.00 GiB / not usable 3.00 MiB

  Allocatable           yes (but full)

  PE Size               4.00 MiB

  Total PE              4863

  Free PE               0

  Allocated PE          4863

  PV UUID               4QfaOy-DNSO-niK1-ayn2-K6AY-WZMy-9Nd2It

过pvdisplay我们能看到/dev/sda2其实就是我们用来创建逻辑磁盘的具体磁盘。通过以上的信息我们可以放心的说lsof的结果就是我们要查找的文件

iowait 过高问题的查找及解决linux的更多相关文章

  1. 使用blktrace排查iowait cpu高的问题

    本文转自这里,blktrace在这种情况下的使用方法值得借鉴学习. ------------------------------------------------------------------ ...

  2. mysql卡顿问题查找和解决方法

    mysql卡顿问题查找和解决方法 版权一.所遇问题        写在前边的废话:今天面试阿里的时候问到过类似问题,以前做调优的时候都是现查现用,缺乏总结,面试时答得也不好,今天趁此机会做一个梳理,知 ...

  3. [项目机会]citrix 虚拟桌面对于java等高CPU占用率如何解决

    citrix 虚拟桌面对于java等高CPU占用率如何解决 问题1:java等客户端对于虚拟桌面cpu影响较大,但是有些用户的确需要使用java支持的程序,是否可以通过其他途径来解决? 问题2:对于其 ...

  4. C#不用union，而是有更好的方式实现 .net自定义错误页面实现 .net自定义错误页面实现升级篇 .net捕捉全局未处理异常的3种方式 一款很不错的FLASH时种插件 关于c#中委托使用小结 WEB网站常见受攻击方式及解决办法 判断URL是否存在 提升高并发量服务器性能解决思路

    C#不用union,而是有更好的方式实现   用过C/C++的人都知道有个union,特别好用,似乎char数组到short,int,float等的转换无所不能,也确实是能,并且用起来十分方便.那C# ...

  5. 解决linux更新apt软件源时报出GPG错误

    今天给树莓派换源,爆出N个这错误: W: GPG error: http://mirrors.neusoft.edu.cn/raspbian/raspbian wheezy InRelease: Th ...

  6. 解决linux安装软件依赖的曲线救国方案

    相信大家在一台无法连接外网的linux上安装软件时,对于软件依赖的安装,都会特别头疼,因为软件依赖的安装,不论是其数量,还是安装的复杂度都比软件本身要高出一个维度! 今天就和大家分享一个,解决linu ...

  7. Linux 磁盘空间查询&&解决Linux 中“磁盘空间不足”的问题

    一.linux 查看目录的剩余空间大小 两个命令df .du结合比较直观 df -h 查看整台服务器的硬盘使用情况 du -lh --max-depth=1 : 查看当前目录下一级子文件和子目录占用的 ...

  8. 解决Linux下Firefox无法启动的问题

    在linux下使用Firefox连接被测系统的GUI,一次偶然操作导致linux系统运行缓慢,Firefox无法正常操作,从system monitor 杀掉所有java进程将Firefox强行关闭. ...

  9. 完美解决 Linux 下 Sublime Text 中文输入

    首先,我参考了好几篇文章,都是蛮不错的,先列出来: sublime-text-imfix:首先推荐这个方法,最简单,但是在我的系统上有些问题.可用这个的强烈推荐用这个 完美解决 Linux 下 Sub ...

随机推荐

  1. 设计模式的征途—4.抽象工厂（Abstract Factory）模式

    上一篇的工厂方法模式引入了工厂等级结构,解决了在原来简单工厂模式中工厂类职责太重的原则,但是由于工厂方法模式的每个工厂只生产一类产品,可能会导致系统中存在大量的工厂类,从而增加系统开销.那么,我们应该 ...

  2. .net core通过多路复用实现单服务百万级别RPS吞吐

    多路复用其实并不是什么新技术,它的作用是在一个通讯连接的基础上可以同时进行多个请求响应处理.对于网络通讯来其实不存在这一说法,因为网络层面只负责数据传输:由于上层应用协议的制订问题,导致了很多传统服务 ...

  3. IntelliJ IDEA上操作GitHub

    IntelliJ IDEA集成了对GitHub的支持,使上传代码到GitHub和从GitHub下载代码更加方便快捷. 一. 分享代码到GitHub 1.首先需要在IntelliJ配置Git,如果没有正 ...

  4. Spring 完美配置跨域请求

    在SpringBoot2.0 上的跨域 用以下代码配置 即可完美解决你的前后端跨域请求问题 import org.springframework.context.annotation.Bean; im ...

  5. 环境与工具2：建立高效的mac环境

    你的工作与生活离不开电脑,电脑是一个工具,也是一个环境.环境是不是绿水青山,是不是得心应手,这是很重要的事情.小程平时使用macbook来学习跟娱乐,最近重装了系统,很多环境与工具都需要重新组建. 那 ...

  6. Ansible快速上手

    ansible 是通过python 语言开发的自动化运维工具,可以实现批量系统设置.批量程序部署.批量执行命令等功能 下面是基于docker使用ansible测试示例,可以让新手快速上手使用 一.新建 ...

  7. 痞子衡嵌入式：常用的数据差错控制技术（2）- 奇偶校验(Parity Check)

    大家好,我是痞子衡,是正经搞技术的痞子.今天痞子衡给大家讲的是嵌入式里数据差错控制技术-奇偶校验. 在系列第一篇文章里,痞子衡给大家介绍了最简单的校验法-重复校验,该校验法实现简单,检错纠错能力都还不 ...

  8. Win10系统给文件夹添加备注

    在Win10系统中,相信大多用户都没有看到过文件或者是文件夹上有备注信息.下面给大家分享下在Win10系统中给文件夹或文件添加备注的方法.在添加备注之前,首先我们要在需要显示备注的文件夹中显示&quo ...

  9. append和appendTo的区别！

    今天在写dome的时候,碰到了一小点问题,就是我们想把一个小效果用jquery的办法添加到HTML页面中.我用的办法就是先在HTML中把代码写完,js和css同样写好并调试完成后.然后只保存外面最大的 ...

  10. Canvas：时钟

    这个时钟是将钟盘的圆心点移到了 canvas 画布中心点.以方便后面的方位计算 ctx.translate(width/2,height/2); 现定义一个圆盘来显出这个时钟的基本位置 ctx.sav ...