linux硬件资源问题排查：cpu负载、内存使用情况、磁盘空间、磁盘IO

　　在使用过程中之前正常的功能，突然无法使用，性能变慢，通常都是资源消耗问题，资源消耗可以从以下几个方面去排查。对于已经安装硬件资源监控软件（zabbix）的环境，直接使用硬件资源监控软件(zabbix)，检查服务器的资源消耗情况，在没有安装zabbix的环境，主要排查的资源包括CPU负载、内存使用情况、磁盘空间、磁盘IO等。

1.1.1 cpu负载

　　cpu负载就是cpu在一段时间内正在处理以及等待cpu处理的进程数之和的统计信息，也就是cpu使用队列的长度统计信息，这个数字越小越好。

　　使用top指令将会输出如下结果

　　load average代表CPU的平均负载值，示例中的load average: 1.30, 1.27,1.28分别表示当前CPU在1分钟、5分钟和15分钟内的平均负载。对于单核cpu，一旦大于1，就说明job得不到及时调度，系统性能将会受到影响。对于2核心来说，该值大于2才说明cpu忙不过来。

　　在top指令输出结果后，输入P，将进程按%cpu降序排列，查看哪些进程在大量占用cpu，输入M，将进程按%MEM降序排列，查看哪些进程在大量占用内存。

1.1.2 内存使用情况

　　使用free -h查看内存使用情况。

# free -h

              total        used        free      shared  buff/cache   available

Mem:            15G         12G        295M         38M        .8G        .6G

Swap:          .9G        416M        .5G

　　total表示系统总的可用物理内存大小，used表示已经使用的物理内存大小，available可以被应用程序使用的物理内存大小，当可使用的物理内存大小较小时，结合top指令，查看哪些应用程序占用的大量内存。

1.1.3 磁盘空间

　　使用df -h查看系统的磁盘使用情况。

# df -h                    

文件系统        容量  已用  可用 已用% 挂载点

/dev/sda2        50G   24G   27G   % /

devtmpfs        .8G       .8G    % /dev

tmpfs           .8G   28K  .8G    % /dev/shm

tmpfs           .8G   37M  .8G    % /run

tmpfs           .8G       .8G    % /sys/fs/cgroup

/dev/sdb2        40G  .8G   36G   % /var/scs

/dev/sdc2        30G   20G   11G   % /home

/dev/sda1       494M  208M  287M   % /boot

/dev/sdc1       249G  108G  142G   % /home/sdc

/dev/sdb1       239G  133G  107G   % /home/sdb

/dev/sda5       220G  101G  120G   % /home/sda

tmpfs           .6G  .0K  .6G    % /run/user/

tmpfs           .6G   32K  .6G    % /run/user/

　　对于磁盘使用情况，主要关注已用%，已用%大于80%后要开始清理无效日志、不在使用的安装包等。

　　已用%较大的挂载点，使用du -sh 挂载点/*，查看挂载点内个文件、目录的实际大小。

# du -sh /home/*

20K     /home/bats

0       /home/data

127M    /home/dba

85M     /home/dba1.5.5

9.5G    /home/dbus

23M     /home/dbus_processor

4.0M    /home/hcloud

65M     /home/kafka

13M     /home/log.tmp

188K    /home/lost+found

93M     /home/ltest

1.1.4 磁盘IO

　　使用iostat -x 5查看磁盘IO使用情况。

# iostat -x 

Linux 3.10.-957.5..el7.x86_64 (node9)         2020年04月09日  _x86_64_        ( CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          27.61    0.03    3.72    0.12    0.00   68.52

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util

sdb               0.01     0.05    5.46    6.23   166.86   351.76    88.76     0.04    3.02    2.45    3.52   0.31   0.36

sda               2.28     5.02    1.24   28.60    36.80   658.85    46.63     0.01    0.24    3.89    0.08   0.12   0.35

sdc               0.01     0.03    0.33    1.07     2.61     8.68    16.14     0.00    0.62    2.50    0.03   0.43   0.06

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

           3.32    0.00    4.50    0.00    0.00   92.18

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util

sdb               0.00     0.00    0.00    3.60     0.00    56.00    31.11     0.00    0.00    0.00    0.00   0.00   0.00

sda               0.00     0.20    0.00   32.40     0.00   669.60    41.33     0.00    0.06    0.00    0.06   0.04   0.14

sdc               0.00     0.00    0.00    0.60     0.00     2.40     8.00     0.00    0.00    0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

           4.18    0.00    5.25    0.00    0.00   90.57

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util

sdb               0.00     0.20    0.00    7.80     0.00   138.40    35.49     0.00    0.05    0.00    0.05   0.05   0.04

sda               0.00     0.00    0.00   29.40     0.00   952.00    64.76     0.00    0.07    0.00    0.07   0.03   0.08

sdc               0.00     0.00    0.00    1.40     0.00    12.80    18.29     0.00    0.00    0.00    0.00   0.00   0.00

重点关注参数：

1、iowait% 表示CPU等待IO时间占整个CPU周期的百分比，如果iowait值超过50%，或者明显大于%system、%user以及%idle，表示IO可能存在问题。

2、avgqu-sz 表示磁盘IO队列长度，即IO等待个数。

3、await 表示每次IO请求等待时间，包括等待时间和处理时间

4、svctm 表示每次IO请求处理的时间

5、%util 表示磁盘忙碌情况，一般该值超过80%表示该磁盘可能处于繁忙状态。

pidstat -d 3命令查看进程占用磁盘IO的情况

kB_rd/s: 每秒进程从磁盘读取的数据量(以kB为单位)

kB_wr/s: 每秒进程向磁盘写的数据量(以kB为单位)

# pidstat -d  

Linux 3.10.-957.5..el7.x86_64 (node9)         2020年04月09日  _x86_64_        ( CPU)

13时35分30秒   UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s  Command

13时35分33秒                 0.00      1.29      0.00  dockerd

13时35分33秒                 0.00     45.31      0.00  loop0

13时35分33秒                 0.00      1.29      0.00  rsyslogd

13时35分33秒                 0.00      2.59      0.00  java

13时35分33秒                 0.00      2.59      0.00  java

13时35分33秒                0.00      1.29      0.00  java

13时35分33秒               0.00    132.04      0.00  mysqld

13时35分33秒                0.00      1.29      0.00  java

13时35分33秒                0.00      1.29      0.00  java

13时35分33秒                0.00      3.88      0.00  java

13时35分33秒                0.00      1.29      0.00  java