Linux 系统监控工具 atop

系统监控是运维工作中重要的一环，本文以 atop 工具为例来介绍系统的重要监控项。

atop可以使用yum或apt包管理器进行安装。atop man page 中详细说明了 atop 中各监控项含义及atop命令用法。

如上图所示, atop 的界面分为上半部分的系统监控项和下半部分的进程列表。

atop 每10s更新一次系统监控项以及在这段时间内状态发生变化的进程，按下A键可以查看全部进程。

• 系统状态
  • 进程
  • CPU
  • 内存
  • 磁盘
  • 网络
• 进程列表
  • 默认视图
  • 内存视图
  • 调度视图
• 监控服务

系统状态

进程

第一行PRC显示总体进程状况:

• sys, user 表示 CPU 在内核态和用户态的运行时间比例
• #proc 为当前总进程数,
  • #trun 表示 running 状态线程数
  • #tslpi 表示 sleeping interruptible 状态的进线程数
  • #tslpu 表示 sleeping uninterruptible 状态线程数
  • #zombie 表示僵尸进程数
• clones 表示在监控周期（默认10s）内 clone() 系统调用次数

linux 中进程有两种 sleep 状态:

• interruptible sleep: 进程接收系统信号，可以被系统信号中断
• uninterruptible sleep: 进程不接收系统信号，不可被系统信号中断，包括kill -9 (SIGKILL 信号)。此状态的进程通常在等待系统资源，如磁盘IO或网络IO。

一个进程使用fork创建子进程，如果子进程退出，而父进程并没有调用wait或waitpid获取子进程的状态信息，那么子进程的进程描述符仍然保存在系统中，这种进程称之为僵尸进程。大量僵尸进程可能会占用进程描述符空间导致无法创建进程。

孤儿进程是容易与僵尸进程混淆的一类进程，孤儿进程是父进程终止的进程，它们会被 init 进程接管并不会产生危害。

CPU

在 atop 中每个 CPU 逻辑核心拥有一个 cpu 行表示自身状态, 最前面的 CPU 行则展示系统总览。

• sys 表示CPU在内核态工作时间比例
• user 表示 CPU 在用户态工作时间比例
• irq 表示 CPU 处理系统中断所消耗的时间比例
• idle 表示 CPU 空闲时间比例

CPL 行表示 CPU 负载（CPU Load）:

• avg1, avg5, avg15: 过去 1min、5min和 15min 内的平均系统负载
• csw 表示监控周期内上下文切换的次数
• intr 表示监控周期内中断发生的次数

系统负载

CPU 负载或称为系统负载是一个容易被误解的监控项，它的定义为内核运行队列中 running 或 uninterruptible sleep 状态的进程的平均数与CPU计算能力的比值。

系统负载 1.0 说明CPU恰好满载，当系统负载大于1.0时会有进程因为等待CPU而阻塞。在多核系统中，系统负载等于CPU核心数表示恰好满载，如在上图所示双核系统中，load=2说明恰好满载。

上文已经说明，uninterruptible sleep 进程通常是在等待IO, 当网络异常或磁盘故障时会导致大量进程处于 uninterruptible sleep 状态从而导致 Load 急剧上升。

在常见的服务器程序大多数为IO密集型程序，常见的CPU密集型任务包括:

• 大规模的排序计算, 如 mysql filesort
• 大量的正则表达式匹配
• 大量的 Hash Code 计算
• 大规模的加解密或压缩解压计算

当我们发现 CPU 使用率上升时，我们可以优先考虑是否在上述CPU密集型任务。

内存

MEM 行描述内存使用情况:

• tot: 物理内存总量
• free: 空闲内存总量
• cache: 页缓存用量
• buff: 文件系统元数据缓存用量
• slab: 系统内核内存用量
• dirty: 需要写回磁盘的脏页用量，这部分内存使用已包含在cache中

页缓存是 Linux 处理文件IO的机制，由于磁盘的读写速度远远低于内存和CPU的运行速度，因此内核将文件映射为页缓存在内存中，CPU 读取文件时首先访问页缓存，若目标页未被缓存则会产生一个页缺失中断，中断处理器会从磁盘中读取文件加载到内存中，必要时会将不常用的页从内存中逐出。

与读取过程类似，CPU 不会直接写磁盘而是将更改写入相应的页，修改后的页就会成为脏页(dirty page), 脏页的内容会被异步地写入磁盘。

在一些文档中 buff 被笼统地称为文件系统缓存，在 man page 中 buff 的定义为 the amount of memory used for filesystem meta data 即文件系统元数据缓存。

PAG 行表示页缓存的使用情况:

• scan: 当可用内存不足时扫描的页数，这个值过高说明可用内存不足
• stall: 内核紧急将页加载到内存中的次数，这个值过高说明可用内存不足
• steal: 虚拟机相关指标
• swin: 从 Swap 分区将页加载到内存的次数
• swout: 将内存页写入 Swap 分区的次数

scan 和 steal 的解释比较难理解，附上 man page 中的原文:

This line contains the number of scanned pages ('scan') due to the fact that free memory drops below a particular threshold and the number times that the kernel tries to reclaim pages due to an urgent need ('stall')

SWP 行表示 Swap 分区使用状态:

• tot: Swap 分区总大小
• free: Swap 分区空闲空间大小

当物理内存不足时，内核会将进程内存中不常用的页逐出内存写入磁盘中的 Swap 分区，当进程需要读取这些页时再将它们从磁盘中加载到内存。

磁盘

DSK 列描述磁盘使用情况:

• vda: 该列为磁盘设备名，每个设备拥有一行
• busy: 设备处理IO请求的时间占比
• read: 监控周期内读请求数
• write: 监控周期内写请求数
• KiB/r: 每次读请求的平均数据量
• KiB/w: 每次写请求的平均数据量
• MBr/s: 每秒读取的数据量
• MBw/s: 每秒写入的数据量
• avq: io 队列的平均长度
• avio: 单次读写请求需要的毫秒数

网络

网络层通常包含 transport、network、 eth 和 lo 行， 分别表示传输层、网络层、以太网（数据链路层）和本地回环的监控指标。

• tcpi/udpi/ipi: 接收的 tcp/udp/ip 数据包
• tcpo/udpo/ipo : 发出的 tcp/udp/ip 数据包
• tcpao: 主动建立的tcp连接数(active open)
• tcppo: 被动建立的tcp连接数(passive open), 即通过 listen() 建立的连接数
• tcprs: tcp 重传次数
• tcpie: 读取时发生错误的次数

进程列表

进程列表有多个视图分别展示不同方面的数据:

• 默认视图(Generic information): 按G键回到默认视图
• 内存视图(Memory information): 按M键进入内存视图，显示进程的内存占用情况
• 命令行视图(Command Line information): 按C键进入命令行视图，显示进程启动时详细命令行参数
• 调度器视图(Scheduling information): 按S键进入视图，显示线程调度、CPU使用和运行统计
• 磁盘视图(Disk information): 按D键进入视图，显示进程的磁盘IO使用情况
• 网络视图(Network information): 按N键进入视图，显示进程的网络IO使用情况

atop 默认展示过去10s内状态发生变化的进程，按下A键可以查看全部进程。

默认视图

默认视图展示常用的监控项:

• PID: 进程ID
• SYSCPU: 在内核态下使用CPU时间
• USERCPU: 在用户态下使用CPU时间
• VGROW: 过去一个监控周期内进程的虚拟内存空间增长，包括malloc()分配内存、使用共享内存以及free()释放内存造成的空间变化
• RGROW: 过去一个监控周期内进程常驻内存空间(resident memory)增长, 即进程内存空间中驻留在物理内存中未被逐出到SWAP分区的部分。
• RUID, EUID, SUID: 启动进程的UID
  • RUID: 登录时的用户ID
  • EUID: Effective Uid。通常EUID=RUID, setuid 或 sudo 等指令能以另一个用户身份执行命令，这个被“代理”的用户即为 Effective User。
• EXC: 进程退出时的返回码
• THR: 进程中的线程数
• S: 进程状态，与ps命令的进程描述符相同

简单介绍一下进程状态

• R: Runing
• S: sleeping interruptible 等待某个事件
• D: sleeping non-interruptible 通常在等待IO
• Z: Zombie 僵尸进程
• E: 进程在上个监控周期内退出
• T: TASK_STOPPED 或 TASK_TRACED 状态
  • TASK_STOPPED: 进程收到 SIGSTOP 信号进入暂停状态
  • TASK_TRACED: 进程进入暂停状态等待跟踪它的进程，比如进程被 gdb 的断点暂停

内存视图

按M键可以进入内存视图查看进程的内存使用情况:

• MINFLT: 进程缺页小错误(minor page fault)的次数
• MAJFLT: 进程缺页大错误(major page fault)的次数
• VSIZE: 虚拟内存空间的总大小
• RSIZE: 常驻内存(resident memory)的总大小
• VGROW: 虚拟内存空间在上个监控周期的增长
• RGROW: 虚拟内存空间在上个监控周期的增长
• MEM: 物理内存使用占比

在 Linux 的内存管理系统中需要读取磁盘才能解决缺页中断称为大错误(Major Page Fault), 不需要读取磁盘可以解决的缺页中断被称为小错误(Minor Page Fault)。

一般情况下 MINFLT 是因为频繁分配/回收大内存块导致的，可以考虑使用内存池优化程序来减少缺页错误; MAJFLT 是由于物理内存不足导致。

调度视图

按S键可以进入调度视图（Scheduling View）查看进程运行和CPU情况:

• TRUN: running 状态的线程数
• TSLPI: sleeping interruptible 状态线程数
• TSLPU: 表示 sleeping uninterruptible 状态进程数
• PILI: 调度策略
• PRI,NICE: 优先级，PRI+NICE越低优先级越高
• CPU: CPU 使用时间占比

监控服务

除了查看当前的状态外，atop 还可以服务方式运行在后台监控并记录系统状态。

使用 service atop start 或 systemctl start atop 命令启动atop监控服务。

atop 默认将数据保存在/var/log/atop目录下，10 分钟采集一次，保留最近28天的数据。上述配置可以在 /etc/atop/atop.daily 文件中进行修改。

使用 atop -r <filename> 命令读取日志文件。按t键向前翻页，T键向后翻页，b键跳转到指定时间，时间格式为hh:mm。