AIX文件系统/var空间100%的问题

一、问题说明
/var/spool/mqueue目录下出现了多个df打头的文件，导致/var空间最终100%

EBANK_P570_MAIN/var/spool/mqueue#ls -l

total 8732656

-rw-r--r-- 1root system 571 Aug 20 2012 Qfq7JGw5K21643126

-rw-r--r-- 1root system 569 Aug 23 2012 Qfq7MGvxch987418

-rw-r--r-- 1root system 572 Jun 25 02:00 Qfs5OHxF6d1339552

-rw-r--r-- 1root system 570 Jul 04 01:59 Qfs63HwefO1359972

-rw-r--r-- 1root system 773 Jul 04 02:02 Qfs63I1DfN1790554

-rw-r--r-- 1root system 570 Jul 06 02:00 Qfs65Hx5Vq1315640

-rw-r--r-- 1root system 773 Jul 06 02:02 Qfs65I16Vp1483544

-rw------- 1root system 760 Jul 06 02:39 Qfs65IaKdR1397376

-rw-r--r-- 1root system 573 Jul 07 00:58 Qfs66GvJMf1332120

-rw-r--r-- 1root system 0 Aug 23 2012 dfq7JGw5K21643126

-rw-r--r-- 1root system 0 Aug 23 2012 dfq7MGvxch987418

-rw-r--r-- 1root system 1153011528 Jul 06 02:00 dfs65Hx5Vq1315640

-rw-r--r-- 1root system 1153012885 Jul 06 02:02 dfs65I16Vp1483544

-rw------- 1root system 1153012885 Jul 06 02:39 dfs65IaKdR1397376

-rw-r--r-- 1root system 1011801454 Jul 07 00:58 dfs66GvJMf1332120
二、原因分析：
1、查询资料：/var/spool/mqueue目录包含与队列中的每条消息关联的临时文件。即发送邮件前存放邮件的临时目录，每个定时任务执行时的输出结果都会以邮件的形式通知用户，邮件队列目录是/var/spool/mqueue，邮邮件队列包含四类邮件队列文件：数据文件、控制文件、临时文件和抄本文件。文件的格式如下：

dfAA00312     数据文件

qfAA00312     控制文件

tfAA00312     临时文件

xfAA00312     抄本文件

2、进一步查看文件的内容，是crontab执行/ora_backup/rep/repsj/imp.sh脚本生产了大的mail邮件，导致/var空间满

EBANK_P570_MAIN/var/spool/mqueue#more dfs66HxcE51216754

Cron Environment:

SHELL =/usr/bin/sh

PATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:/usr/bin/X11:/sbin:/usr/java14/jre/bin:/usr/java14/bin

CRONDIR=/var/spool/cron/crontabs

ATDIR=/var/spool/cron/atjobs

LOGNAME=oracle

HOME=/oracle

Your "cron" job executed on EBANK_P570_MAIN onMon Jul 7 00:40:00 BEIST 201

exportBATCH_AUTO_RUN=Y; . ./.profile; sh /ora_backup/rep/repsj/imp.sh

produced the following output:

20140423

20140706

。。。。。

3、原因确认：由于crontab中的脚本输出内容过多，导致mail过大，最终/var空间满，因此解决方法如下

a，脚本的输出重定向到/dev/null，由于脚本不再有输出，也就不会有邮件发出

* * * * * a.sh> /dev/null 2>&1.

b，crontab的前面添加MAILTO=""

$ crontab -e

At the top of the file, enter:

MAILTO=""

4、补充确认，通过监控系统趋势图确认原因

最近系统/var的利用率图可以看出，

1），最近/var空间的利用率一直在缓慢增长，6月26日左右有一个突然增长，但最近才出现了100%的问题

2），每晚其实都有个利用率的高峰，但是到了6点钟，利用率就下降为正常了，这是因为6点钟定时任务清空了oracle用户的mail

EBANK_P570_MAIN/#crontab -l oracle

0 6 * * *   cat/dev/null > /var/spool/mail/oracle

3），为什么大文件会出现在/var/spool/mqueue目录？

通过在测试机测试，

a, crontab生产的输出最先放在/tmp目录下，（对应图2 /tmp0:30开始空间利用率不断增加）

b, crontab命令执行结束后，mv到/var/spool/mqueue目录下准备发送邮件给oracle用户，（此时/var空间突然增长）

c, 正常情况下oracle用户接受，放在/var/spool/mail/oracle文件中

d, 6点执行的定时任务情况oracle的mail邮件，对应图1的/var突然下降

4，今日凌晨为什么没出问题？

由于/var昨日清理的比较彻底，mqueue目录能够保存了需要发送的邮件，空间从9%增加到42%，然后6点钟被清空

图1：/var空间利用率图

图2 、/tmp文件系统利用率

图3、今天/var利用率

三、解决方案
1、临时解决方法：

快速清理方案,转移大数据文件到/backup/目录下

mv /var/spool/mqueue/df* /backup/

2、永久解决方案，因此也建议脚本的书写要重定向，特别是有大量结果输出的执行脚本

脚本重定向到/dev/null，防止出现大日志文件