MySQL Error--存储inode用完后报设备没有空间

问题描述：
磁盘有足够剩余空间，但在创建文件或文件夹时报错，提示“设备没有空间”。

问题原因:
当存储设备通过分区格式化为文件系统后，会分为两部分：
1、block部分： 存储的最小单位为扇区(Sector)，8个连续的扇区为block，为提高效率，操作系统通常按照block来进行数据访问。
2、inode部分： 存储block的元数据信息，如文件创建者/创建时间/文件大小/文件block位置等。

每个分区的inode数量有限，当block有剩余，但inode用完时，系统也会提示磁盘空间不足。

问题排查：
查看各分区的inode使用情况

## 查看根目录下的inode使用：
df -lhi

正常的输出信息:
Filesystem     Inodes IUsed IFree IUse% Mounted on
/dev/sda1        1.3M  421K  831K   % /
tmpfs            7.9M       7.9M    % /dev/shm
/dev/sda3        222M   40K  222M    % /export

如果IUse%为100%，则表示该分区所有inode用完。

查看根目录下各目录的inode使用情况：

for i in /*;
do
node_count=`find $i | wc -l`
echo "$i : $node_count "
done

输出结果：

/bin :
/boot :
/dev :
/etc :
/export :
/home :
/lib :
/lib64 :
/lost+found :
/media :
/mnt :
/opt :
/proc :
/root :
/sbin :
/selinux :
/srv :
/sys :
/tmp :
/usr :
/var : 

可以发现/var目录下使用较多，查看/var目录的使用：

for i in /var/*;
do
node_count=`find $i | wc -l`
echo "$i : $node_count "
done

最后定位到/var/spool/clientmqueue下面使用较多。

问题扩展

由于早期在配置cron进行定时作业时，未在文件头部配置MAILTO=""，导致在/var/spool/clientmqueue下面创建大量小文件，导致inode被用完。

如果直接使用rm命令删除特定目录下大量小文件，会存在性能问题，推荐使用下面方式：

ls /var/spool/clientmqueue | xargs /bin/rm -rf