场景描述:

收到zabbix监控报警,晋中生产机器出现磁盘空间不足报警。
远程到该服务器,排查占员工磁盘空间的原因,发现tomcat日志过多,于是清除3天前的日志。
日志清理后,发现磁盘空间没有释放,如下是处理过程和原因分析:
 
日志清理后,查看磁盘空间:
[root@jzreport2 ~]# df -Th
Filesystem           Type   Size  Used Avail Use% Mounted on
/dev/mapper/vg_report2-LogVol01
                          ext4    83G   50G   29G  64% /
tmpfs                tmpfs   16G     0   16G   0% /dev/shm
/dev/sda1            ext4   283M   41M  227M  16% /boot
 
原因应该是已经删除的文件仍然被某个进程占用,所以导致磁盘空间得不到释放,如下命令可以查看已经删除的空间爱你被哪些进程占用。
 
[root@jzreport2 ~]# lsof |grep -i delete
java       4825      root   13r      REG              253,0  416582455    5377302 /geelyapp/tomcat-ime/logs/catalina-2016-07-26.out (deleted)
java       4825      root   15r      REG              253,0    3815677    5377477 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-07-22.txt (deleted)
java       4825      root   16r      REG              253,0    7384392    5377242 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-07-30.txt (deleted)
java       4825      root   18r      REG              253,0  364016974    5377293 /geelyapp/tomcat-ime/logs/catalina-2016-07-28.out (deleted)
java       4825      root   24r      REG              253,0   19699678    5377464 /geelyapp/tomcat-ime/logs/catalina-2016-07-22.out (deleted)
java       4825      root   27r      REG              253,0  368883739    5377240 /geelyapp/tomcat-ime/logs/catalina-2016-07-30.out (deleted)
java       4825      root   28r      REG              253,0  358485718    5377247 /geelyapp/tomcat-ime/logs/catalina-2016-07-31.out (deleted)
java       4825      root   31r      REG              253,0    7239318    5377338 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-07-28.txt (deleted)
java       4825      root   32r      REG              253,0    5689600    5382395 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-07-24.txt (deleted)
java       4825      root   33r      REG              253,0  355019854    5377250 /geelyapp/tomcat-ime/logs/catalina-2016-08-01.out (deleted)
java       4825      root   35r      REG              253,0 2988975349    5377294 /geelyapp/tomcat-ime/logs/catalina-2016-07-25.out (deleted)
java       4825      root   37r      REG              253,0    5417099    5377320 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-07-27.txt (deleted)
java       4825      root   39r      REG              253,0    7357142    5377249 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-07-31.txt (deleted)
java       4825      root   40r      REG              253,0  371975503    5377318 /geelyapp/tomcat-ime/logs/catalina-2016-07-27.out (deleted)
java       4825      root   41r      REG              253,0 5413317330    5382387 /geelyapp/tomcat-ime/logs/catalina-2016-07-23.out (deleted)
java       4825      root   42r      REG              253,0  353928941    5377258 /geelyapp/tomcat-ime/logs/catalina-2016-08-02.out (deleted)
java       4825      root   44r      REG              253,0   19902702    5382393 /geelyapp/tomcat-ime/logs/catalina-2016-07-24.out (deleted)
java       4825      root   45r      REG              253,0    7333147    5377252 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-01.txt (deleted)
java       4825      root   46r      REG              253,0  358733756    5377265 /geelyapp/tomcat-ime/logs/catalina-2016-08-03.out (deleted)
java       4825      root   48r      REG              253,0  371727923    5377271 /geelyapp/tomcat-ime/logs/catalina-2016-08-04.out (deleted)
java       4825      root   50r      REG              253,0    7328014    5377260 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-02.txt (deleted)
java       4825      root   51r      REG              253,0  385891702    5377279 /geelyapp/tomcat-ime/logs/catalina-2016-08-05.out (deleted)
java       4825      root   54r      REG              253,0    7336642    5377267 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-03.txt (deleted)
java       4825      root   55r      REG              253,0    7446032    5377307 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-06.txt (deleted)
java       4825      root   61r      REG              253,0    7375397    5377274 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-04.txt (deleted)
java       4825      root   62r      REG              253,0  419590833    5377332 /geelyapp/tomcat-ime/logs/catalina-2016-08-08.out (deleted)
java       4825      root   63r      REG              253,0    7534494    5377304 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-07-26.txt (deleted)
java       4825      root   64r      REG              253,0    6619016    5382398 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-07-25.txt (deleted)
java       4825      root   65r      REG              253,0    5664294    5382389 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-07-23.txt (deleted)
java       4825      root   66r      REG              253,0    7408877    5377282 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-05.txt (deleted)
java       4825      root   67r      REG              253,0    7379473    5377350 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-07-29.txt (deleted)
java       4825      root   69r      REG              253,0  379479937    5377347 /geelyapp/tomcat-ime/logs/catalina-2016-07-29.out (deleted)
java       4825      root   70r      REG              253,0  382905142    5377342 /geelyapp/tomcat-ime/logs/catalina-2016-08-09.out (deleted)
java       4825      root   72r      REG              253,0  441397404    5377364 /geelyapp/tomcat-ime/logs/catalina-2016-08-11.out (deleted)
java       4825      root   73r      REG              253,0  393485017    5377295 /geelyapp/tomcat-ime/logs/catalina-2016-08-06.out (deleted)
java       4825      root   76r      REG              253,0    7386336    5377330 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-07.txt (deleted)
java       4825      root   77r      REG              253,0  371199837    5377323 /geelyapp/tomcat-ime/logs/catalina-2016-08-07.out (deleted)
java       4825      root   79r      REG              253,0    7475422    5377336 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-08.txt (deleted)
java       4825      root   81r      REG              253,0  360021471    5377379 /geelyapp/tomcat-ime/logs/catalina-2016-08-13.out (deleted)
java       4825      root   83r      REG              253,0    7401499    5377344 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-09.txt (deleted)
java       4825      root   84r      REG              253,0    7421931    5377360 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-10.txt (deleted)
java       4825      root   86r      REG              253,0  367824636    5377389 /geelyapp/tomcat-ime/logs/catalina-2016-08-15.out (deleted)
java       4825      root   88r      REG              253,0    7594223    5377367 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-11.txt (deleted)
java       4825      root   89r      REG              253,0  373697996    5377358 /geelyapp/tomcat-ime/logs/catalina-2016-08-10.out (deleted)
java       4825      root   90r      REG              253,0    7218216    5377377 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-12.txt (deleted)
java       4825      root   94r      REG              253,0    7207574    5377381 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-13.txt (deleted)
java       4825      root   96r      REG              253,0  363153109    5377375 /geelyapp/tomcat-ime/logs/catalina-2016-08-12.out (deleted)
java       4825      root   97r      REG              253,0    6953046    5377386 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-14.txt (deleted)
java       4825      root  100r      REG              253,0    7443747    5377390 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-15.txt (deleted)
java       4825      root  102r      REG              253,0  301548658    5377387 /geelyapp/tomcat-ime/logs/catalina-2016-08-14.out (deleted)
java       4825      root  104r      REG              253,0    8306681    5377453 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-16.txt (deleted)
java       4825      root  105r      REG              253,0  530882613    5377597 /geelyapp/tomcat-ime/logs/catalina-2016-08-19.out (deleted)
java       4825      root  110r      REG              253,0    8246802    5377581 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-17.txt (deleted)
java       4825      root  111r      REG              253,0  608724746    5377450 /geelyapp/tomcat-ime/logs/catalina-2016-08-16.out (deleted)
java       4825      root  113r      REG              253,0    8433313    5377592 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-18.txt (deleted)
java       4825      root  114r      REG              253,0    8173165    5377599 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-19.txt (deleted)
java       4825      root  117r      REG              253,0    8061150    5377605 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-20.txt (deleted)
java       4825      root  119r      REG              253,0    7948469    5377611 /geelyapp/tomcat-ime/logs/localhost_access_log.2016-08-21.txt (deleted)
java       4825      root  121r      REG              253,0  612650394    5377589 /geelyapp/tomcat-ime/logs/catalina-2016-08-18.out (deleted)
java       4825      root  127r      REG              253,0  627820458    5377580 /geelyapp/tomcat-ime/logs/catalina-2016-08-17.out (deleted)
java       4825      root  142r      REG              253,0  475492585    5377603 /geelyapp/tomcat-ime/logs/catalina-2016-08-20.out (deleted)
zabbix_ag 15644    zabbix    3wW     REG              253,0          5    2097154 /tmp/zabbix_agentd.pid (deleted)
zabbix_ag 15646    zabbix    3w      REG              253,0          5    2097154 /tmp/zabbix_agentd.pid (deleted)
zabbix_ag 15647    zabbix    3w      REG              253,0          5    2097154 /tmp/zabbix_agentd.pid (deleted)
zabbix_ag 15648    zabbix    3w      REG              253,0          5    2097154 /tmp/zabbix_agentd.pid (deleted)
zabbix_ag 15649    zabbix    3w      REG              253,0          5    2097154 /tmp/zabbix_agentd.pid (deleted)
zabbix_ag 15650    zabbix    3w      REG              253,0          5    2097154 /tmp/zabbix_agentd.pid (deleted)
catalina. 25220      root    0u      CHR              136,4        0t0          7 /dev/pts/4 (deleted)
cronolog  25221      root    2u      CHR              136,4        0t0          7 /dev/pts/4 (deleted)
java      25232      root    0u      CHR              136,4        0t0          7 /dev/pts/4 (deleted)
 
以上可以看出已经删除的tomcat日志被进程4825所占用:(本次的4825进程是logstash进程)
重启4825进程后,空间释放:
 
[root@jzreport2 logstash-2.1.1]# df -Th
Filesystem           Type   Size  Used Avail Use% Mounted on
/dev/mapper/vg_report2-LogVol01
                           ext4    83G   32G   47G  41% /
tmpfs                tmpfs   16G     0   16G   0% /dev/shm
/dev/sda1            ext4   283M   41M  227M  16% /boot
 
系统的日志采集在logstach中配置的是*号匹配日期,tomcat日志删除后,可能会出现空间不释放问题,可以参考上述处理过程进行处理。
 

Linux-删除文件空间不释放问题解决的更多相关文章

  1. linux删除文件空间不释放问题解决

    目录 场景描述 原因 解决方法 在线清空文件 场景描述 某天,收到Prometheus报警,生产中某台机器出现磁盘空间不足报警,该台服务器是mysql其中一台从库,远程登录到该服务后,排查磁盘空间的原 ...

  2. linux 删除文件空间未释放问题

    现象:我们测试环境上,导出数据文件时,由于作业报错,重复导出,空间使用到达100%,按理说,导出的文件时在相同的路径下,文件名也是一致的,会自动替换. 那么之前导出的文件会被删除,问题就出现在删除这一 ...

  3. linux删除文件未释放空间问题处理

    linux删除文件未释放空间问题处理 或者 /根分区满了 (我的根分区是/dev/sda1,/dev/sda1满了) http://blog.csdn.net/donghustone/article/ ...

  4. 【转】Linux删除文件未释放空间问题处理

    linux里的文件被删除后,空间没有被释放是因为在Linux系统中,通过rm或者文件管理器删除文件将会从文件系统的目录结构上解除链接(unlink).然而如果文件是被打开的(有一个进程正在使用),那么 ...

  5. Linux 删除文件未释放空间问题处理,下清空或删除大文件

    linux里的文件被删除后,空间没有被释放是因为在Linux系统中,通过rm或者文件管理器删除文件将会从文件系统的目录结构上解除链接(unlink).然而如果文件是被打开的(有一个进程正在使用),那么 ...

  6. linux删除文件未释放

    https://access.redhat.com/solutions/2316 $ /usr/sbin/lsof | grep deleted ora 25575 data 33u REG 65,6 ...

  7. Linux文件删除空间未释放

    当系统空间使用量过大需要清理空间或者清理某个文件时,有时会出现执行了删除命令之后磁盘空间并没有释放,很多人首次遇到该情况时会比较困惑,在考虑是不是像windows系统的回收站一样,删除只是逻辑删除到回 ...

  8. 解决linux删除文件后空间没有释放问题

    linux删除文件后沒有释放空间 今天发现一台服务器的home空间满了,于是要清空没用的文件,当我删除文件后,发现可用空间沒有变化 os:centos4.7 现象: 发现当前磁盘空间使用情况: [ro ...

  9. Linux 删除文件后空间不释放【原创】

    删除MySQL备份文件后,查找文件所在目录发现文件已经备删除了,但是空间没有释放,还是83% 解决方法: lsof|grep -i delete 发现进程还在,杀掉进程 kill -9 5377 再次 ...

随机推荐

  1. jquery判断元素是否包含某class

    // <div id="id" class="add on"></div> var flag = $("#id"). ...

  2. c# 面向对象/继承关系设计

    继承 RTTI RTTI 概念 RTTI(Run Time Type Identification)即通过运行时类型识别,程序能够使用基类的指针或引用来检查着这些指针或引用所指的对象的实际派生类型. ...

  3. ElasticSearch入门-基本概念介绍以及安装

    Elasticsearch基本概念 Elasticsearch是基于Lucene的全文检索库,本质也是存储数据,很多概念与传统关系型数据库类似. 传统关系型数据库与Elasticsearch进行概念对 ...

  4. centos7.6编译安装php7.3

    刚开始搞环境装过集成,发现不好用,后来自己编译安装一些扩展啊设置的都很容易找到. 以前装过5.6.7.0发现不一样,最近出了7.3是php5速度的三倍,那有必要升级一下列. 由于之前安装过老版本,依赖 ...

  5. css之word-wrap和word-break的区别

    对于英文单词,如果有一个连写且长度很长的英文单词,在第一行显示不下的情况下,浏览器默认不会截断显示,而是把这个单词整体挪到下一行.但是当整体挪到下一行还是显示不完全该肿么办呢?有如下两个方法: wor ...

  6. 2019杭电多校一 L. Sequence (NTT)

    大意: 给定序列$a$, 给定$m$个操作, 求最后序列每一项的值. 一共$3$种操作, 其中第$k$种操作将序列变为$b_i=\sum\limits_{j=i-kx}a_j$, $(0\le x,1 ...

  7. mysql 树结构递归处理

    日常开发中我们经常会遇到树形结构数据处理,一般表结构通常会常用id,pid这种设计方案. 之前用oracle.sqlServer数据库,用相应的语法即可获取树形结构数据(oracel:connect ...

  8. python 切换虚拟环境

    每次电脑重启后,都要切入虚拟环境,命令总是忘记.如果使用IDE,可以指定interpeter方便的切换. 首先conda info --env  查看当前有几个环境 激活/禁用环境 source ac ...

  9. Java数据结构总述

    array list map set 链表..array 和list类似,增删慢,读取快,list长度可变,array长度固定, 链表增删快的list set 是一个没有重复数据的集合 map 是一个 ...

  10. 安装Nvida 显示环境

    查看是否能正确加载nvidia 驱动 在终端输入 (glxinfo 需要安装mesa-utils) 如果可以正确加载了nvidia驱动 那么在输入的内容中可以看到NVIDIA 字样 如果GPU是Int ...