近来对院社二维码平台进行2.0升级改造。于昨日踩到一个巨坑。特此记录。。。

需求源于院社编辑在批量下载二维码的时候,系统后台需要对所要下载的二维码进行重命名和zip打包压缩。

系统测试的时候发现:首次请求批量下载时,也即压缩文件还未生成时,后台可以正常压缩文件并提供下载。但是第二次请求批量下载时,网页一直无反应。。。

尝试了几次后仍旧没反应。只好查看tomcat日志,惊奇的发现日志只写了一半,后半部分丢失(第一次遇到这种情况)==|||

不过老天爷保佑,写入的一部分显示:No space left device.

我擦!硬盘满了?昨天还有68%的余量。今天就没了?

迅速df du命令走起。du显示并没有占满。但是df显示已经100%。这是搞毛。。

google一下,发现du df显示结果不一样的原因可能是有文件句柄没有释放,文件仍旧被进程占用。df统计的是硬盘实际占用,而du并不包括已经标记删除却仍旧被进程占用,实际上并未物理删除的文件。(文件物理删除和标识为deleted不是一个概念)

接着调用lsof | grep deleted查看文件占用情况。。果然那几个zip文件size已经突破天际了。。

看来是java对zip文件打包时出错了。陷入了死循环???

由于zip打包源码是同事提供的,并没有深入了解。不得不扒开package,查看到底是个啥子逻辑。

经过一番折腾。终于发现问题。

举个例子:

a文件下有1.jpg 2.jpg两个文件

在第一次请求批量下载时,生成了b.zip文件。

如此a文件夹下就有了1.jpg 2.jpg b.zip文件了

根据源码逻辑,首先会对a文件夹进行遍历搜索,然后将每个文件逐个加入zip文件中。

那么,第二次请求时,从表面上看,可能会粗略的以为b.zip会被覆盖掉,替换成新b.zip,里面包括1.jpg 2.jpg 和旧的b.zip。

大错特错!

文件在进行写操作时,始终是对同一个b.zip在操作!

分解一下过程。首先在遍历a文件夹得到三个文件名的列表:1 2 b

创建新b时,旧b文件会被删除,但是b这个文件名仍旧保留在上面的文件列表中。

接下来,添加1到新b,添加2到新b。

在添加旧B的时候,实则在对新B操作!!如果从文件读写指针的角度来看,如下图所示

read              write

1      2      (12)

可以看到,由于是在对同一个文件操作,read指针永远不可能赶上write,也即EOF,那么这个写就永无止境。

所以解决bug的方法是:把要打包的文件和目标zip文件放在两个不同的文件夹下面。这样就不会始终对同一个zip文件又读又写了。

此外,我还在windows平台上进行了测试。发现一个很诡异的现象。在windows上文件能够正常下载,且不会出现磁盘容量爆棚的情况。但是:

1)新打包的b.zip里面还有一个b.zip。

2)外层的b.zip可以正常解压,里层的b.zip也可以解压和查看。但是里层的b.zip解压时会报文件末端错误。

3)里层的b.zip还有一个b.zip,暂且叫做里里层b.zip。这个里里层b.zip就完全打不开了。

4)用资源管理器查看tomcat所掌握的资源句柄,仍旧包括这个最外层的b.zip。也就是即便client完成了下载,服务端也没有释放这个资源。

可以说,windows遇到了和linux平台一样的问题。但是可能因为windows操作系统的文件系统具体细节的处理方式不同,导致出现了最后这样一个相对诡异的结果。

JAVA实现zip压缩需要注意的问题的更多相关文章

  1. Java 的zip压缩和解压缩

    Java 的zip压缩和解压缩 好久没有来这写东西了,今天中秋节,有个东西想拿出来分享,一来是工作中遇到的问题,一来是和csdn问候一下,下面就分享一个Java中的zip压缩技术,代码实现比较简单,代 ...

  2. 用java实现zip压缩

    本来是写到spaces live上的,可是代码的显示效果确实不怎么好看.在javaeye上试了试代码显示的顺眼多了. 今天写了个用java压缩的功能,可以实现对文件和目录的压缩. 由于java.uti ...

  3. Java实现zip压缩多个文件下载

    为了更好的演示,首先创建一个文件实体FileBean,包含了文件路径和文件名称: package com.javaweb.entity; import java.io.Serializable; /* ...

  4. Java操作zip压缩和解压缩文件工具类

    需要用到ant.jar(这里使用的是ant-1.6.5.jar) import java.io.File; import java.io.FileInputStream; import java.io ...

  5. java.util.zip压缩打包文件总结二: ZIP解压技术

    一.简述 解压技术和压缩技术正好相反,解压技术要用到的类:由ZipInputStream通过read方法对数据解压,同时需要通过CheckedInputStream设置冗余校验码,如: Checked ...

  6. java.util.zip压缩打包文件总结一:压缩文件及文件下面的文件夹

    一.简述 zip用于压缩和解压文件.使用到的类有:ZipEntry  ZipOutputStream 二.具体实现代码 package com.joyplus.test; import java.io ...

  7. java基础---->Zip压缩的使用(转)

    java中提供了对压缩格式的数据流的读写.它们封装到现成的IO 类中,以提供压缩功能.下面我们开始java中压缩文件的使用. 目录导航: 关于压缩的简要说明 GZIP压缩文件的使用 ZIP压缩文件的使 ...

  8. java基础---->Zip压缩的使用

    java中提供了对压缩格式的数据流的读写.它们封装到现成的IO 类中,以提供压缩功能.下面我们开始java中压缩文件的使用. 目录导航: 关于压缩的简要说明 GZIP压缩文件的使用 ZIP压缩文件的使 ...

  9. java实现zip压缩和解压工具

    引入ant.jar package com.develop.web.util; import java.io.BufferedInputStream; import java.io.File; imp ...

随机推荐

  1. bzoj 3669: [Noi2014]魔法森林 -- 动点spfa

    3669: [Noi2014]魔法森林 Time Limit: 30 Sec  Memory Limit: 512 MB 动点spfa Description 为了得到书法大家的真传,小E同学下定决心 ...

  2. ios开发中object-c中UTF-8 和 GBK 的 NSString 相互转化的方法

    应用都要遇到一个很头疼的问题:文字编码,汉字的 GBK 和 国际通用的 UTF-8 的互相转化稍一不慎, 就会满屏乱码.下面介绍 UTF-8 和 GBK 的 NSString 相互转化的方法   NS ...

  3. 怎样教你牢记17个的Win7快捷键!

    常规快捷键在开始使用Win7中神奇的快捷键加速我们的电脑操作之前,先给大家介绍几个从Win2000到现在一直通用的“资源管理器”快捷键,权当作热身吧!Win+E: 打开“资源管理器”.Win+R: 打 ...

  4. zend studio配置调试(Xdebug方式)

    1.下载xdebug http://xdebug.org/download.php 我下的是PHP 5.4 VC9 (32 bit) [当前系统php是php5.4.14(win32)版本] 2.配置 ...

  5. Birt中实现字段拆分为表的还有一种方法

    来源:     http://developer.actuate.com/community/forum/index.php? /topic/36204-split-data-row/. 将字段拆分为 ...

  6. 利用StringUtils工具类进行String为空的判断

      利用工具类进行String类型数据的非空判断,让自己的项目代码变得更加的简洁明了.   判断某字符串是否为空,为空的标准是 str==null 或 str.length()==0   下面是 St ...

  7. [Android 新特性] Android 4.3 Top 5新功能

    直播会上,Android 4.3不像Nexus 7那么Sexy,也没有Chromecast电视棒那样惹人注目,但它有许多强悍的新特点,下面来看看Top 5. 1. 权限配置 支持在一台终端设备上有多个 ...

  8. Python学习(六)模块 —— 标准模块

    Python 标准模块 Python 带有一个标准模块库,并发布有独立的文档(库参考手册).对于程序员而言,标准库与语言本身同样重要,它好比一个百宝箱,能为各种常见的任务提供完美的解决方案. 这边简单 ...

  9. iOS:网络编程的第三方框架:AFNetworking、SDWebImage

    网络编程第三方框架:AFNetworking.SDWebImage 介绍:这些框架是开源的,经过前人的封装.改进,成为使用次数很多的一个性能好的源代码框架,只需要将它导入项目中,就可以使用.因此,在做 ...

  10. 多种非接触卡 ATQA 字节说明

      原文地址 13.56 MHz RFID Software An Open Source implementation of an NFC stack, and various related ut ...