Java 自带MD5 校验文件
http://www.iteye.com/topic/1127319
前天第一次发表博客到论坛,关于Java文件监控一文,帖子地址在:http://www.iteye.com/topic/1127281
评论的朋友很多,下载代码的朋友很不少,感谢在论坛上看我帖子的朋友,还有回复评论的朋友,给我提供建议的朋友。
从这些建议中,虽然语言简短,但是却有的是一语中的,这里说一下一下关于帖子的代码中HashFile中的MD5文件校验算法,
该算法是使用Java自带的MessageDigest类,测试结果,获取一个2G文件的MD5码,耗时 971秒,这效率太给力了,可以用坑爹来形容,所以用MD5文件校验码来判断文件是否被修改,对于小文件来说可能还合适,要是对大文件来说,好吧,撞墙死了算了!
HashFile中的代码是这样子的:
真给力啊,超过2G,效率变成这样 !
好吧,自带的MD5算法,上当了,对于检查文件是否更新这个问题来说,现在我使用的解决办法是File 类的lastModified方法,代码这样
通过比较文件的最后修改时间来判断文件是否更新,对大文件也轻松拿下,
测试结果是这样:
当然针对不同问题肯定是有不同的解决办法
分析原来HashFile代码,获取MD5校验码的瓶颈是出现在
- public static String getHash(String fileName, String hashType)
- throws Exception {
- InputStream fis;
- fis = new FileInputStream(fileName);
- byte[] buffer = new byte[1024];
- MessageDigest md5 = MessageDigest.getInstance(hashType);
- int numRead = 0;
- while ((numRead = fis.read(buffer)) > 0) { //瓶颈
- md5.update(buffer, 0, numRead);
- }
- fis.close();
- return toHexString(md5.digest());
- }
public static String getHash(String fileName, String hashType)
throws Exception {
InputStream fis;
fis = new FileInputStream(fileName);
byte[] buffer = new byte[1024];
MessageDigest md5 = MessageDigest.getInstance(hashType);
int numRead = 0;
while ((numRead = fis.read(buffer)) > 0) { //瓶颈
md5.update(buffer, 0, numRead);
}
fis.close();
return toHexString(md5.digest());
}
在上面代码中,while循环N次,2G的文件,循环1024 * 1024 * 2 次,不给力!
chimer回复
来个nio的简单版,看你们老是怀疑java慢
C++ MD5工具验证结果:
File: K:\Games\World of Warcraft\Data\common.MPQ
Size: 2226587191 bytes
Modified: 2008年11月19日 星期三, 12:57:24
MD5: CD9F9C5523F3BA3866B81CCC74ED6476
java运行结果,毫秒
耗时:12672,cd9f9c5523f3ba3866b81ccc74ed6476
核心代码
String hashType = "MD5";
FileInputStream fStream = null;
try {
MessageDigest md5 = MessageDigest.getInstance(hashType);
fStream = new FileInputStream(
//"K:\\Games\\World of Warcraft\\Scan.dll");
//"K:\\Games\\World of Warcraft\\Data\\patch-3.MPQ");
"K:\\Games\\World of Warcraft\\Data\\common.MPQ");
FileChannel fChannel = fStream.getChannel();
ByteBuffer buffer = ByteBuffer.allocate(8*1024);
long s = System.currentTimeMillis();
for ( int count = fChannel.read( buffer ); count !=-1 ; count = fChannel.read( buffer )
) {
buffer.flip();
md5.update( buffer );
if( !buffer.hasRemaining() ){
//System.out.println("count:"+count);
buffer.clear();
}
}
s = System.currentTimeMillis() - s;
System.out.println( "耗时:"+s+","+getString( md5.digest() ) );
} catch (NoSuchAlgorithmException e) {
e.printStackTrace();
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}finally{
try {
if( fStream!=null )
fStream.close();
} catch (IOException e) {
e.printStackTrace();
}
}
Java 自带MD5 校验文件的更多相关文章
- Java 自带MD5加密 Demo
package demo; import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; pub ...
- Java:基于MD5的文件监听程序
前述和需求说明 和之前写的 Python:基于MD5的文件监听程序 是同样的功能,就不啰嗦了,就是又写了一个java版本的,可以移步 python 版本去看一下,整个的核心思路是一样的.代码已上传Gi ...
- java 自带md5加密
package test; import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; pub ...
- 关于JAVA自带MD5的方法
有空再详细解释 import java.security.MessageDigest; public class MD5 { public final static String MD51(Strin ...
- WINDOWS自带md5校验工具
WINDOWS自带的工具certutil.exe, certutil -hashfile chropp.exe MD5; 就可以了
- MD5 校验文件
https://blog.csdn.net/wudishine/article/details/42466831 MD5.h #ifndef MD5_H #define MD5_H #include ...
- Shell 对整个文件夹中的文件进行MD5校验 [转]
查看本地文件的 MD5 命令:md5sum FileName查看home目录下所有文件的 MD5 码:cd ~find /home -type f -print0 | xargs -0 md5sum ...
- 文件夹进行MD5校验的实现算法
每份相同数据(文件夹)都可以生成一份唯一的md5校验文件,我们可以通过直接校验整个数据文件夹的方法来确定数据是否有误. 1.针对整个文件夹生成md5校验文件方法: 以data文件夹为例,我们需要得到d ...
- NCBI SRA数据如何进行md5校验?
下了一些sra数据库中的公共数据,因为pretech和aspera不稳定,稍微大点的文件经常传断,部分文件我只能通过本地下载再上传. 那么问题来了,sra没有md5校验,我怎么知道我数据的完整性,尤其 ...
随机推荐
- prevent阻止标签默认行为&stop阻止事件冒泡
<form id="vm" v-on:submit.prevent="register"> 1.prevent是preventDefault,阻止标 ...
- Mysql学习总结(36)——Mysql查询优化
从事前端开发的都知道,页面显示的数据一定要及时的呈现,否则会影响用户体现.那么导致页面加载数据慢或者显示滞后的原因又是什么呢? 拿自己之前做项目经历给大家讲讲吧,之前做后台,当时的项目实时性都非常高, ...
- FreeMarker 整合 springmvc
一.添加 jar 包 <dependency> <groupId>org.freemarker</groupId> <artifactId>freema ...
- 关于struts值栈的总结,前端页面如何使用标签取得值栈中的数据
用户提交一次请求的执行过程 总结: struts值栈中 两个内容 一个是栈 一个是map 值栈(数据中心)的范围是一个请求 它代替了request作用域 struts自定义标签有一个特点 比如遍历集合 ...
- CDH版hbase-0.98.1单机安装
HBase 的安装有两种方式:单机安装和分布式安装.HBase的单机安装了解即可,大家重点掌握HBase 分布式集群的安装.下面我们分别进行介绍. HBase 单机安装 HBase 需要运行在 Had ...
- 从MySQL临时表谈到filesort
内部临时表的类型和产生时机相关,翻译自:http://dev.mysql.com/doc/refman/5.6/en/internal-temporary-tables.html In some ca ...
- Cache index coloring for virtual-address dynamic allocators
A method for managing a memory, including obtaining a number of indices and a cache line size of a c ...
- Zookeeper源代码编译为Eclipseproject(win7下Ant编译)
为了深入学习ZooKeeper源代码,首先就想到将其导入到Eclispe中,所以要先将其编译为Eclispeproject. 1.什么是Ant??? Apache Ant™ Apache Ant is ...
- Android之应用开发基础
Android应用开发基础 英文地址:http://developer.android.com/guide/components/fundamentals.html 本人英语水平不高,如有翻译不当请指 ...
- VMware-workstation安装
下载:百度搜索VMware-workstation 开始安装:VMware-workstation-full_12.5.5.17738 更改安装目录F:\softwore\VMware\VMware ...