java MD5比较文件内容

最近用到，记下来……

功能：

对指定目录下的所有TXT文件，通过MD5比较内容，删除掉重复的文件。文件的扩展可以修改成.docx、.doc、.jpg、.png，或者其它类型，根据需求灵活修改。

 public class CompareFile {

     public static void recursionDel(String direct){
         //遍历得到文件所在目录下的txt文件
         File dirFile=new File(direct);
         FilenameFilter filter=new FilenameFilter() {
             @Override
             public boolean accept(File dir, String name) {
                 return name.endsWith(".txt");
             }
         };

         List<File> list=new ArrayList<File>();
         try {
             //查找符合条件的文件
             list = getFile(dirFile, filter, list);
             //删除重复的文件，保留第一个
             for (int i = 0;i<list.size();i++){
                 list.get(i).delete();
             }
         } catch (IOException e) {
             e.printStackTrace();
         }

     }
     //获取指定目录下指定类型的文件（包括子目录）
     private static List<File> getFile(File dir,FilenameFilter filter,List<File>list)throws IOException
     {
         File[]files=dir.listFiles();
         for(File file:files)
         {
             if (file.isDirectory()) {// 如果需要对子目录查重，下面这行注释去掉
                 // getFile(file, filter, list);
             }
             else {
                 if(filter.accept(dir, file.getName()))//是文件则将文件放入list列表中
                     list.add(file);
             }
         }

         list = recursionCompare(list);
         return list;
     }
     //比较文件MD5值
     private static List<File> recursionCompare(List<File> list) {
         Collections.sort(list,new Comparator<File>(){
             public int compare(File o1, File o2) {
                 return String.valueOf(o2.lastModified()).compareTo(String.valueOf(o1.lastModified()));
             }
         });
         int size = list.size();
         String dateStr = "";
         Calendar cal = Calendar.getInstance();
         SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd");
         //获取文件最新日期
         if(size>0){
             File fistFile = list.get(0);
             cal.setTimeInMillis(fistFile.lastModified());
             //文件的最新日期
             dateStr = sdf.format(cal.getTime());
         }

         String dateStr2 = "";
         List<File> lis = new ArrayList<>();
         //找到日期相同的文件，一旦不同，退出，避免全盘遍历
         for(File f:list){
             cal.setTimeInMillis(f.lastModified());
             dateStr2 = sdf.format(cal.getTime());
             if(dateStr.equals(dateStr2)){
                 lis.add(f);
             }else{
                 break;
             }
         }

         List<File> reList = new ArrayList<File>();//返回
         //如果需要对所有文件（不仅仅是最新日期的）遍历，则lis=list;
         for (int i = 0;i<lis.size();i++){
             for(int k = i+1;k<lis.size();k++){
                 String str1 = getFileMD5(lis.get(i));
                 String str2 = getFileMD5(lis.get(k));
                 if(str1.equals(str2)){
                     reList.add(lis.get(k));
                     break;
                 }
             }
         }
         //重复的文件，不包含本身
         return reList;
     }

     // 计算文件的 MD5 值
     public static String getFileMD5(File file) {
         if (!file.isFile()) {
             return null;
         }
         MessageDigest digest = null;
         FileInputStream in = null;
         byte buffer[] = new byte[8192];
         int len;
         try {
             digest =MessageDigest.getInstance("MD5");
             in = new FileInputStream(file);
             while ((len = in.read(buffer)) != -1) {
                 digest.update(buffer, 0, len);
             }
             BigInteger bigInt = new BigInteger(1, digest.digest());
             return bigInt.toString(16);
         } catch (Exception e) {
            e.printStackTrace();
            return null;
         } finally {
             try {
                 in.close();
             } catch (Exception e) {
                 e.printStackTrace();
             }
         }
     }

 }