[algorithm][security] 模糊哈希（转）

modsecurity中用到：  http://ssdeep.sourceforge.net/

原文：http://www.xuebuyuan.com/1536438.html

最近看一篇paper，无意中看见了一种模糊哈希算法——fuzzy hash算法。于是立刻去翻阅相关资料，整理出如下文章。

首先说说哈希算法。
     大家都知道函数实际上就是一种映射，本质是将一个集合通过对应法则f映射到另一个集合。 而哈希算法是一个特殊的函数，他具有的特点是，定义域是一个不确定的无限集合而值域是一个有限集合。简单来说,哈希算法就是将一个任意大的数据项（如计算机文件）映射为固定长度（比原数据短的多）的二进制位串，也就是哈希值。就目前而言，哈希算法依然能够确保它是原始数据的唯一标识，就像人的指纹可以唯一地标识一个人，因此哈希算法还具有精确匹配的特性。

常见的哈希算法包括：MD5、sha1、sha256、crc32等等。就不多说了

好了，对哈希算法有了基本概念，就来谈谈由此发展而来的fuzzy hash（模糊哈希）算法。

上文提及了哈希算法具有精确匹配的特性，具体来说就是，原文件哪怕仅仅只是一个字节的变化也会导致最后的哈希值发生明显的变化。这个特性使得哈希算法能够确定一个文件是否被修改过，然而这也带来了很大的局限性，那就是无法分辨内容稍有不同的同类文件。这对我们的反病毒过程来说是很不利的，因为一个样本的变种是数量最多的。

于是我们为了解决这个问题，发明了模糊哈希算法。该模糊哈希的算法与模糊逻辑搜索很像，它可以寻找相似但不完全相同的文档，即所谓的同源性文件。模糊哈希算法是基于哈希算法的，和哈希算法的不同点在于，哈希算法是将整个文件作为定义域来求算结果，而模糊哈希算法则是先对文件进行分块，计算每一块的哈希值，然后将得到的一系列哈希值利用比较函数于其他哈希值进行比较，来确定相似程度。
简而言之就是：分块——》对每个分块分别计算哈希——》结果比较

分析一下这样的算法有什么优势：比如我把一个文件的某一小部分进行了修改，如果是传统哈希由于是对整个文件进行计算，因此这一点改变就导致了结果的不同。而模糊哈希由于先对文件进行了分块，因此仅仅对某一部分进行修改只会导致某一或某几个分块的哈希值发生变化，而其他分块的哈希值并不变化，通过对比就可以很容易发现相似性。

目前模糊哈希算法，有开源研究项目

ssdeep：http://ssdeep.sourceforge.net/

原版研究在这里，Identifying almost identical files using context triggered piecewise hashing

然后我们来看看金山的微特征，通过对国家专利局的检索，我们发现了金山的微特征提取专利,

摘要如下：本发明涉及计算机杀毒软件领域，尤其涉及一种对病毒文件自动提取特征的方法和装置。对病毒文件自动提取特征的方法，在病毒文件中选取N个适合提取病毒特征的固定位置，每个固定位置分配一个位置ID号，以其中M个固定位置的位置ID号和这M个固定位置所对应的特征值作为病毒特征；所述特征值是指以某个所述固定位置为起点，取长度为L的一段二进制数据来计算的HASH值；其中N≥2，M≥2且M≤N，L＞0。本发明方法和装置所提取的病毒特征大大提高了文件扫描的速度；而且可以用一个病毒特征匹配大量的相似或者相同的病毒文件。

从摘要就能总结出金山微特征具有如下特点：首先它是基于hash值的，并且是取固定长度的文件块来计算哈希值，且对一个文件提取了多个分块。
简而言之就是：确定分块位置并记录——》分块——》对每个分块计算哈希值——》结果比较

和模糊哈希的理论基础以及整个流程如出一辙，我不说你懂得！