海量信息库，查找是否存在（bloom filter布隆过滤器）

Bloom Filter（布隆过滤器）

布隆过滤器用于测试某一元素是否存在于给定的集合中，是一种空间利用率很高的随机数据结构（probabilistic data structure），存在一定的误识别率（false positive），即布隆过滤器报告某一元素存在于某集合中，但是实际上该元素并不在集合中，但是没有错误识别的情形（false negative），即如果某个元素确实没有在该集合中，那么布隆过滤器是不会报告该元素存在于集合中的，没有漏报的情形出现，召回率为百分之百。

 

算法描述

 

布隆过滤器实际上是一个位数组，元素数目为m，初始状态全部为0，还需要k个不同的哈希函数，每个哈希函数必须保证以统一的随机分布算法将给定的元素映射到位数组的某个位置上（1~m）。

 

添加元素至布隆过滤器中时，布隆过滤器并不会实际保存该元素数据，而是将该元素通过k个不同的哈希函数分别映射为k个位数组位置（1~m），然后将位数组对应k个位置的值设为1，此时表示该元素已存在于“集合”中。

 

检查元素是否存在于“集合”中时，同样将该元素通过k个不同的哗然函数映射为位数组的k个位置（1~m），如果位数组中某个位置对应的值为0，表示该元素不存在于“集合中”；如果位置中的这些位置对应的值全部为1，则有两种情况：

 

（1）该元素存在于“集合”中

（2）发生错误识别（false positive），即该元素实际并不存在于“集合”中

 

在一个简单布隆过滤器的实现中是没有方法可以区别这两种情况的。

 

如上图所示，布隆过滤器的位数组大小为18，哈希函数个数为3，集合中一共有三个元素{x，y，z}，分别被映射到位数组上的不同位置（每个集合元素的映射由位数组上的有一个位置（值）表示）。现在判断元素w是否存在于该集合中，首先通过布隆过滤器的3个哈希函数得到位数组中三个位置坐标，然后判断位数组中这三个位置上的值是否全为1，由上图可知，有一个位置的对应值不为1，因此元素w不存在于该集合中。

 

简单布隆过滤器（位数组只有0和1两种状态）的实现不支持从集合中删除元素，因为删除元素意味着将位数组相应位置（由元素值通过哈希函数得出）的值全部置为0，但是简单布隆过滤器没有方法判断这些位置（值）是否被集合中的其它元素所使用，如果将正在被其它元素所使用的位置（值）置为0则会导致false negative出现，即元素实际存在于集合中，布隆过滤器却报告不存在。

 

关键实现

 

简单布隆过滤器实现涉及三个重要属性：位数组、哈希函数、误识别率。

 

假设位数组大小为m、集合元素数组为n、哈希函数个数为k、误识别率为p，则有以下公式：

 

以上关于布隆过滤器的介绍仅限于简单布隆过滤器，复杂实现及相应公司推导请参数http://en.wikipedia.org/wiki/Bloom_filter。

 

 

参考：http://www.cnblogs.com/yurunmiao/p/4150527.html