[转载]布隆过滤器(Bloom Filter)

[转载]布隆过滤器(Bloom Filter)

这部分学习资料来源：https://www.youtube.com/watch?v=v7AzUcZ4XA4

Filter判断不在，那就是肯定不在；Filter判断在，那只能说有一定几率在

有点乱啊，意思就是：布隆过滤器会倾向于判断在，这就是它的误差：它把可能不在的都说成是在。

用一个函数将元素映射到一个二进制数组中。当需要插入时，将插入元素映射为二进制位，如果数组中有至少对应的一个位不是1，就说明不在。

一个更完整的例子：

误差就是B!B本来不存在，但是判断就是存在了，所以就是判断失误了：它会将一些本来不存在的情况判断为存在。

正是因为这个误识别率，所以它被称为Filer,也就是“过滤器”，它的过滤效果不是100%的。

使用案例：

比特币网络：

PS,我个人是不相信区块链的，详见https://www.zhihu.com/question/43572793里大佬有理有据的解释，这里就是个例子

附上各个节点的含义：

SPV节点：快速判断是否有交易记录，说没有就是没有，用以提升效率

如果判断说存在，再去响应的区块中查。

---

来源：https://zhuanlan.zhihu.com/p/43263751

布隆过滤器数据结构

布隆过滤器是一个 bit 向量或者说 bit 数组，长这样：

如果我们要映射一个值到布隆过滤器中，我们需要使用多个不同的哈希函数生成多个哈希值，并对每个生成的哈希值指向的 bit 位置 1，例如针对值 “baidu” 和三个不同的哈希函数分别生成了哈希值 1、4、7，则上图转变为：

Ok，我们现在再存一个值 “tencent”，如果哈希函数返回 3、4、8 的话，图继续变为：

没有什么玄妙的，只是构建了多个哈希函数和一个二进制数组而已。每一个哈希函数将传入的对象映射为一个整数

值得注意的是，4 这个 bit 位由于两个值的哈希函数都返回了这个 bit 位，因此它被覆盖了。现在我们如果想查询 “dianping” 这个值是否存在，哈希函数返回了 1、5、8三个值，结果我们发现 5 这个 bit 位上的值为 0，说明没有任何一个值映射到这个 bit 位上，因此我们可以很确定地说 “dianping” 这个值不存在。而当我们需要查询 “baidu” 这个值是否存在的话，那么哈希函数必然会返回 1、4、7，然后我们检查发现这三个 bit 位上的值均为 1，那么我们可以说 “baidu” 存在了么？答案是不可以，只能是 “baidu” 这个值可能存在。

这是为什么呢？答案跟简单，因为随着增加的值越来越多，被置为 1 的 bit 位也会越来越多，这样某个值 “taobao” 即使没有被存储过，但是万一哈希函数返回的三个 bit 位都被其他值置位了 1 ，那么程序还是会判断 “taobao” 这个值存在。

支持删除么

目前我们知道布隆过滤器可以支持 add 和 isExist 操作，那么 delete 操作可以么，答案是不可以，例如上图中的 bit 位 4 被两个值共同覆盖的话，一旦你删除其中一个值例如 “tencent” 而将其置位 0，那么下次判断另一个值例如 “baidu” 是否存在的话，会直接返回 false，而实际上你并没有删除它。

布隆过滤器本身是不支持删除的，因为它违反了“说不在就不在”的原则

如何解决这个问题，答案是计数删除。但是计数删除需要存储一个数值，而不是原先的 bit 位，会增大占用的内存大小。这样的话，增加一个值就是将对应索引槽上存储的值加一，删除则是减一，判断是否存在则是看值是否大于0。

如何选择哈希函数个数和布隆过滤器长度

很显然，过小的布隆过滤器很快所有的 bit 位均为 1，那么查询任何值都会返回“可能存在”，起不到过滤的目的了。布隆过滤器的长度会直接影响误报率，布隆过滤器越长其误报率越小。

另外，哈希函数的个数也需要权衡，个数越多则布隆过滤器 bit 位置位 1 的速度越快，且布隆过滤器的效率越低；但是如果太少的话，那我们的误报率会变高。

k 为哈希函数个数，m 为布隆过滤器长度，n 为插入的元素个数，p 为误报率

如何计算布隆过滤器的误判率：

来源：https://www.zhihu.com/question/38573286

错误率

假设 Hash 函数以等概率条件选择并设置 Bit Array 中的某一位，假定由每个 Hash 计算出需要设置的位（bit） 的位置是相互独立, m 是该位数组的大小，k 是 Hash 函数的个数.

• 位数组中某一特定的位在进行元素插入时的 Hash 操作中没有被置位的概率是：

• 在所有 k 次 Hash 操作后该位都没有被置 "1" 的概率是：

• 如果我们插入了 n 个元素，那么某一位仍然为 "0" 的概率是：

• 该位为 "1"的概率是：

检测某一元素是否在该集合中。标明某个元素是否在集合中所需的 k 个位置都按照如上的方法设置为 "1"，但是该方法可能会使算法错误的认为某一原本不在集合中的元素却被检测为在该集合中（False Positives），该概率由以下公式确定：

如何使得错误率最小，对于给定的m和n，当 的时候取值最小（求导就能算出来）。关系如下图所示：

最佳实践

常见的适用常见有，*利用布隆过滤器减少磁盘 IO 或者网络请求，因为一旦一个值必定不存在的话，我们可以不用进行后续昂贵的查询请求。

另外，既然你使用布隆过滤器来加速查找和判断是否存在，那么性能很低的哈希函数不是个好选择，推荐 MurmurHash、Fnv 这些。

大Value拆分

Redis 因其支持 setbit 和 getbit 操作，且纯内存性能高等特点，因此天然就可以作为布隆过滤器来使用。但是布隆过滤器的不当使用极易产生大 Value，增加 Redis 阻塞风险，因此生成环境中建议对体积庞大的布隆过滤器进行拆分。

拆分的形式方法多种多样，但是本质是不要将 Hash(Key) 之后的请求分散在多个节点的多个小 bitmap 上，而是应该拆分成多个小 bitmap 之后，对一个 Key 的所有哈希函数都落在这一个小 bitmap 上。