BloomFilter&python支持

BloomFilter

布隆过滤器是一种概率空间高效的数据结构。它与hashmap非常相似，用于检索一个元素是否在一个集合中。
它在检索元素是否存在时，能很好地取舍空间使用率与误报比例。即Bloom Filter是会误判的，它只会把不存在于集合中的元素误判成存在于集合中，而不会把存在于集合中的元素误判成不存在集合中。
正是由于这个特性，它被称作概率性数据结构（probabilistic data structure）。

BloomFilter原理

布隆过滤器维护一个N位的位数组，其中N是位数组的大小。它还有另一个参数k，表示使用哈希函数的个数。这些哈希函数用来设置位数组的值。当往过滤器中插入元素x时，h1(x), h2(x), ..., hk(x)所对应索引位置的值被置“1”，索引值由各个哈希函数计算得到。注意，如果我们增加哈希函数的数量，误报的概率会趋近于0.但是，插入和查找的时间开销更大，布隆过滤器的容量也会减小。

为了用布隆过滤器检验元素是否存在，我们需要校验是否所有的位置都被置“1”，与我们插入元素的过程非常相似。如果所有位置都被置“1”，那也就意味着该元素很有可能存在于布隆过滤器中。若有位置未被置“1”，那该元素一定不存在。

记录元素

下面我们看一下向Bloom Filter插入字符串的具体过，就是把这个字符串str经过K个不同的hash函数计算得到的结果h1、h2、、、hK。然后在BitArrray的第h1、h2、、、hK的位置上置1。

判断元素

那么如何判断一个字符串是否存在呢

把这个字符串经过K个hash函数计算得到h1、h2、、、hK，然后逐个判断BitArray的第h1、h2、、、hK个位置是否是1

应用场景　

　Google著名的分布式数据库Bigtable以及Hbase使用了布隆过滤器来查找不存在的行或列，以及减少磁盘查找的IO次数
　文档存储检查系统也采用布隆过滤器来检测先前存储的数据
　Goole Chrome浏览器使用了布隆过滤器加速安全浏览服务
　垃圾邮件地址过滤
　爬虫URL地址去重
　解决缓存穿透问题

python支持库BloomFilter

from bloom_filter import BloomFilter

bloombloom = BloomFilter(max_elements=10000, error_rate=0.1)

# max_elements是布隆过滤器的容积，最多可以记录多少元素

# error_rate是错判率

# 向bloom添加元素

bloombloom.add('https://www.tianyancha.com/company/23402373')

bloombloom.add('https://www.tianyancha.com/company/23402372')

bloombloom.add('https://www.tianyancha.com/company/2340231')

bloombloom.add('https://www.tianyancha.com/company/23402')

bloombloom.add('https://www.tianyancha.com/company/234')

bloombloom.add('https://www.tianyancha.com/company/234023')

#判断URL是否在bloombloom.__contains__('https://www.tianyancha.com/company/23402373')

print(bloombloom.__contains__('https://www.tianyancha.com/company/23402373'))

s1 = 'https://www.tianyancha.com/company/23402373'

s2 = ""

print(s1 in bloombloom)

print(s2 in bloombloom)

结果：

True

True

False

优点：
　　　　1.全量存储但是不存储元素本身，在某些对保密要求非常严格的场合有优势
　　　　2.空间高效率
　　　　3.插入/查询时间都是常数O(k),远远超过一般的算法
缺点：
　　　　1.存在误算率(False Positive)，随着存入的元素数量增加，误算率随之增加
　　　　布隆过滤器能确保某个元素“肯定不存在”，但是对于一些元素的判断会是“可能存在”

　　　　2.一般情况下不能从布隆过滤器中删除元素
　　　　3.数组长度以及hash函数个数确定过程复杂
　　　　4.无法得到元素本身
　　　　布隆过滤器并不会保存插入元素的内容，只能检索某个元素是否存在