如何快速判断一个key是否存在在亿级数据中(bloomFilters)

面试题

现在有一个非常庞大的数据(亿级)，假设全是 int 类型。现在我给你一个数，你需要告诉我它是否存在其中(尽量高效)

分析

采用bloomFilters进行实现(时间&空间尽可能的有效)，bloomFilters也常常用在防止缓存穿透，即服务请求在发送到缓存之前，先查找下bloomFilters，检查对应的key是否存在，不存在直接返回；存在再进入到缓存进行查询->DB查询

实现思路:

实际实现采用多次HASH，查看对应数组内存储的值是否为1，多次hash结果均为1，则认为是存在；存在一定的误判率;hash算法尽可能采用一致性hash方式，确保数据分布较为均匀

 package com.hero.cases;

 import com.beust.jcommander.internal.Lists;
 import org.junit.Assert;
 import org.junit.Test;

 import java.util.List;

 /**
  * @Des:判断亿级元素是否存在
  * @Auther: 飞狐
  * @Date: 2019/3/29
  */
 public class BloomFilters {

     /**
      * 数组长度
      */
     private int arraySize;

     private int[] array;

     public BloomFilters(int arraySize){
         this.arraySize = arraySize;
         array = new int[arraySize];
     }

     /**
      * 写入数据(经过3次Hash，把数组对应的位置标识为1)
      * @param key
      */
     public void add(String key){
         int first = hashcode_1(key);
         int second = hashcode_2(key);
         int third = hashcode_3(key);

         array[first % arraySize] = 1;
         array[second % arraySize] = 1;
         array[third % arraySize] = 1;
     }

     public int hashcode_1(String key){
         int hash = 0;
         int i ;
         for(i = 0; i < key.length(); i++){
             hash = 33 * hash + key.charAt(i);
         }
         return Math.abs(hash);
     }

     /**
      * FNV1_32_HASH算法
      * @param data
      * @return
      */
     private int hashcode_2(String data){
         final int p = 16777619;
         int hash = (int) 2166136261L;
         for(int i = 0; i < data.length(); i++){
             hash = (hash ^ data.charAt(i)) * p;
         }
         hash += hash << 13;
         hash ^= hash >> 7;
         hash += hash << 3;
         hash ^= hash >> 17;
         hash += hash << 5;

         return Math.abs(hash);
     }

     private int hashcode_3(String key){
         int hash,i;
         for(hash = 0, i= 0; i < key.length();++i){
             hash += key.charAt(i);
             hash += (hash << 10);
             hash ^= hash >> 6;
         }
         hash += hash << 3;
         hash ^= hash >> 11;
         hash += hash << 15;
         return Math.abs(hash);
     }

     /**
      * 判断元素是否存在
      * @param key
      * @return
      */
     public boolean check(String key){
         int first = hashcode_1(key);
         int second = hashcode_2(key);
         int third = hashcode_3(key);

         if(array[first % arraySize] == 0){
             return false;
         }

         if(array[second % arraySize] == 0){
             return false;
         }

         if(array[third % arraySize] == 0){
             return false;
         }
         return true;
     }

 }

运行结果:

检查1: true
检查2: true
检查3: true
检查999999: true
检查400230340: false
执行时间:2261