简化布隆过滤器——BitMap

简化布隆过滤器——BitMap

前言

前段开发项目试就发现，一部分的代码实现存在着一些性能上的隐患。但当时忙于赶进度和由于卡发中的不稳定因素，想了许多解决方案也没有机会实施。最近，正好趁个机会进行一系列的改进。

我在团队开发中负责开发服务器端。所以在编写业务逻辑层时，常常遇到以下这样的业务逻辑：
1. 判断一个用户是否为在自己的好友列表中
2. 判断一条动态是否已被用户翻阅
3. 判断两个用户的标签的匹配度
4. .....等等
这些情况，我之前的方案是采用数据库来解决，为每条记录添加标记，需要查询时则遍历返回相应的集合。

但是随着用户量的不断增多、各个用户之间的关系不断地增加、以及用户使用软件的一系列行为中这些情况是非常频繁的，这样频繁遍历大量的记录的读操作会给数据库带来难以承受的压力。

那么如何需找一种更好的解决方案？
既能减少数据库需要遍历的记录数量且快速索引，又能用少量的内存表示大量的数据。
其实如果我们对这一类型的业务逻辑进行抽象，可以得到：本质上就是判断一个元素是否存在于集合中
所以我们可以采用位数组，通过数组的下标能快速地定位某个元素，用bit表示相应的内容能够节省大量的空间。

但是这样结构依旧不够完美，如果数据量相对较少，数组中会存在大量的无用数据， 如长度为1024的byte数组中的只有少量位被表示为1，大量位依然是0。
此时我们可以采用游程编码压缩byte数组。如上图的游程编码后的结果可以表示为[3, 0, 2, 0, 2, 0, 1, 0 ]

一、Bitmap介绍

Bitmap：被设计为一种用bit数组来储存表示2种状态的紧凑、快速索引的数据结构(当然Java的util包中也实现这类型的数据结构—BitSet(不过并不是Set))

二、BitMap主要原理

其实说开来，Bitmap就是一个位数组而已，有着快速访问优势(下标访问)，以及极小占用(用1bit来表示)

三、BitMap的主要设计

有点美中不足的是，Java中并没有提供bit这样的数据类型，即便是最小的数据类型byte也要占用8bit。这样就需要进行一些位运算来完成相应的操作，使得代码变得稍微复杂。
1. BitMap的内部通过byte数组实现
2. BitMap的基本操作：增删改查

 void  Set(int  position);		/* 将某位置"1" */
	boolean  Get(int  position);	/* 判断某位的值 */
	void  Clear(int  postion);		/* 将某位置"0" */

Set()的实现原理

废话不多说，直接看图

主要分为两个步骤：
1. 先将一个byte类型的”1”左移4位，得到结果
2. 再进行简单的或运算，得到结果并覆盖原来的值

Get()的实现原理

理解了上面的例子，相信这个应该就很简单了
同样是两步：
1. 先将一个byte类型的”1”左移3位，得到结果
2. 再进行与操作，得到结果并覆盖原来的值

或许这里会有些疑问，为什么不考虑用boolean？
首先，Java规范中没有强制规定boolean所占内存的大小。而且大部分计算机允许分配的最小内存单元为8bit

四、可以用运用BitMap解决问题的实用场景

大多可以运用的场景主要是两个方面：
这里以标签匹配为例子，开发中一个用户与各个用户之间的标签匹配度是令人头疼的问题，通过匹配标签字符串或者标签ID，这样的效果都不能太让人满意，在数据库中的保存也颇为麻烦。

一、快速索引

假如，每个用户都有一个这样小小的长度为40的byte数组，那么用户就可以用它来表示320种标签。而且能够快速的查询，通过bitarray[tag_id]这样的访问方式可以极快查到，用户是否选取了这个标签，能够快速地计算与各个用户之间的标签匹配度

二、数据压缩

那么像第一点说的那样，长度为40的byte数据便可以保存320种标签信息，但它内存大小只有40B。而且这还是没有进行游程编码压缩之前的大小

五、Java实现

/**
 * Created by auhnayuil on 17-6-7.
 */
public class BitMap {

    public static final int DEFAULT_SIZE = 1024;

    public static final boolean EXIST = true;

    public static final boolean NULL = false;

    public static final short bits = 8;

    private byte[] bitArray;

    private int size;

    public BitMap(){
        this(DEFAULT_SIZE);
    }

    public BitMap(byte[] bitArray){
        this.size = bitArray.length * bits;
        this.bitArray = bitArray;
    }

    public BitMap(int defaultSize) {
        this.size = defaultSize * bits;

        this.bitArray = new byte[defaultSize];
    }

    public BitMap(int size, boolean elem){
        this(size);

        if(EXIST == elem) {
            for (int i = 0; i
                bitArray[i] = (byte) ~bitArray[i];
        }
    }

    public int size(){
        return size;
    }

    public int index(int position){
        int idx = (position + bits - 1) / bits; 
        return idx - 1;
    }

    public int offset(int position){
        int ofs = position % 8;
        return (ofs == 0 ? ofs : 8 - ofs);
    }

    public void setBit(int position){
        if(position > size)
            return ;

        int idx = index(position);
        int ofs = offset(position);
        bitArray[idx] |= (byte)(1
    }

    public boolean getBit(int position){
        if(position > size)
            return false;

        int idx = index(position);
        int ofs = offset(position);
        byte tmp = (byte)(bitArray[idx] & (1

        return tmp != 0;
    }

    public void setBitArray(byte[] bitArray){
        this.bitArray = bitArray;
    }

    public byte[] getBitArray(){
        return bitArray;
    }

    public String byteToStr(int position){
        byte b = bitArray[index(position)];

        StringBuffer sb = new StringBuffer("");
        for(int i=bits-1; i>-1; i--)
            sb.append((byte)((b >> i) & 0x1));
        return sb.toString();
    }
}