redis intset(整数集合)

redis intset (整数集合)

概述

intset 是集合的底层实现结构之一

intset 集合只包含整数

intset 自升级

intset 整数集合是有序的

intset 结构

• 结构

  • // 整数集合
    typedef struct intset {
        // 编码方式
        uint32_t encoding;
        // 集合包含的元素数量
        uint32_t length;
        // 保存元素的数组
        int8_t contents[];
    } intset;
    

• encoding

  • // intset 的编码方式
    // 16 位整数
    #define INTSET_ENC_INT16 (sizeof(int16_t))
    // 32 位整数
    #define INTSET_ENC_INT32 (sizeof(int32_t))
    // 64 位整数
    #define INTSET_ENC_INT64 (sizeof(int64_t))
    

• 虽然 contents 声明时是 int8_t, 但是实际操作是根据 encoding 决定, 如下操作:

  • // 按照指定 enc, 获取 is 中指定 pos 的元素
    static int64_t _intsetGetEncoded(intset *is, int pos, uint8_t enc) {
        int64_t v64;
        int32_t v32;
        int16_t v16;
        // ((ENCODING*)is->contents) 将数组转换回被编码的类型
        // memcpy(&vEnc, ..., sizeof(vEnc)) 将数组以指定编码进行拷贝
        if (enc == INTSET_ENC_INT64) {
            memcpy(&v64,((int64_t*)is->contents)+pos,sizeof(v64));
            memrev64ifbe(&v64);
            return v64;
        } else if (enc == INTSET_ENC_INT32) {
            memcpy(&v32,((int32_t*)is->contents)+pos,sizeof(v32));
            memrev32ifbe(&v32);
            return v32;
        } else {
            memcpy(&v16,((int16_t*)is->contents)+pos,sizeof(v16));
            memrev16ifbe(&v16);
            return v16;
        }
    }
    

自升级

当向整数集合中插入一个新数据时, 若集合原先编码不足以存储新数据, 会触发升级程序, 将所有数据按照新数据的编码重新分配空间并将所有老数据按照新编码重新编码, 具体操作示例如下:

• 添加操作

  • // 向 intset 添加 value 数据
    intset *intsetAdd(intset *is, int64_t value, uint8_t *success) {
        // 计算编码 value 所需的长度
        uint8_t valenc = _intsetValueEncoding(value);
        uint32_t pos;
        // 默认设置插入为成功
        if (success) *success = 1;
        // 如果 value 的编码比整数集合现在的编码要大
        // 那么表示 value 必然可以添加到整数集合中
        // 并且整数集合需要对自身进行升级，才能满足 value 所需的编码
        /*
        * 当新值的编码类型大于当前的编码类型, 会进行升级添加操作 intsetUpgradeAndAdd
        */
        if (valenc > intrev32ifbe(is->encoding)) {
            return intsetUpgradeAndAdd(is,value);
        } else {
            // 省略
    }
    

• 升级添加程序

  • // intset 的升级添加程序
    static intset *intsetUpgradeAndAdd(intset *is, int64_t value) {
        // 当前的编码方式
        uint8_t curenc = intrev32ifbe(is->encoding);
        // 新值所需的编码方式
        uint8_t newenc = _intsetValueEncoding(value);
        // 当前集合的元素数量
        int length = intrev32ifbe(is->length);
        int prepend = value < 0 ? 1 : 0;
        // 更新集合的编码方式
        is->encoding = intrev32ifbe(newenc);
        // 根据新编码对集合（的底层数组）进行空间调整
        is = intsetResize(is,intrev32ifbe(is->length)+1);
        // 根据集合原来的编码方式，从底层数组中取出集合元素
        // 循坏将原数据按照新编码存入相应的位置
        while(length--)
            _intsetSet(is,length+prepend,_intsetGetEncoded(is,length,curenc));
    
        // 设置新值，根据 prepend 的值来决定是添加到数组头还是数组尾
        if (prepend)
            _intsetSet(is,0,value);
        else
            _intsetSet(is,intrev32ifbe(is->length),value);
    
        // 更新整数集合的元素数量
        is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    
        return is;
    }
    

• 自升级的总结

  • 节省了内存空间, 只在集合中出现大于现有编码类型的编码时, 触发升级程序, 对内存进行重新分配
    暂不支持降级操作
    

有序性

intset 的 contents 底层数据是有序的, 从小到大, 在添加数据的时候会找到添加的位置进行添加, 如下:

• 代码

  • // 向 intset 添加数据
    intset *intsetAdd(intset *is, int64_t value, uint8_t *success) {
            // 省略
            // 在添加时会先调用 intsetSearch 查询集合中是否存在 value值
            // 若不存在, 在 pos 参数会存储要添加数据的位置
            if (intsetSearch(is,value,&pos)) {
                if (success) *success = 0;
                return is;
            }
    
            // 运行到这里，表示 value 不存在于集合中
            // 程序需要将 value 添加到整数集合中
            // 为 value 在集合中分配空间
            is = intsetResize(is,intrev32ifbe(is->length)+1);
            if (pos < intrev32ifbe(is->length)) intsetMoveTail(is,pos,pos+1);
        }
        // 将新值设置到底层数组的指定位置中
        _intsetSet(is,pos,value);
        // 增一集合元素数量的计数器
        is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
        // 返回添加新元素后的整数集合
        return is;
    }
    

  • // 从 intset 查询指定 value 值的位置, 并存储在 pos
    static uint8_t intsetSearch(intset *is, int64_t value, uint32_t *pos) {
        int min = 0, max = intrev32ifbe(is->length)-1, mid = -1;
        int64_t cur = -1;
        /* The value can never be found when the set is empty */
        // 处理 is 为空时的情况
        if (intrev32ifbe(is->length) == 0) {
            if (pos) *pos = 0;
            return 0;
        } else {
            // 因为底层数组是有序的，如果 value 比数组中最后一个值都要大
            // 那么 value 肯定不存在于集合中，
            // 并且应该将 value 添加到底层数组的最末端
            if (value > _intsetGet(is,intrev32ifbe(is->length)-1)) {
                if (pos) *pos = intrev32ifbe(is->length);
                return 0;
            // 因为底层数组是有序的，如果 value 比数组中最前一个值都要小
            // 那么 value 肯定不存在于集合中，
            // 并且应该将它添加到底层数组的最前端
            } else if (value < _intsetGet(is,0)) {
                if (pos) *pos = 0;
                return 0;
            }
        }
    
        // 在有序数组中进行二分查找
        while(max >= min) {
            mid = (min+max)/2;
            cur = _intsetGet(is,mid);
            if (value > cur) {
                min = mid+1;
            } else if (value < cur) {
                max = mid-1;
            } else {
                break;
            }
        }
    
        // 检查是否已经找到了 value
        if (value == cur) {
            if (pos) *pos = mid;
            return 1;
        } else {
            if (pos) *pos = min;
            return 0;
        }
    }
    

intset api (src/intset.c)

函数	作用	备注
_intsetValueEncoding	获取传入 v 的编码类型	static uint8_t _intsetValueEncoding(int64_t v)
_intsetGetEncoded	根据给定的编码 enc, 获取整数集合 is 中指定 pos 的元素	static int64_t _intsetGetEncoded(intset *is, int pos, uint8_t enc)
_intsetGet	获取整数集合 is 中指定 pos 的元素	static int64_t _intsetGet(intset *is, int pos)
_intsetSet	设置整数集合 is 中指定 pos 的元素值	static void _intsetSet(intset *is, int pos, int64_t value)
intsetNew	创建一个空整数集合	intset *intsetNew(void)
intsetResize	调整 intset 的大小	static intset *intsetResize(intset *is, uint32_t len)
intsetSearch	从 is 中查找 value, 若找到, 返回1, 并将索引赋值给 *pos	static uint8_t intsetSearch(intset *is, int64_t value, uint32_t *pos)
intsetUpgradeAndAdd	intset 在添加数据时, 会根据数据的大小决定决定是否升级, 此函数为升级函数	static intset *intsetUpgradeAndAdd(intset *is, int64_t value)
intsetMoveTail	将 intset 中指定位置 from 以及之后的数据移到 指定位置 to	static void intsetMoveTail(intset *is, uint32_t from, uint32_t to)
intsetAdd	向 is 中添加值 value	intset *intsetAdd(intset *is, int64_t value, uint8_t *success)
intsetRemove	从 is 中删除值 value	intset *intsetRemove(intset *is, int64_t value, int *success)
intsetFind	检查给定 value 是否存在在 is 中	uint8_t intsetFind(intset *is, int64_t value)
intsetRandom	从 is 中随机获取一个元素	int64_t intsetRandom(intset *is)
intsetGet	获取 is 中指定 pos 的值, 将其存入 value	uint8_t intsetGet(intset *is, uint32_t pos, int64_t *value)
intsetLen	获取 is 的元素长度	uint32_t intsetLen(intset *is)
intsetBlobLen	返回整数集合所占用的字节总数	size_t intsetBlobLen(intset *is)