redis底层数据结构之字典(dict)

字典(dict)

字典又称为符号表或者关联数组、或映射(map)，是一种用于保存键值对(key-value)的抽象数据结构

字典中的每个key都是唯一的，通过key对值来进行查找或修改，时间复杂度为 O(1)

redis的底层数据结构字典又使用了哈希表，一个哈希表包含多个哈希表节点，每个哈希表节点保存了字典中的一个键值对

1 字典结构

typedef struct dict {
    dictType *type;
    void *privdata;
    dictht ht[2];
    int rehashidx;
} dict;

其中：

type：类型特定函数，保存了一系列操作dict的函数， redis会为用途不同的字典设置不同的类型特定函数

privdata：私有数据，需要传给type属性中定义的类型特定函数的可选参数

dictht：哈希表，包含两个元素，每个元素都是一个哈希表，一般情况下，字典只使用 ht[0]哈希表，ht[1]哈希表只会在对 ht[0] 哈希表进行 rehash 时使用

rehashidx：rehash索引，不在进行rehash时，值为 -1

2 dictType(类型特定函数)结构

typedef struct dictType {
    unsigned int (*hashFunction)(const void *key);
    void *(*keyDup)(void *privdata, const void *key);
    void *(*valDup)(void *privdata, const void *obj);
    int (*keyCompare)(void *privdata, const void *key1, const void *key2);
    void (*keyDestructor)(void *privdata, void *key);
    void (*valDestructor)(void *privdata, void *obj);
} dictType;

其中：

hashFunction：计算哈希值的函数

keyDup：复制键的函数

valDup：复制值的函数

keyCompare：对比键的函数

keyDestructor：销毁键的函数

valDestructor：销毁值的函数

3 dictht(哈希表)结构

typedef struct dictht {
    dictEntry **table;
    unsigned long size;
    unsigned long sizemask;
    unsigned long used;
} dictht;

其中：

table：哈希表数组，每一个哈希表数组元素都保存了一对键值对

size：哈希表的大小

sizemask：哈希表掩码，值等于 size-1，用于通过hash算法计算索引值

used：哈希表已使用节点的数量

4 dictEntry(哈希表节点)结构

typedef struct dictEntry {
    void *key;
    union {
        void *val;
        uint64_t u64;
        int64_t s64;
    } v;
    struct dictEntry *next;
} dictEntry;

其中：

key：dict中的key

v：dict的value,可以是一个指针,也可以是uint64_t 整数,也可以是int64_t整数

next：指向下一个哈希表节点的指针，当有hash冲突时，解决hash冲突使用，redis使用链地址法解决哈希冲突

5 字典示意图

存有4个key-value对且没有进行rehash的字典结构如下：

type=REDIS_SET 或 REDIS_HASH

6 hash算法

dict要添加新的key-value对时， redis使用hash算法计算索引值， 根据索引值将key-value对放到哈希表数组的对应位置

redis中计算索引值步骤如下：

1) 计算key的哈希值

使用dict结构的type属性中定义的类型特定函数,计算键(key)的哈希值

redis 使用 MurmurHash2 算法来计算键的哈希值

hash = dict->type->hashFunction(key);

2) 计算索引值

使用哈希表的sizemake属性和哈希值，计算出索引值，根据情况不同:ht[x]可以是 ht[0]或者 ht[1]

index = hash & dict->ht[x].sizemask;

7 hash冲突

哈希表会存在哈希冲突，解决哈希冲突的方法有：开放地址法和链地址法

redis采用的是链地址法，通过next指针可以将多个哈希值相同的键值对连接在一起，用来解决哈希冲突

rehash会增加现有的哈希桶数量，让逐渐增大的entry元素能在更多的桶之间分散保存，减少单个桶中的元素数量，从而减少单个桶中的冲突

8 扩容和收缩(rehash)

当哈希表保存的key-value对太多或太少时，就要通过rehash(重新散列)对哈希表进行扩展或者收缩

dict中存有的两张哈希表：

ht[0]哈希表表示字典正在使用的哈希表，key-value对存在ht[0]中

ht[1]哈希表表示rehash时使用的哈希表，没有申请结点内存空间，只有表结构，不会占用很大的内存空间

步骤如下:

1) 为ht[1]重新分配空间，分配的空间大小取决于要执行的操作，以及ht[0]当前包含的key-value对数量(即ht[0].used的值)

　　a 如果执行的是扩展操作，扩展为原哈希表已使用的空间的2倍

　　b 如果执行的是收缩操作，收缩为原哈希表已使用空间的一半

2) 使用hash算法重新计算键的哈希值和索引，然后将key-value对存放到ht[1]的对应位置上
3) 当ht[0]包含的所有key-value对都迁移到ht[1]之后(ht[0]变为空)，释放ht[0]，将ht[1]设置为ht[0]，rehashidx设置为 -1

9 渐近式rehash

扩容和收缩操作不是一次性、集中式完成的，而是分多次、渐进式完成的

如果哈希表里保存的key-vlaue对的数量在百万级别，那么一次性将所有key-vlaue对rehash，可能会造成redis在一段时间内不能进行别的操作，所以redis采用渐进式rehash，分多次、渐进式完成地将ht[0]里面的key-vlaue对慢慢地rehash到ht[1]

dict中索引计数器变量rehashidx=0表示开始rehash，每次处理请求时将ht[0]索引位置(rehashidx=上一个rehashidx+1)的所有key-value对拷贝到ht[1]，完成拷贝时，rehashidx+1；

渐进式rehash期间，字典的删除、查找、更新等可能会在两个哈希表上进行(不是同时进行)，第一个哈希表没有找到，就会去第二个哈希表上进行查找；但是插入key-value对一定是在新的哈希表上进行

10 扩容和收缩的条件

负载因子 = 哈希表已保存节点数量 / 哈希表大小

1) 扩容操作

a 服务器目前没有在执行bgsave命令或者bgrewriteaof命令并且哈希表的负载因子大于等于1

b 服务器目前正在执行bgsave命令或者bgrewriteaof命令并且哈希表的负载因子大于等于5

2) 收缩操作

a 哈希表的负载因子小于 0.1 ,程序自动开始对哈希表执行收缩操作