Redis 原理 - List

List 数据结构

1. Redis 3.2 前,使用 压缩列表zipList 或 双向链表linkedList
   
   当同时满足下面两个条件时,使用zipList存储数据

   • list保存的每个元素长度小于64字节
   • 列表中数据个数少于512个

2. Redis 3.2 及之后的底层实现方式: quickList
   
   quickList 是一个基于 zipList 的双向链表, quickList 的每个节点都是一个 zipList , 结合了双向链表和 zipList 的优点

双向链表就不多说了,就是基础的数据结构

压缩列表(zipList)

struct ziplist<T> {
    int32 zlbytes; // 整个压缩列表占用字节数
    int32 zltail_offset; // 最后一个元素距离压缩列表起始位置的偏移量，用于快速定位到最后一个节点
    int16 zllength; // 元素个数
    T[] entries; // 元素内容列表，挨个挨个紧凑存储
    int8 zlend; // 标志压缩列表的结束，值恒为 0xFF
}

struct entry {
    int prevlen; // 前一个 entry 的字节长度
    int encoding; // 元素类型编码
    byte[] content; // 元素内容
}

• 优势: 内存连续,高效顺序访问,减少内存碎片.
• 劣势: 当数据量过大时,zipList就不那么好用了. 因为为了保证它存储内容在内存中的连续性,插入的复杂度为O(N),而且如果超出zipList内存大小,还会做重新分配的内存空间,并将内容复制到新的地址. 如果数量大的话,重新分配内存和拷贝内存会消耗大量时间. 所以不适合大型字符串,也不适合存储量多的元素..

适用场景: 少量数据, 读远大于写,提供高效的读取操作

快速列表(quickList)

是zipList和linkedList的结合体,是将linkedList按段切分,每一段用zipList来紧凑存储

typedef struct quicklist {
    quicklistNode *head; // 指向quicklist的头节点
    quicklistNode *tail; // 指向quicklist的尾节点
    unsigned long count; // 压缩列表中总元素数量
    unsigned int len; //链表节点的个数 quicklistNode
    int fill : 16; // ziplist大小限定，由list-max-ziplist-size给定
    unsigned int compress : 16; // 节点压缩深度设置，由list-compress-depth给定
} quicklist;

typedef struct quicklistNode {
    struct quicklistNode *prev; // 指向上一个ziplist节点
    struct quicklistNode *next; // 指向下一个ziplist节点
    unsigned char *zl; // 数据指针，如果没有被压缩，就指向ziplist结构，反之指向quicklistLZF结构
    unsigned int sz; // 指向的ziplist的字节数
    unsigned int count : 16; // 指向的ziplist的元素个数
    unsigned int encoding : 2;   /* RAW==1 or LZF==2 */
    unsigned int container : 2;  // 预留字段，存放数据的方式，1--NONE，2--ziplist
    unsigned int recompress : 1;     // 解压标记，当查看一个被压缩的数据时，需要暂时解压，标记此参数为1，之后再重新进行压缩
    unsigned int attempted_compress : 1; /* node can't compress; too small */
    unsigned int extra : 10; // 扩展字段
} quicklistNode;

typedef struct quicklistLZF {
    unsigned int sz; // LZF压缩后占用的字节数
    char compressed[]; // 柔性数组，存放压缩后的ziplist字节数组
} quicklistLZF;

在向quicklist添加一个元素的时候，不会像普通的链表那样，直接新建一个链表节点。而是会检查插入位置的 ziplist 是否能容纳该元素，如果能够容纳，那么就直接保存到ziplist，如果不能容纳，才会新建一个Node节点,并保存到新的 ziplist 中。

总结

quickList 结合了 ziplist 和 双向链表的优点, 相当于把 双向链表 拆分为 一段段的 ziplist , 每一段的 ziplist 是连续存储的, 可以做到高效的顺序访问,有利于减少内存碎片.

List的常用命令

• LPUSH key element ... 向列表的左侧插入一个或多个元素
• RPUSH key element ... 向列表的右侧插入一个或多个元素
• LPOP key 移除并返回列表左侧的第一个元素
• RPOP key 移除并返回列表右侧的第一个元素
• LRANGE key start stop 返回索引范围内的所有元素
• BLPOP key timeout 移除并返回列表左侧的第一个元素,没有元素时会阻塞等待指定的时间
• BRPOP key timeout 移除并返回列表右侧的第一个元素,没有元素时会阻塞等待指定的时间
• 更多的List命令,请查阅 官方文档