前言

参考资料:《Redis设计与实现 第二版》;

第三部分为独立功能的实现,主要由以下模块组成:发布订阅事务Lua 脚本排序二进制位数组慢查询日志监视器

本篇将介绍 Redis 的二进制位数组慢查询日志监视器。Redis 提供了一些命令操作二进制位数组;通过 SLOWLOG 相关命令可以对慢查询日志进行操作;通过 MONITOR 命令可以进入监视器模式;

与本章相关的 Redis 命令总结在下篇文章,欢迎点击收藏,本篇将不再重复:

《Redis常用命令及示例总结(API)》https://blog.csdn.net/dlhjw1412/article/details/119713214


1. 二进制位数组

1.1 位数组的表示

  • Redis 使用字符串对象来表示位数组,因为字符串对象使用的 SDS 是二进制安全的;
  • 使用逆序保存位数组,下图实际为:1111 0000 1100 0011 1010 0101;
    • 使用逆序保存位数组,可以直接在新扩展的二进制位中完成,不必改动位数组原来已有的二进制位;

1.2 GETBIT 命令的实现

  • GETBIT key offset 命令;
  • 1)计算 byte=offset / 8;byte 值表示位数组的哪个字节;
  • 2)计算 bit=(offset mod 8)+1;bit 值表示在 byte 下标字节的第几个二进制位;
  • 3)根据 byte 和 bit 的值定位 offfset 偏移量指定的二进制位;
  • 4)向客户端返回二进制位的值;

1.3 SETBIT 命令的实现

  • SETBIT key offset value 命令;

  • 1)计算 len=offset/8+1;len 值表示 offset 指定的二进制位至少需要多少字节;

  • 2)根据 len 值进行扩展新空间,如果原位数组长度够则不扩展;

  • 3)计算 byte=offset/8;byte 值表示位数组的哪个字节;

  • 4)计算 bit=(offset mod 8)+1;bit 值表示在 byte 下标字节的第几个二进制位;

  • 5)根据 byte 和 bit 的值定位 offfset 偏移量指定的二进制位 oldvalue,并修改;

  • 6)向客户端返回二进制位 oldvalue 的值;

  • 无扩展操作的 SETBIT 命令示例如下:

  • 带扩展操作的 SETBIT 命令示例如下:

1.4 BITECOUNT 命令的实现

  • 遍历算法

    • 遍历位数组中的每个二进制位,遇到 1 时将计数器值赠 1;
    • 实现简单,效率低;
  • 查表法

    • 对于长度有限的位数组而言,能表示的二进制位有限,而每种排列顺序的 1 的个数是确定的;
    • 查表法是典型的空间换时间策略,节约时间越多,花费内存越大
    • 受 CPU 缓存限制:创建表越大,能加载进缓存的内容越少,缓存不命中的情况越高,缓存的换入换出操作就越频繁,最终影响实际效率;

  • variable-precision SWAR 算法

    • 又称:计算汉明重量法;

    • 一个处理 32 位长度位数的算法示例:

      uint32_t swar(unit32_t i){
      //步骤1:按每2个二进制位为一组分组,各组的十进制为汉明重量
      i = (i & 0x55555555) + ((i >> 1) & 0x55555555);
      //步骤2:按每4个二进制位为一组分组,各组的十进制为汉明重量
      i = (i & 0x33333333) + ((i >> 2) & 0x33333333);
      //步骤3:按每8个二进制位为一组分组,各组的十进制为汉明重量
      i = (i & 0x0F0F0F0F) + ((i >> 4) & 0x0F0F0F0F);
      //步骤4
      i = (i*(0x01010101) >> 24);
      return i;
      }
    • 一个示例如下:



  • Redis 的实现

    • BITCOUNT 命令使用查表法variable-precision SWAR 法两种;

      • 查表法:使用键长为 8 位的表,记录 0000 0000 到 1111 1111 在内的二进制位的汉明重量;
      • variable-precision SWAR 法:每次循环中载入 128 个二进制位,调用 4 次 32 位的variable-precision SWAR 法计算 128 位二进制位的汉明重量;
    • 程序根据未处理的二进制位的数量决定使用哪种算法:
      • 未处理二进制位大于等于 128 位:variable-precision SWAR 法
      • 未处理二进制位小于 128 位:查表法
  • 算法的时间复杂度为:O(n),n 为输入二进制位的数量;

1.5 BITOP 命令的实现

  • BITOP 命令的所有操作都是使用 C 语言内置的位操作来实现的;

    BITOP 命令 C语言操作 说明
    BITOP AND & 逻辑与
    BITOP OR | 逻辑或
    BITOP XOR ^ 逻辑异或
    BITOP NOT ~ 逻辑非

2. 慢查询日志

  • Redis 的慢查询日志功能用于记录执行时间超过给定时长的命令请求,用户可以通过这个功能产生的例子来监视和优化查询速度;

  • 服务器配置有两个和慢查询日志相关的选项:

    • slowlog-log-slower-than 选项:指定执行时间超过多少毫秒的命令请求会被记录到日志上;
    • slowlog-max-len 选项:指定服务器最多保存多少条慢查询日志。采用先进先出的方式;
  • 使用 SLOWLOG 相关命令可以操作慢查询日志;

2.1 慢查询记录的保存

  • 服务器状态中包含与慢查询日志功能相关的属性:

    struct redisServer{
    //...
    // 下一条慢查询日志的 ID
    long long slowlog_entry_id;
    // 保存了所有慢查询日志的链表
    list *slowlog;
    // 服务器配置 slow_log_slower_than 选项的值
    long long slow_log_slower_than;
    // 服务器配置 slowlog_max_len 选项的值
    unsigned long slowlog_max_len;
    };

  • slowlog 链表结构如下:

    typedef struct slowlogEntry{
    // 唯一标识符
    long long id;
    // 命令执行时的时间,格式为 UNIX 时间戳
    time_t time;
    // 执行命令消耗的时间,以微秒为单位
    long long duration;
    // 命令与命令参数
    robj **argv;
    // 命令与命令参数的数量
    int argc;
    } slowlogEntry;

2.2 慢查询日志的阅览与删除

  • SLOWLOG GET [number];打印所有 slow log ,最大长度取决于 slowlog-max-len 选项的值;
  • SLOWLOG LEN;查看当前日志的数量。其值为 slowlog 链表的长度;
  • SLOWLOG RESET;清除所有慢查询日志;

2.3 添加新日志

  • 每次执行命令的之前和之后,程序会记录微秒格式的当前 UNIX 时间戳,两个时间戳之间的差值就是服务器执行命令所消耗的时长;
  • 新的慢查询日志会被添加到 slowlog 链表的表头,如果日志的数量超过 slowlog-max-len 选项的值,那么多出来的日志会被删除;

3. 监视器

  • 执行 MONITOR 命令,客户端可以将自己变为一个监视器,实时打印服务器当前处理的命令请求相关信息;
  • 当一个客户端从普通客户端变为监视器时,该客户端的 REDIS_MONITOR 标识会被打开,该客户端会被添加到 monitors 链表的表尾;
  • 所有监视器都记录在 monitors 链表里;
  • 每次处理命令请求时,服务器会遍历 monitors 链表,将相关信息发送给监视器;


最后

新人制作,如有错误,欢迎指出,感激不尽!
欢迎关注公众号,会分享一些更日常的东西!
如需转载,请标注出处!

Redis | 第10章 二进制数组、慢查询日志和监视器《Redis设计与实现》的更多相关文章

  1. redis 笔记06 发布与订阅、事务、慢查询日志、监视器

    发布与订阅 1. 服务器状态在pubsub_channels字典保存了所有频道的订阅关系:SUBSCRIBE命令负责将客户端和被订阅的频道关联到这个字典里面,而UNSUBSCRIBE命令则负责 解除客 ...

  2. 【笔记】《Redis设计与实现》chapter22 二进制位数组 chapter23 慢查询日志 chapter24 监视器

    chapter22 二进制位数组 22.4 BITCOUNT命令的实现 遍历算法 查表算法 variable-precision SWAP算法 chapter23 慢查询日志 Redis的慢查询日志功 ...

  3. Redis 设计与实现 (八)--排序、慢查询日志、监视器

    一.排序 SORT <key>  对一个数字值的key进行排序 1.alpha 对字符串类型的键进行排序 2.asc / desc redis 默认升序排序asc desc 与之相反 3. ...

  4. C Primer Plus_第10章_数组和指针_编程练习

    1. /*rain.c 针对若干年的降水量数据,计算年降水总量.年降水平均量,以及月降水平均量*/ #include <stdio.h> #define MONTHS 12 #define ...

  5. Redis | 第8章 发布订阅与事务《Redis设计与实现》

    目录 前言 1. 发布订阅 1.1 频道的订阅与退订 1.2 模式的订阅与退订 1.3 发送消息 1.4 查看订阅消息 2. 事务 2.1 事务的实现 2.2 WATCH 命令的实现 2.3 事务的 ...

  6. Redis | 第9章 Lua 脚本与排序《Redis设计与实现》

    目录 前言 1. Lua 脚本 1.1 Redis 创建并修改 Lua 环境的步骤 1.2 Lua 环境协作组件 1.3 EVAL 命令的实现 1.4 EVALSHA 命令的实现 1.5 脚本管理命令 ...

  7. 浅谈Redis之慢查询日志

    首先我们需要知道redis的慢查询日志有什么用?日常在使用redis的时候为什么要用慢查询日志? 第一个问题: 慢查询日志是为了记录执行时间超过给定时长的redis命令请求 第二个问题: 让使用者更好 ...

  8. 【redis 学习系列07】Redis小功能大用处01 慢查询分析以及Redis Shell

    Redis提供了5种数据结构已经足够强大,但除此之外,Redis还提供了诸如慢查询分析.功能强大的Redis Shell.Pipeline.事务与Lua脚本.Bitmaps.HyperLogLog.发 ...

  9. redis实战笔记(10)-第10章 扩展Redis

    本章主要内容   扩展读性能 扩展写性能以及内存容量 扩展复杂的查询   随着Redis的使用越来越多, 只使用一台Redis服务器没办法存储所有数据或者没办法处理所有读写请求的问题迟早都会出现, 这 ...

随机推荐

  1. LP-DDR 和其他 DDR

    一篇技術文檔比較 LP-DDR 和其他 DDR. 就觀念來說,LP-DDR 就是 Low Power 的 DDR:但就架構來說,LP-DDR 和其他 DDR 是截然不同的東西. 他們分屬不同的 JDE ...

  2. STM32中断编程三步曲教你弄会中断设置以及中断优先级设置

    中断作为stm32中必不可少的一个功能,其重要性是不言而喻的因此把中断学习好是根本. 所以今天就来好好啃一下中断配置的知识,俗话说:磨刀不误砍柴工.问题是什么呢?项目中我用到了一个触摸键盘TTP229 ...

  3. mybatis竟然报"Invalid value for getInt()"

    目录 背景 场景 初探 再探 结局 背景 使用mybatis遇到一个非常奇葩的问题,错误如下: Cause: org.apache.ibatis.executor.result.ResultMapEx ...

  4. LCA-离线tarjan模板

    /* *算法引入: *树上两点的最近公共祖先; *对于有根树的两个结点u,v,最近公共祖先LCA(T,u,v)表示一个结点x,满足x是u,v的祖先且x的深度尽可能大; *对于x来说,从u到v的路径一定 ...

  5. si macro macro

    获取 buf 里的 symbol cbuf = BufListCount() msg(cbuf) ibuf = 0 while (ibuf < cbuf) { hbuf = BufListIte ...

  6. Socket `accept queue is full ` 但是一个连接需要从SYN->ACCEPT

    由于标题长度有限制,我把想要描述的问题再次描述下: 内核通常会为每一个LISTEN状态的Socket维护两个队列: 1 accept队列: listen()函数第二个参数BACKLOG指定,表示已完成 ...

  7. Vuex状态管理——任意组件间通信

    核心概念 在Vue中实现集中式状态(数据)管理的一个Vue插件,对vue应用中多个组件的共享状态进行集中式的管理(读/写),也是一种组件间通信的方式,且适用于任意组件间通信. 每一个 Vuex 应用的 ...

  8. webpack 配置devServer 服务器

    webpack 配置devServer 服务器 /** * loader: 1. 下载 2. 使用(配置) * plugins:1. 下载 2. 引入 3.使用 */ // 用来拼接绝对路径的方法 c ...

  9. mysql 禁止外键检查

    SET FOREIGN_KEY_CHECKS=0; SET FOREIGN_KEY_CHECKS=1; from: https://stackoverflow.com/a/15501754/80250 ...

  10. 大一C语言学习笔记(5)---函数篇-定义函数需要了解注意的地方;定义函数的易错点;详细说明函数的每个组合部分的功能及注意事项

    博主学习C语言是通过B站上的<郝斌C语言自学教程>,对于C语言初学者来说,我认为郝斌真的是在全网C语言学习课程中讲的最全面,到位的一个,这个不是真不是博主我吹他哈,大家可以去B站去看看,C ...