Redis-缓存有效期与淘汰策略

Redis-缓存有效期与淘汰策略

• 有效期
• 节省空间
• 做到数据弱一致性,有效期失效后,可以保证数据的一致性
• 过期策略
  • Redis过期策略通常有三种:
  • 1.定时过期:
  • 每个设置过期时间的Key,系统还要生成一个定时器来监听时间并进行清除,但是有一个致命的问题,生成这么多定时器,并且监听非常消耗CPU资源,如果高并发时,同时过期的数据很大时,反而会爆CPU,从而影响主业务的性能

  • 1 setex('a',300,'aval')  #设置300s过期2 setex('b',600,'bval')  #设置600s过期

  • 2.惰性过期:
    • 对设置了过期时间的Key,系统不进行监听,当访问这个Key时,才会判断这个Key是否已经过期,如果过期则清除,这种策略虽然可以减轻CPU算力(不用再开线程监听时间),但是如果有些Key一直没有被访问,则就算过期了,由于没有访问,这是也没有对没访问的Key清理,这种数据如果也多了,那内存也就GG了
  • 3.定期过期:
  • 每隔一段时间,扫描expires字典中一定数量的Key,并清除其中已经过期的Key,通过调整定时扫描的时间间隔和每次扫描的限定耗时,可以再不同情况下使得CPU和内存资源达到最优的平衡效果
  • expires字典会保存所有设置了过期时间的Key的过期时间数据,其中,Key是指向键空间中的某个键的指针,value是该键的毫秒精度的UNIX时间戳表示的过期时间,键空间是指Redis集群中保存的所有键
  • Redis中同时使用了惰性过期和定时过期两种过期策略
  • Redis过期删除采用了定期过期,默认100ms检测一次,随机检测expires字典中的一些数据,检测中遇到过期的Key,则进行删除,当我们向Redis访问时,又触发了Redis惰性删除策略,判定Key是否过期,如果过期直接删掉过期的Key.但是如果很巧,Redis一直抽查不到这个Key,我们也一直没有访问,则这样的僵尸数据,一直在吃内存,数据量多了也不太OK,所以Redis实现了缓存淘汰机制
  • 缓存淘汰 eviction
    • Redis本身已经实现了缓存淘汰机制:Redis在对于用于缓存的内存不足时,需要新写入且需要申请额外空间的数据,已经内置了几个处理方案
    • noeviction：当内存不足以容纳新写入数据时,新写入操作会报错。
    • allkeys-lru：当内存不足以容纳新写入数据时,在键空间中,移除最近最少使用的Key
    • allkeys-random：当内存不足以容纳新写入数据时,在键空间中，随机移除某个Key
    • volatile-lru：当内存不足以容纳新写入数据时,在设置了过期时间的键空间中，移除最近最少使用的Key
    • volatile-random：当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,随机移除某个Key
    • volatile-ttl：当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,有更早过期时间的Key优先移除
    • 在Redis  4.x版本以后支持le LFU策略,最少频率使用
    • allkeys-lfu
    • volatile-lfu
    • LRU
    • (Least recently used,最近最少使用):根据数据的历史访问记录来进行淘汰数据,其核心思想是“如果数据最近被访问过,那么将来被访问的几率也更高
    • 基本思路:
    • 1.新数据插入到列表头部
    • 2.每当缓存命中(即缓存数据被访问)则将数据移到列表头部
    • 3.当列表满的时候,将列表尾部的数据丢弃
    • LFU
      • (Least Frequently Used 最近最少使用算法):基于"如果一个数据在最近一段时间内使用次数很少,那么在将来一段时间内被使用的可能性也很小"的思路
      • LFU需要定期衰减

• • • Redis淘汰机制的配置

    •  maxmemory  最大使用内存配置
       maxmemory-policy  volatile-lru  淘汰策略