【虹科干货】Redis 开发者需要了解的缓存驱逐策略
在你搭建并配置了一个Redis数据库之后,Redis成功地提升了应用程序性能。然而这里有一个潜在问题,随着缓存数据的快速增加和内存占用率的逐渐上升,你很快会发现Redis缓存容量即将达到硬件存储容量上限。或许你曾听说用过缓存驱逐来解决这个问题,但究竟是怎么一回事呢?
无论你是在新兴企业中担任开发人员,还是在大型企业中担任系统管理员,了解缓存驱逐策略,并了解何时以及如何使用,都至关重要。在本文中,我们将深入探讨这些细节,让你对缓存驱逐有更清晰的认识。
一、对缓存驱逐的理解
在Redis或任何依赖缓存的系统中,缓存驱逐策略都至关重要。它是解决缓存空间大小和内存占用问题的关键。当缓存数据达到硬件容量上限时,缓存系统必须做出决策:是拒绝接收新的数据,还是通过丢弃旧的数据为新数据腾出空间?
此时,缓存驱逐就发挥作用了。为了保持最佳性能和数据一致性,在缓存达到上限时,缓存系统需要进行一系列判断,以确定应该保留哪些缓存数据,或者需要丢弃哪些缓存数据。
缓存驱逐是指从缓存中删除特定数据的过程。当缓存达到硬件最大存储容量时,必须删除一些数据,为新数据腾出空间。
二、缓存驱逐策略
缓存驱逐策略是一种协议,它解决的问题是当缓存达到上限时,缓存系统需要如何应对。不同的策略对应不同的程序来实现,用于确定应该驱逐(即删除)哪些旧数据。以下是一些常见的策略。
- 最近最少使用(Least Recently Used, LRU):想象一下,您正在整理衣柜,您会优先扔掉哪些物品?是学生时代遗留的格子衬衫,还是近期购入的一顶鸭舌帽?LRU缓存驱逐策略会首先删除近期被访问次数最少的缓存数据。其基本假设是不经常被访问的数据在短期内不会再次被访问。
- 最不频繁使用(Least Frequently Used, LFU):假设你是一名图书管理员,你将如何选择要从图书馆书架上移除的书籍?很可能是那些被借阅次数最少的书籍,这也是LFU缓存驱逐策略的思想。LFU策略会优先驱逐最不经常被访问的缓存数据,其基本假设是近期不再需要这些项目。
- Window TinyLFU(W-TinyLFU):这个策略稍微复杂一些。想象一下,你是一名电台DJ,你希望播放那些受欢迎且最近热门的歌曲。W-TinyLFU缓存驱逐策略根据数据的新旧程度和访问频率判断数据的价值,从而将最有价值的数据保留在缓存中。W-TinyLFU在处理多变的访问模式和分布式缓存环境时尤为有效。
- 生存时间(Time to Live, TTL):想象一下,冰箱里有一盒新鲜的圣女果,如果在冰箱里放太久,就会开始变质。此时,不管你有多喜欢它们,都应该将它们扔掉。TTL在缓存中有类似的概念。每个缓存数据都有一个特定的“过期时间”。一旦达到该时间限制,无论访问频率或最近访问次数如何,数据都会被驱逐。这种策略可以确保过时的数据被及时清除。它适用于需要定期更新数据,并确保缓存不提供旧数据的情况。
策略的有效性取决于具体的使用情况,没有一种策略适用于所有场景。在选择和使用缓存驱逐策略时,需要仔细考虑应用程序的特定需求和数据访问模式。
三、采用默认设置的风险
在Redis中,默认的驱逐策略是易失性LRU(volatile-LRU)。但仅仅依赖默认策略而不了解其潜在影响,就可能存在一定风险。应用程序服务于多样化的用户需求,数据模式和数据驱逐要求可能存在巨大差异。通过正确设置驱逐策略可以预防潜在的问题。
1、第一道防线:监控
首先,我们需要监控缓存性能以确认何时需要进行驱逐操作。我们通过监控工具达成这一目的。
在Redis中,可以通过INFO命令来监控缓存性能,也可以使用第三方监控工具提供更详细的性能分析。
优化缓存性能涉及两个方面,需要根据监控性能时所发现的信息,对缓存设置和缓存驱逐策略进行调整。分布式缓存场景中,监控与调优在确保跨多节点一致、缓存的高效管理时尤为重要。
2、选择合适的Redis驱逐策略
在Redis中,缓存由maxmemory配置指令进行管理,该指令用于设置内存限制。而maxmemory-policy配置指令则根据所选择的缓存驱逐策略来指导Redis进行驱逐决策。这些配置项都存储在redis.conf配置文件中。
Redis提供了多种驱逐策略,但以下几种可能是你最关心的策略。
(1) allkeys-lru
Redis的allkeys-lru策略用于删除最近最少使用的缓存数据,且无论是否设置了过期时间。
- 这个策略中,Redis会额外记录每个键的最后访问时间。每次读取或写入键时,Redis会更新这个信息。
- 当Redis达到内存限制并且需要驱逐数据时,它会寻找最长时间未被访问的键,也就是"最近最少使用"的键。
- 接着,Redis会删除这些键,为新的数据腾出可用的空间。
allkeys-lru策略适用于Redis数据库中的所有键,无论是否设置了过期时间。与volatile-lru策略不同的是,后者仅适用于设置了过期时间的键。
(2) volatile-lru
volatile-lru策略用于删除设置了过期时间的最近最少使用的缓存数据。这个策略适用于那些需要定期刷新数据的场景。
(3) allkeys-lfu
allkeys-lfu策略会删除使用频率最低的键。
- 在这个策略中,Redis会记录每个键的访问频率。每次读取或写入键时,Redis会更新与键相关联的计数器。
- 当Redis达到内存限制时,它会寻找具有最低访问频率的键。
- 然后,Redis会删除这些键,为新的数据腾出可用的空间。
(4) volatile-lfu
与allkeys-lfu类似,volatile-lfu策略仅适用于设置了过期时间的键。且按访问频率评判键的价值,当缓存达到上限时,删除访问频率最低的键。
(5) volatile-ttl
volatile-ttl策略优先删除具有最短TTL的键。
- 这个策略中,Redis会记录每个键的TTL,即键的生存时间。TTL是一个持续时间,在到期之后,键将自动删除。
- 当Redis达到内存限制时,它会寻找具有最短TTL的键,也就是即将过期的键。
- Redis会删除这些键,为新的数据腾出可用的空间。
(6) noeviction
顾名思义,noeviction策略是当Redis达到内存限制并收到写入命令时,不会驱逐任何键,而是返回错误。
- 当Redis达到内存限制并且收到写入命令时,它会检查驱逐策略。
- 如果策略设置为noeviction,则Redis不会驱逐任何键,而是向写入命令返回错误。
- 在这种情况下,应用程序代码需要确定如何处理该错误条件。
事实上,以上每种策略都各有其优缺点,最适合的策略需要依具体业务需求而定。
当处理大量数据时,使用良好结构的缓存,并结合适当的缓存驱逐策略,可以更好地保持缓存的性能。Redis以其丰富的功能成为优秀的缓存解决方案,并为处理大型数据集的应用程序提供了强大的支持。有效的缓存管理不仅能通过缓存命中加快数据检索,还能减轻缓存未命中的影响,使得Redis成为各种用例中可靠且高效的缓存解决方案。
【虹科干货】Redis 开发者需要了解的缓存驱逐策略的更多相关文章
- redis数据结构、持久化、缓存淘汰策略
Redis 单线程高性能,它所有的数据都在内存中,所有的运算都是内存级别的运算,而且单线程避免了多线程的切换性能损耗问题.redis利用epoll来实现IO多路复用,将连接信息和事件放到队列中,依次放 ...
- Redis双写一致性与缓存更新策略
一.双写一致性 双写一致性,也就是说 Redis 和 mysql 数据同步 双写一致性数据同步的方案有: 1.先更新数据库,再更新缓存 这个方案一般不用: 因为当有两个请求AB先后更新数据库后,A应该 ...
- 动手实现 LRU 算法,以及 Caffeine 和 Redis 中的缓存淘汰策略
我是风筝,公众号「古时的风筝」. 文章会收录在 JavaNewBee 中,更有 Java 后端知识图谱,从小白到大牛要走的路都在里面. 那天我在 LeetCode 上刷到一道 LRU 缓存机制的问题, ...
- Redis整合Spring结合使用缓存实例(三)
一.Redis介绍 什么是Redis? redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set( ...
- Redis整合Spring结合使用缓存实例
林炳文Evankaka原创作品.转载请注明出处http://blog.csdn.net/evankaka 摘要:本文介绍了如何在Spring中配置redis,并通过Spring中AOP的思想,将缓存的 ...
- 使用Redis做MyBatis的二级缓存
使用Redis做MyBatis的二级缓存 通常为了减轻数据库的压力,我们会引入缓存.在Dao查询数据库之前,先去缓存中找是否有要找的数据,如果有则用缓存中的数据即可,就不用查询数据库了. 如果没有才去 ...
- Azure Redis Cache作为ASP.NET 缓存输出提供程序
前一篇文章<Azure Redis Cache作为ASP.NET Session状态提供程序 >我们已经知道如何将ASP.NET应用程序Session存储在Redis Cache中,这里我 ...
- 利用Azure Redis Cache构建百万量级缓存读写
Redis是一个非常流行的基于内存的,低延迟,高吞吐量的key/value数据存储,被广泛用于数据库缓存,session的管理,热数据高速访问,甚至作为数据库方式提高应用程序可扩展性,吞吐量,和实施处 ...
- Redis整合Spring结合使用缓存实例(转)
林炳文Evankaka原创作品.转载请注明出处http://blog.csdn.net/evankaka 摘要:本文介绍了如何在Spring中配置redis,并通过Spring中AOP的思想,将缓存的 ...
- redis订阅发布消息操作本地缓存
Redis 本地缓存+远程缓存方案 使用纯java的ehcache作为本地缓存 Reids 作为远程分布式缓存 解决redis缓存压力过大,提高缓存速度,以及缓存性能. Redis和ehcache缓存 ...
随机推荐
- java后台导出表格文件
Java类所需jar包 import java.io.File; import java.io.IOException; import java.io.InputStream; import java ...
- P2709 小B的询问题解
本题需要用到莫队算法 关于莫队算法 莫队算法是一种离线算法,适用于序列中统计区间特定的目标的问题. 时间复杂度通常是 \(O(n \sqrt n)\) 或更高. P2709 小B的询问 点击查看原题 ...
- 基于Taro开发京东小程序小记
一.小程序基础模型 这里要从微信小程序的历史说起,从前身到现在大概分为3个阶段: 阶段1: 微信网页需要用到app的原生能力,微信官方推出了js-sdk 阶段2: 解决移动端白屏问题,采用微信web资 ...
- 反射(Java Reflection)
Java反射机制概述 Reflection(反射)是Java被视为动态语言的关键,反射机制允许程序在执行期借助于ReflectionAPI取得任何类的内部信息,并能直接操作任意对象的内部属性及方法. ...
- MyBatis(lombok)
在ida中安装lombok 在maven中导入依赖 <dependencies> <dependency> <groupId>org.projectlombok&l ...
- TypeScript: 类型别名
类型别名 在 TYPESCRIPT 中,类型别名可以使用 TYPE 关键字来定义.类型别名可以方便地定义一个类型,并为其起一个易于理解的名称,以便在其他地方引用该类型时使用. 示例 type MySt ...
- 代码随想录算法训练营第三天| LeetCode 242.有效的字母异位词 349. 两个数组的交集 1. 两数之和
242.有效的字母异位词 卡哥建议: 这道题目,大家可以感受到数组用来做哈希表给我们带来的遍历之处. 题目链接/文章讲解/视频讲解: https://programmercarl.com ...
- 手把手教你使用人工智能生成游戏 3D 素材
引言 生成式 AI 已成为游戏开发中艺术工作流的重要组成部分.然而,正如我在 之前的文章 中描述的,从文本到 3D 的实用性仍落后于 2D.不过,这种情况正在改变.本文我们将重新审视 3D 素材生成的 ...
- AI绘画StableDiffusion实操教程:冰霜旗袍美女
飞书原文链接,获取更多资源:AI绘画StableDiffusion实操教程:冰霜旗袍美女 前几天分享了StableDiffusion的入门到精通教程:AI绘画:Stable Diffusion 终极炼 ...
- 《最新出炉》系列初窥篇-Python+Playwright自动化测试-14-playwright操作iframe-番外篇
1.简介 通过前边三篇的学习,想必大家已经对iframe有了一定的认识和了解,今天这一篇主要是对iframe的一些特殊情况的介绍和讲解,主要从iframe的定位.监听事件和执行js脚本三个方面进行展开 ...