这三个问题的发生,会导致大量的请求直接积压到数据库,如果并发量很大,则可能会导致数据库宕机或故障。

缓存雪崩

  描述:大量的请求无法在redis缓存中进行处理而被发送到数据库,导致数据库压力陡增。

产生的原因:

1. redis缓存中大量的数据同时到期,导致大量请求无法在缓存中得到处理。

解决方案:

a.微调过期时间。避免给大量的数据设置相同的过期时间,如果业务一定需要这些数据同时过期,可以在设置过期时间的时候,给这些过期时间增加一个较小的随机数(如1-3分钟),这样不同数据的过期时间有所差别但差别也不是很大。

b.服务降级。雪崩发送时,针对不同的数据采取不同的措施。

(1)非核心数据(如电商商品的属性),暂时停止从缓存获取数据,而且返回预定值,空值或者异常信息。

(2)核心数据,仍然允许查询缓存,缓存中没有则从数据库获取。

2. redis缓存实例发送故障宕机导致无法处理缓存查询请求,使请求积压到数据库层。

解决方案:

a. 在业务系统中实现服务熔断或者请求限流。通过监控负载指标发现雪崩现象的发生,然后启动熔断机制,暂停业务应用对缓存服务的接口访问。而限流则是,在发现雪崩时,限制并发请求数量的访问,如限制到1000,多余的拒绝来降低底层数据库的访问压力。

b.事前预防,构建可靠的redis缓存集群。主节点宕机了,将从节点切换至主节点,继续提供缓存服务。

缓存击穿

描述:针对某个热点数据的频繁访问请求无法在缓存中得到处理,大量请求发送到数据库,数据库访问压力陡增,影响其他访问请求

产生的原因:该种问题多发于热点数据过期访问失效的场景。

解决方案:对于此类热点数据不设置过期时间

缓存穿透

描述:要访问的数据既不在缓存中,也不在数据库中。导致请求在访问缓存时,缓存缺失,在访问数据库时,数据库中也没有要访问的数据。

产生的原因:

1. 业务层误操作,缓存中和数据库中的数据被删除了,所以导致都访问不到

2. 恶意攻击,专门访问数据库中没有的数据,如查询id为-1的数据。

解决方案:

1. 缓存空值或者缺省值。发送此类情况时,可以在redis中缓存一个空值或者缺省值(如默认为0),后续访问可以从redis获取而不是到数据库

2. 使用布隆过滤器先判断数据是否存在,来避免从数据库中查询是否存在,减轻数据库的压力。

布隆过滤器介绍:

描述:布隆过滤器由一个初始值为0的bit数组和N个哈希函数组成

操作流程:

(1)使用N个哈希函数分别计算这个数据的哈希值,得到N个哈希值

(2)把N个哈希值对bit数组的长度取模,得到每个哈希值在数组中的对应位置。

(3)最后把对应位置的bit位设置为1,完成布隆过滤器中标记数据的操作。

使用方法:查询某个数据时,使用上面的计算流程,计算该数据在bit数组中所有对应的位置,只要有一个位置不为1,就表明该数据未被标记过,则不去执行数据库的查询操作。

3. 前端请求检测,主要检测请求的合法性,包括请求参数是否合理,请求参数是否是非法值,请求字段是否存在等。

Redis缓存雪崩,击穿和穿透的更多相关文章

  1. Redis缓存雪崩、缓存穿透、缓存击穿、缓存降级、缓存预热、缓存更新

    Redis缓存能够有效地加速应用的读写速度,就DB来说,Redis成绩已经很惊人了,且不说memcachedb和Tokyo Cabinet之流,就说原版的memcached,速度似乎也只能达到这个级别 ...

  2. redis缓存雪崩、穿透、击穿概念及解决办法

    缓存雪崩 对于系统 A,假设每天高峰期每秒 5000 个请求,本来缓存在高峰期可以扛住每秒 4000 个请求,但是缓存机器意外发生了全盘宕机.缓存挂了,此时 1 秒 5000 个请求全部落数据库,数据 ...

  3. redis缓存雪崩,缓存穿透,缓存击穿的解决方法

    一.缓存雪崩 缓存雪崩表示在某一时间段,缓存集中失效,导致请求全部走数据库,有可能搞垮数据库,使整个服务瘫痪. 使缓存集中失效的原因: 1.redis服务器挂掉了. 2.对缓存数据设置了相同的过期时间 ...

  4. SpringBoot微服务电商项目开发实战 --- Redis缓存雪崩、缓存穿透、缓存击穿防范

    最近已经推出了好几篇SpringBoot+Dubbo+Redis+Kafka实现电商的文章,今天再次回到分布式微服务项目中来,在开始写今天的系列五文章之前,我先回顾下前面的内容. 系列(一):主要说了 ...

  5. Redis缓存雪崩、击穿、穿透

    参考大佬 前言 Redis在互联网技术存储方面使用如此广泛,几乎所有的后端技术面试官都要在Redis的使用和原理方面对小伙伴们进行360°的刁难.作为一个在互联网公司面一次拿一次offer的面霸(请允 ...

  6. Redis 缓存雪崩、穿透、击穿

    缓存雪崩 定义: 同一时间所有 key 大面积失效,比如网站首页的数据基本上都是同一批次去缓存的. 解决方法: ① 存的时候设定随机的失效时间. ② 服务做熔断处理(异常或着慢查询 Hystrix 限 ...

  7. [redis] -- 缓存雪崩和缓存穿透、缓存击穿问题解决方案篇

    缓存雪崩 缓存同一时间大面积的失效,所以,后面的请求都会落到数据库上,造成数据库短时间内承受大量请求而崩掉 解决方案 事前:尽量保证整个redis集群的高可用性,发现机器宕机尽快补上.选择合适的内存淘 ...

  8. 第三节:Redis缓存雪崩、击穿、穿透、双写一致性、并发竞争、热点key重建优化、BigKey的优化 等解决方案

    一. 缓存雪崩 1. 含义 同一时刻,大量的缓存同时过期失效. 2. 产生原因和后果 (1). 原因:由于开发人员经验不足或失误,大量热点缓存设置了统一的过期时间. (2). 产生后果:恰逢秒杀高峰, ...

  9. Redis缓存雪崩、缓存穿透、缓存击穿

    缓存雪崩 Redis中的缓存数据是有过期时间的,当在同一时间大量的缓存同时失效时就会造成缓存雪崩. 解决方案 1.设置Redis中的key永不过期,缺点是会占用很多内存 2.使用Redis的分布式锁S ...

  10. Redis缓存雪崩、缓存穿透、热点Key解决方案和分析

    缓存穿透 缓存系统,按照KEY去查询VALUE,当KEY对应的VALUE一定不存在的时候并对KEY并发请求量很大的时候,就会对后端造成很大的压力. (查询一个必然不存在的数据.比如文章表,查询一个不存 ...

随机推荐

  1. XShell 连接 VMware Linux

    如果你的系统是 Ubuntu,并且是精简安装的系统,极大可能使用ifconfig时会提示你安装相关依赖,所以你安装的时候要记得顺带安装 ifconfig: sudo apt install ifcon ...

  2. Canvas:绘制失败的问题

    beginPath 绘制路径必须添加 beginPath().它标志着一个画笔在画布中哪个地方开始画起.没有它,新起的画笔位置必定与上一次画笔结束的位置相连. // 第一个半圆 ctx.arc(60, ...

  3. 2022年冬pat乙级考试题目及代码解析附部分错误原因

    快考pat乙级了,花了十块钱做了一下去年冬天的pat乙级,不难,现在在花ac之后的时间来写文章,默默许愿几天后的也不难,但是我们也要做好准备啊~ B-1 谣言检测仪 分数 15 作者 陈越 单位 浙江 ...

  4. Win10 笔记本禁用/启用自带键盘

    文章来源:华硕笔记本怎么禁用自带键盘_虽千万里,吾往矣!的博客-CSDN博客_华硕笔记本怎么禁用自带键盘 在小娜搜索栏中输入cmd,找到命令提示符(cmd),并且右键以管理员身份运行. 在弹出的窗口中 ...

  5. Day13 字符串的常用方法

    API帮助文档的使用流程 在索引的位置搜索自己要查看的类 看包 目的:是不是 Java.lang包(核心包),不需要编写导包代码(import) -------不是 java.lang包,都需要编写导 ...

  6. js开发环境如何解决跨域问题

    问题 npm start之后,自己会启动一个端口,比如3000,调用后端服务(比如localhsot:3006/service/list)就会出现跨域,那怎么弄呢? 方式一: webpack设置pro ...

  7. Docker - Can't resolve instance hostname.

    Docker容器无法解析主实例主机名 在为redis集群搭建哨兵的时候遇到这个异常 解决方案:在配置文件中添加: ALLOW_EMPTY_PASSWORD=yes 参考文档:linux - redis ...

  8. 论文阅读: CCF A 2021 PROGRAML:用于数据流分析和编译器优化的基于图的程序表示 (PMLR)

    Motivation:   编译器实现是一项复杂而昂贵的活动.出于这个原因,人们对使用机器学习来自动化各种编译器任务产生了极大的兴趣,大多数工作都将注意力限制在选择编译器启发式或做出优化决策.现有的基 ...

  9. docker搭建图片压测QPS3000+服务器(ftp+nginx)

    docker搭建图片压测QPS3000+服务器(ftp+nginx) 在针对图片算法服务进行压力测试时,需要高性能的图片服务器 自己编写的图片应用性能不一定能达到要求 可能因为图片应用自身达不到压测要 ...

  10. ntpq 详解

    Gentoo(也许其他发行版也是?)中 "ntpq -p" 的 man page 只有简短的描述:"打印出该服务器已知的节点列表和它们的状态概要信息." 我还没 ...