问题描述

单例数据库模式中,后端高并发请求多(读多写少),导致数据库压力过大,关键接口响应变慢,严重影响体验。

需求

减少接口的响应时间。

寻找解决方案

由于问题主要处在数据库压力过大的情况,采用两种优化思路优化查询过程:

  1. 使用缓存分担数据库压力
  2. 对查询数据库过程做优化

缓存方案

更新策略

使用Redis,虽然可以很好地减少数据库的压力,但是同时在高并发的情况下,容易出现数据不一致的情况,尤其是在更新数据的时候。

最常见的导致不一致的原因是双写操作,即高并发情况下短时间内对数据库进行两次写操作。为了最小程度地出现这种情况,缓存在更新策略上采用先更新数据库后删除缓存的方式。

对于双写问题,在最坏情况下,写请求A在更新数据库后,被写请求B先一步更新数据库+删除缓存,然后A请求才删除缓存,也不会导致后续请求读取到错误的值。

对于先写后读,在最坏情况下,写请求A在更新数据库后,被读请求C先一步在缓存读取到旧值,然后A请求才删除缓存,也只会影响这段时间的读请求,删除后的读请求不影响。

对比其他方案(先更新缓存后更新数据库、先删除缓存后更新数据库、先更新数据库后更新缓存)在最坏情况下会导致的错误(更新数据库失败导致缓存是未知值、双写后数据库变成旧值、更新缓存失败导致缓存保存旧值)要好得多。

但是先更新数据库后删除缓存也不是完全安全的,除了上文提到的高并发下先写后读可能读到旧值外,若删除缓存失败,也有可能导致读到旧值。处理方法见下文。

缓存架构

添加缓存,势必要修改业务代码,如何配置架构才能把对代码的入侵性讲到最低,这里使用监听数据库binlog的方法,使用中间件监听mysql的日志,当出现操作时,通知专门的模块来修改缓存,做到修改缓存和业务逻辑解耦。

同时为了解决缓存删除失败的问题,当发生失败时,发送消息至消息队列传递给专门的模块进行重试删除。

中间件选择:

  • 缓存使用Redis
  • 监听binlog使用canal
  • 消息队列使用RocketMQ

架构如下所示:

SQL优化

查询优化可以从两个方面进行:

  1. 根据高频的查询case,遵循最左匹配原则,设置对应的索引或联合索引
  2. 通过了解业务场景,看看能否将一些小SQL合并成大SQL

【性能优化】优雅地优化慢查询:缓存+SQL修改组合拳的更多相关文章

  1. mysql实战优化之九:MySQL查询缓存总结

    mysql Query Cache 默认为打开.从某种程度可以提高查询的效果,但是未必是最优的解决方案,如果有的大量的修改和查询时,由于修改造成的cache失效,会给服务器造成很大的开销. mysql ...

  2. mysql监控优化(一)连接数和缓存

    一.mysql的连接数 MYSQL数据库安装完成后,默认最大连接数是100,一般流量稍微大一点的论坛或网站这个连接数是远远不够的,连接数少的话,在大并发下连接数会不够用,会有很多线程在等待其他连接释放 ...

  3. MySQL查询缓存详解

    一:缓存条件,原理 MySQL Query Cache是用来缓存我们所执行的SELECT语句以及该语句的结果集,MySql在实现Query Cache的具体技术细节上类似典型的KV存储,就是将SELE ...

  4. MYSQL 查询缓存

    查询缓存: 是指对select 语句的结果进行缓存,当下一次运行同样的select语句时,就可以直接返回数据,跳过解析,执行,优化阶段. 1.查询缓存会跟踪查询涉及的表,如果表发生变化,相关的缓存都会 ...

  5. mysql优化之参数优化

    1.优化方式 硬件优化=>系统优化=>mysql配置优化=>SCHEMA优化=>sql优化=>其他解决方案(redis or MongoDB or Cassandra o ...

  6. mysql优化之参数优化(转)

    1.优化方式 硬件优化=>系统优化=>mysql配置优化=>SCHEMA优化=>sql优化=>其他解决方案(redis or MongoDB or Cassandra o ...

  7. 【转】MySQL查询缓存详解

    [转]MySQL查询缓存详解 转自:https://www.cnblogs.com/Alight/p/3981999.html 相关文章:http://www.zsythink.net/archive ...

  8. MySQL查询缓存详解(总结)

    MySQL查询缓存详解(总结) 一.总结 一句话总结: mysql查询缓存还是可以用用试一试,但是更推荐分布式,比如redis/memcache之流,将数据库中查询的数据和查询语句以键值对的方式存进分 ...

  9. 性能优化(一个)Hibernate 使用缓存(一个、两、查询)提高系统性能

    在hibernate有三种类型的高速缓存,我们使用最频繁.分别缓存.缓存和查询缓存.下面我们使用这三个缓存中的项目和分析的优点和缺点. 缓存它的作用在于提高性能系统性能,介于应用系统与数据库之间而存在 ...

  10. Hibernate 性能优化之查询缓存

    查询缓存是建立在二级缓存基础之上的,所以与二级缓存特性相似,是共享的,适合修改不是很频繁的数据 查询缓存不是默认开启的,需要设置      1.在cfg文件中配置 <property name= ...

随机推荐

  1. 【Android异常】关于静态注册BroadcastReceiver接收不到自定义广播的问题

    Android 8.0以上需要setComponent()来指定包名和类名,第1个参数是指接收广播类的包名,第2个参数是指接收广播类的完整类名.静态广播1.先使用Android Studio创建一个广 ...

  2. 关于FPGA学习的疑惑

    记录心路历程--第一次真正意义上的找工作. 最近在学习小梅哥的FPGA的过程中,总是学习着前面的东西忘着后面的,进行了过一次复习,我准备是在每个章节学完之后,再复习之前的章节,可这样是真的很耗费时间. ...

  3. centos6放行防火墙8080端口操作

    1. 进入防火墙文件: [ vi /etc/sysconfig/iptables ] 2. 放行8080端口: [ -A RH-Firewall-1-INPUT -m state --state NE ...

  4. 装了google浏览器不代表就能使用google搜索

    第一步:装google浏览器 第二步:连接外网(FQ的本质就是连接一个服务器) 第三步:输入网址google.com 跳转到此页面即成功 现在的想法是

  5. go语言读取文件的简单使用

    注意:打开文件记得一定要关闭 file, err := os.Open("文件名称") defer file.Close() 一.打开文件 1. file, err := os.O ...

  6. Python Boolean类型 判断

    and 判断非Boolean类型数据会自动转换类型 "A" and "B" → "B" 因为表达式 A 和 B都为True所以返回 &quo ...

  7. .NET 5 WPF 配置文件变动 程序自动刷新 (reloadOnChange)

    using Microsoft.AspNetCore.Builder; using Microsoft.Extensions.Configuration; using Microsoft.Extens ...

  8. C# 根据 RichTextBox 内容 动态 重设其大小 以达到 不会 显示滚动条

    /// <summary> /// 根据内容重设大小以达到不会显示滚动条 /// 测试:正确 /// 时间:202106021957 /// </summary> public ...

  9. liunx密码破解

    重启系统后出现GRUB界面在引导装载程序菜单上,用上下方向键选择你忘记密码的那个系统键入"e" 来进入编辑模式.进入"编辑模式"之后用上下方向键上下移动光标,找 ...

  10. 使用IDEA的webservice工具解析生成的客户端调用远程接口

    由于这个接口的报文格式比较麻烦,是XML的请求头加上JSON格式的请求体,所以看起来比较复杂,也可以用RPC的方式调用,那样需要将请求头和请求体,响应头和响应体建实体.public JSONObjec ...