1.Redis 缓存和 MySQL 数据如何实现一致性

  • 需求起因

  • 缓存和数据库一致性解决方案

  在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节。所以,就需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问MySQL等数据库。

  读取缓存步骤一般没有什么问题,但是一旦涉及到数据更新:数据库和缓存更新,就容易出现缓存(Redis)和数据库(MySQL)间的数据一致性问题。

  不管是先写MySQL数据库,再删除Redis缓存;还是先删除缓存,再写库,都有可能出现数据不一致的情况。

  举一个例子:

1.如果删除了缓存Redis,还没有来得及写库MySQL,另一个线程就来读取,发现缓存为空,则去数据库中读取数据写入缓存,此时缓存中为脏数据。

2.如果先写了库,在删除缓存前,写库的线程宕机了,没有删除掉缓存,则也会出现数据不一致情况

  因为写和读是并发的,没法保证顺序,就会出现缓存和数据库的数据不一致的问题。

  如来解决?这里给出两个解决方案,先易后难,结合业务和技术代价选择使用。

缓存和数据库一致性解决方案

1.第一种方案:采用延时双删策略

  在写库前后都进行redis.del(key)操作,并且设定合理的超时时间。

伪代码如下

public void write(String key,Object data){
    redis.delKey(key);
    db.updateData(data);
    Thread.sleep(500);
    redis.delKey(key);
}

2.具体的步骤就是:

1)先删除缓存

2)再写数据库

3)休眠500毫秒

4)再次删除缓存

那么,这个500毫秒怎么确定的,具体该休眠多久呢?

需要评估自己的项目的读数据业务逻辑的耗时。这么做的目的,就是确保读请求结束,写请求可以删除读请求造成的缓存脏数据。

当然这种策略还要考虑redis和数据库主从同步的耗时。最后的的写数据的休眠时间:则在读数据业务逻辑的耗时基础上,加几百ms。比如:休眠1秒。

3.设置缓存过期时间

从理论上来说,给缓存设置过期时间,是保证最终一致性的解决方案。所有的写操作以数据库为准,只要到达缓存过期时间,则后面的读请求自然会从数据库中读取新值然后回填缓存。

4.该方案的弊端

结合双删策略+缓存超时设置,这样最差的情况就是在超时时间内数据存在不一致,而且又增加了写请求的耗时。

  第二种方案:异步更新缓存(基于订阅binlog的同步机制)

  1.技术整体思路:

    MySQL binlog增量订阅消费+消息队列+增量数据更新到redis

  1)读Redis:热数据基本都在Redis

  2)写MySQL:增删改都是操作MySQL

  3)更新Redis数据:MySQ的数据操作binlog,来更新到Redis

  2.Redis更新

  1)数据操作主要分为两大块:

一个是全量(将全部数据一次写入到redis)

一个是增量(实时更新)

这里说的是增量,指的是mysql的update、insert、delate变更数据。

  2)读取binlog后分析 ,利用消息队列,推送更新各台的redis缓存数据。

  这样一旦MySQL中产生了新的写入、更新、删除等操作,就可以把binlog相关的消息推送至Redis,Redis再根据binlog中的记录,对Redis进行更新。

  其实这种机制,很类似MySQL的主从备份机制,因为MySQL的主备也是通过binlog来实现的数据一致性。

  这里可以结合使用canal(阿里的一款开源框架),通过该框架可以对MySQL的binlog进行订阅,而canal正是模仿了mysql的slave数据库的备份请求,使得Redis的数据更新达到了相同的效果。

  当然,这里的消息推送工具你也可以采用别的第三方:kafka、rabbitMQ等来实现推送更新Redis。

总结

第一种

  • 读的时候,先读缓存,缓存没有的话,读数据库,取出数据后放入缓存,同时返回响应。
  • 更新的时候,先删除缓存,在更新数据库。

第二种

  • 读的时候,先读缓存,缓存没有的话,读数据库,取出数据后放入缓存,同时返回响应。
  • 更新的时候,先更新数据库,再删除缓存。

  第二种是Cache Aside Pattern的原本思路,用的比较多,第一种也有在用。为什么会造成这两种分歧勒?原因在于:

  第一种方案引入了缓存-数据库双写不一致的问题,即读数据(写缓存)与修改数据(写数据库)并发的情况下,若修改数据数据库事务还没提交,但是已经把缓存从redis中删除,此时来了个读请求,会把旧的数据刷到缓存里面,这样就导致了缓存中的数据直到下一次修改数据库之前肯定是与数据库不一致的。

  第二种方案引入了另外一个问题,在提交事务之后,若更新缓存失败,也会导致缓存数据库不一致。

  facebook公司用的是第二种方案,因为在高并发的情况下,第一种方案带来的影响肯定比第二种方案要大。因为:

  • 第一:导致更新缓存失败的情况概率是很小的,就算发生了,那么问题就大了,比起解决缓存和数据库不一致,更应该加强Redis架构的可用性。
  • 第二,高并发情况下第一种情况发生的概率是很高的。、

  其实个人觉得在没有读写分离的情况下就用第二种方案就够了,引入redis主从架构解决redis可用性就完了,另外,我们可以为缓存设置过期时间,减小第二种方案极端情况下数据库缓存不同步造成的影响。

  这是不是说第一种方案完全不可以用勒,也不是,在保证双写串行化的情况下,我们也能够使用第一种方案,但这种方式会牺牲一定的性能,如通过内存队列的形式。比如:

  读请求没读到缓存就往内存队列丢一个消息,去更新缓存,同时自己开始轮询缓存。针对写请求,也把数据库更新的操作发送到队列里面去。然后后台线程轮询获取内存队列元素,消费信息。用内存队列的方式将更新缓存和删除缓存的操作给串行化起来。这里可以优化的是

  • 第一: 后台内存队列可以多个,通过业务IdHash分发到不同的内存队列当中,只需要保证同一业务id的双写是串行化的就行。
  • 第二:为了避免无意义的缓存更新消息连续,可以维护一个map,键为产品id,值为一个Boolean值,boolean值标记的是否需要将更新缓存操作推到对队列中(当消费删缓存消息置为ture,当消费写缓存消息置为false)。但这里需要慎重,根据业务量来,如果有100万条数据,这个map的大小会占用到15MB。

另外也可以粗暴的加锁,对读和写加锁串行化,方案实现起来较简单一点。

如果引入了读写分离

  但是如果引入了读写分离怎么办勒,由于主从同步延迟,如果采取上面的两种方案,在极端情况下,有可能导致读请求写入缓存中的可能是旧数据。这里根据网上的资料纸上谈兵分析一下,如果严格要求这种情况下也要保住缓存数据库一致性的话,只有通过引入阿里的canel组件,实现针对从库binlog日志的消费逻辑,等到从库更新之后再去删除缓存了。总结一下,在读写分离的情况下,直接使用上面的方案二就可。但如果引入了读写分离,可以采用上面所述的根据从库的Binlog日志来异步更新缓存,但没有具体实操,可能代价有点大,如果没有严格要求缓存数据库一致性,个人觉得可以不采用,实在不行直接放弃

分布式-技术专区-Redis和MySQL缓存一致性问题的更多相关文章

  1. 分布式-技术专区-Redis分布式锁原理实现

    在很多场景中,我们为了保证数据的最终一致性,需要很多的技术方案来支持,比如分布式事务.分布式锁等.那具体什么是分布式锁,分布式锁应用在哪些业务场景.如何来实现分布式锁呢?今天来探讨分布式锁这个话题. ...

  2. 分布式-技术专区-Redis分布式锁实现-第一步

    承接前面一篇Redis分布式锁的原理介绍 https://www.cnblogs.com/liboware/p/11921759.html 我们针对于实现方案进行接下来上篇进行重新的规划和定义以及完善 ...

  3. 分布式-技术专区-Redis并发竞争key的解决方案详解

    Redis缓存的高性能有目共睹,应用的场景也是非常广泛,但是在高并发的场景下,也会出现问题:缓存击穿.缓存雪崩.缓存和数据一致性,以及今天要谈到的缓存并发竞争.这里的并发指的是多个redis的clie ...

  4. Docker安装canal、mysql进行简单测试与实现redis和mysql缓存一致性

    一.简介 canal [kə'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费. 早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求 ...

  5. 分布式-技术专区-Redis分布式锁实现-第二步

    再上次篇章中汇集了相关的分布式锁的概念进行控制,接下来我们采用的是注解声明式开发服务方案,进行声明式开发代替编程式开发方案.  1.利用aop实现分布式锁2.只用在方法上加个注解,同时加上了重试机制 ...

  6. 使用redis做mysql缓存

    应用Redis实现数据的读写,同时利用队列处理器定时将数据写入mysql. 同时要注意避免冲突,在redis启动时去mysql读取所有表键值存入redis中,往redis写数据时,对redis主键自增 ...

  7. Redis - 读写模式 - 缓存一致性

    Cache Aside Pattern(旁路缓存模式) 读:从cache中读取数据,若读取到则直接返回:cache中不存在则去database中读取,然后更新到cache. 写:先更新database ...

  8. redis 作为 mysql的缓存

    使用redis做为MySQL的缓存   介绍 在实际项目中,MySQL数据库服务器有时会位于另外一台主机,需要通过网络来访问数据库:即使应用程序与MySQL数据库在同一个主机中,访问MySQL也涉及到 ...

  9. 搞懂分布式技术14:Spring Boot使用注解集成Redis缓存

    本文内容参考网络,侵删 本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 https://github.com/h2pl/Java-Tutor ...

随机推荐

  1. mysql 性能调优 参数随写

    set global innodb_buffer_pool_size = 12*1024*1024*1024;set global bulk_insert_buffer_size = 12582912 ...

  2. a标签的锚点链接

    <a href="#creditor" class="clearfix nav_creditor"> <div class="sec ...

  3. Linux Kernel中所應用的數據結構及演算法

    Linux Kernel中所應用的數據結構及演算法 Basic Data Structures and Algorithms in the Linux kernel Links are to the  ...

  4. python3 tkinter模块小项目联系之邮箱客户端

    # -*- coding:utf-8 -*- from tkinter import * from tkinter.messagebox import askyesno, showerror, sho ...

  5. JS异步事件顺序:setTimeout,async,promise

    为什么最近更新那么频繁,还不是因为笔试的时候瞎了? 先说异步事件执行顺序的规则: 1. 定时器异步队列和promise队列不是同一队列,promise优先级高于setTimeout; 2. 创建pro ...

  6. 链接socket加异常

    try { channel = AmqpClient::Channel::Create("10.10.22.105", 5672, "admin", " ...

  7. 回收子进程——wait/waitpid 与 信号机制

    孤儿/僵尸进程——回收子进程 参考博客:https://blog.csdn.net/qq_35396127/article/details/78725915 :https://www.cnblogs. ...

  8. 基于Kubernetes 的Cloud Native 实战 培训课程安排

    课程安排: 基于Kubernetes 的Cloud Native 实战 课程介绍: 云计算.虚拟化.容器微服务PaaS 技术已经广泛应用于新兴互联网企业(如电商平台.搜索引擎.社交平台网站.位置服务平 ...

  9. Selenium之XPATH定位方法

    转自 https://www.cnblogs.com/hanmk/p/8997786.html https://www.cnblogs.com/hanmk/p/9015502.html 感谢原作者 1 ...

  10. JSP自定义方法标签

    1.自定义方法标签 引入方式示例: <%@ taglib prefix="fns" uri="/WEB-INF/tlds/fns.tld" %> 写 ...