数据存储在数据库中,为了加快业务访问的速度,我们将数据库中的一些数据放在缓存中,那么问题来了,如何确保db和缓存中数据的一致性呢?我们列出了5种方法,大家都了解一下,然后根据业务自己选择。

方案1

获取缓存逻辑

使用过定时器,定时刷新redis中的缓存。

db更新数据逻辑

更新数据不用考虑缓存中的数据,直接更新数据就可以了

存在的问题

缓存中数据和db中数据一致性可能没有那么及时,不过最终在某个时间点,数据是一致的。

方案2

获取缓存逻辑

c1:根据key在redis中获取对应的value

c2:如果value存在,直接返回value;若value不存在,继续下面步骤

c3:从数据库获取值,赋值给value,然后将key->value放入redis,返回value

更新db逻辑

u1:开始db事务

u2:更新数据

u3:提交db事务

u4:删除redis中当前数据的缓存

存在的问题

  1. 上面u3成功,u4失败,会导致db数据更新成功,缓存删除失败,结果:db和缓存数据不一致
  2. 如果同时有很多线程到达c2发现缓存不存在,同时请求c3访问db,会对db造成很大的压力

方案3

获取缓存逻辑

c1:根据key在redis中获取对应的value

c2:如果value存在,直接返回value;若value不存在,继续下面步骤

c3:从数据库获取值,赋值给value,然后将key->value放入redis,返回value

更新db逻辑

u1:删除redis中当前数据的缓存

u2:开始db事务

u3:更新数据

u4:提交db事务

存在的问题

  1. 更新数据的线程执行u1成功之后,u2还未执行时,此时获取缓存的线程刚好执行了c1到c3的逻辑,此时会将旧的数据放入redis,结果:db和缓存数据不一致
  2. 同样存在方案2中说到的问题:如果同时有很多线程到达c2发现缓存不存在,同时请求c3访问db,会对db造成很大的压力

方案4

对方案2做改进,确保db更新成功之后,删除缓存操作一定会执行,我们可以通过可靠消息来实现,可靠消息可以确保更新db操作和删除redis中缓存最终要么都成功要么都失败,依靠的是最终一致性来实现的。

改进之后过程如下。

获取缓存逻辑

c1:根据key在redis中获取对应的value

c2:如果value存在,直接返回value;若value不存在,继续下面步骤

c3:从数据库获取值,赋值给value,然后将key->value放入redis,返回value

更新db逻辑

u1:开始db事务

u2:更新数据

u3:投递删除redis缓存的消息

u4:提交db事务

消息消费者-清理redis缓存的消费者

接受到清理redis缓存的消息之后,将redis中对应的缓存清除。

存在的问题

  1. 更新db和清理redis中的缓存之间存在一定的时间延迟,这段时间内,redis缓存的数据是旧的,也就是说这段时间内db和缓存数据是不一致的,但是最终会一致,这个不一致的时间可能比较小(这个需要看消息消费的效率了)
  2. 同样存在方案2中说到的问题:如果同时有很多线程到达c2发现缓存不存在,同时请求c3访问db,会对db造成很大的压力

关于可靠消息的,可以看

方式5

我们先了解一些知识。

redis中几个方法

get(key)

获取key的值,如果存在,则返回;如果不存在,则返回nil

setnx(key,value)

setnx的含义就是SET if Not Exists,该方法是原子的,如果key不存在,则设置当前key成功,返回1;如果当前key已经存在,则设置当前key失败,返回0

del(key)

将key对应的值从redis中删除

数据库相关知识

select v from t where t.key = #key# for update;

update t set v = #v# where t.key = #key#;

上面两个sql会相互阻塞,直到其中一个提交之后,另外一个才可以继续执行。

下面我们就通过上面的知识来实现db和缓存强一致性。

更新数据逻辑

1.打开db事务
2.update t set v = #v# where t.key = #key#;
3.根据key删除redis中的缓存:RedisUti.del(key);
4.提交db事务

获取缓存逻辑

/*公众号:路人甲Java
* 工作10年的前阿里P7分享Java、算法、数据库方面的技术干货!
* 坚信用技术改变命运,让家人过上更体面的生活。*/
public class CacheUtil { //根据key获取缓存中对应的value
public static String getCache(String key) throws InterruptedException {
String value = RedisUtils.get(key);
if (value != null) {
return value;
}
//过期时间为当前时间+5秒
String expireTimeKey = key + "ExpireTime";
long expireTimeValue = System.currentTimeMillis() + 5000;
//setnx是原子操作,所以只有一个会成功
int setnx = RedisUtils.setnx(expireTimeKey, expireTimeValue + "");
if (setnx == 0) {
expireTimeValue = Long.valueOf(RedisUtils.get(expireTimeKey));
//如果expireTimeValue小于当前时间,说明expireTimeKey过期了,将其删除
if (System.currentTimeMillis() > expireTimeValue) {
//将expireTimeKey对应的删除
RedisUtils.del(expireTimeKey);
} else {
//休眠1秒继续获取
TimeUnit.SECONDS.sleep(1);
}
//重试
return getCache(key);
} else {
//1. 开启db事务
start transaction;
//2. 执行select v from t where t.key = #key# for update; 将v的值赋值给value
select v from t where t.key = #key# for update;
RedisUtils.set(key, value);
//3.提交db事务
commit transaction;
}
return value;
} //redis工具类,内部方法为伪代码
public static class RedisUtils {
//根据key获取value
public static String get(String key) {
return null;
} //设置key对应的value
public static void set(String key, String value) {
} //删除redis中一个key对应的值
public static void del(String key) {
} //setnx的含义就是SET if Not Exists,该方法是原子的,如果key不存在,
//则设置当前key成功,返回1;如果当前key已经存在,则设置当前key失败,返回0
public static int setnx(String key, String value) {
return 1;
}
}
}

这种方式可以确保db和redis中缓存同一时间强一致。

expireTimeKey为了防止某些线线程执行RedisUtils.setnx(expireTimeKey, expireTimeValue + "");返回1,表示setnx成功了,然后执行下一行代码的时候系统后挂了,会导致将db数据加载到redis中失败,代码:if (System.currentTimeMillis() > expireTimeValue) 是给其他线程机会,可以获取这个过期时间,发现过期之后直接删掉,这样其他线程才有机会将db数据load到redis中。

工作10年的前阿里P7分享Java、算法、数据库方面的技术干货!坚信用技术改变命运,让家人过上更体面的生活!喜欢的请关注公众号:路人甲Java

聊聊db和缓存一致性的5种实现方式的更多相关文章

  1. 环形缓存RingBuf的几种实现方式(数组,链表),及Disruptor的分析

    先贴个头文件的设计: 首先缓冲区中没有任何数据时,nIdWrite.nIdRead读写下标都为0. 为了判断缓冲区中是否还有数据可读或者可写,我判断的依据是:1)当nIdWrite 等于 nIdRea ...

  2. 缓存一致性?get💡

    大家好,我是老三,今天又是被算法致郁的一天,写篇文章缓一缓. 这篇文章,我们来看看缓存一致性问题. 缓存一致性 我接下来会巴巴说一堆缓存一致性,但是-- 作为一名暴躁老哥,我先把结论撂这了! 缓存和数 ...

  3. 分布式理论(4):Leases 一种解决分布式缓存一致性的高效容错机制(转)

    作者:Cary G.Gray and David R. Cheriton 1989 译者:phylips@bmy 2011-5-7 出处:http://duanple.blog.163.com/blo ...

  4. 适用于app.config与web.config的ConfigUtil读写工具类 基于MongoDb官方C#驱动封装MongoDbCsharpHelper类(CRUD类) 基于ASP.NET WEB API实现分布式数据访问中间层(提供对数据库的CRUD) C# 实现AOP 的几种常见方式

    适用于app.config与web.config的ConfigUtil读写工具类   之前文章:<两种读写配置文件的方案(app.config与web.config通用)>,现在重新整理一 ...

  5. 缓存一致性和跨服务器查询的数据异构解决方案canal

    当你的项目数据量上去了之后,通常会遇到两种情况,第一种情况应是最大可能的使用cache来对抗上层的高并发,第二种情况同样也是需要使用分库 分表对抗上层的高并发...逼逼逼起来容易,做起来并不那么乐观, ...

  6. Redis缓存穿透、击穿、雪崩,数据库与缓存一致性

    Redis作为高性能非关系型(NoSQL)的键值对数据库,受到了广大用户的喜爱和使用,大家在项目中都用到了Redis来做数据缓存,但有些问题我们在使用中不得不考虑,其中典型的问题就是:缓存穿透.缓存雪 ...

  7. 由一个bug引发的SQLite缓存一致性探索

    问题 我们在生产环境中使用SQLite时中发现建表报“table xxx already exists”错误,但DB文件中并没有该表.后面才发现这个是SQLite在实现过程中的一个bug,而这个bug ...

  8. Java的多线程机制系列:(二)缓存一致性和CAS

    一.总线锁定和缓存一致性 这是两个操作系统层面的概念.随着多核时代的到来,并发操作已经成了很正常的现象,操作系统必须要有一些机制和原语,以保证某些基本操作的原子性.首先处理器需要保证读一个字节或写一个 ...

  9. 缓存一致性(Cache Coherency)入门

    作者: Fabian “ryg” Giesen  来源: infoq 参考原文:http://fgiesen.wordpress.com/2014/07/07/cache-coherency/ 本文是 ...

随机推荐

  1. android 之图片异步加载

    一.概述 本文来自"慕课网" 的学习,只是对代码做一下分析 图片异步加载有2种方式:  (多线程/线程池) 或者 用其实AsyncTask , 其实AsyncTask底层也是用的多 ...

  2. Docker入门到实践——简单操作

    1.对比传统虚拟机总结 特性 容器 虚拟机 启动 秒级 分钟级 硬盘使用 一般为MB 一般为GB 性能 接近原生 弱于 系统支持量 单机支持上千个容器 一般几十个 2.基本概念 Docker包括三个基 ...

  3. zookeeper与kafka集群部署实现

    ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作.最终, ...

  4. a149: 乘乘樂

    题目: 你拿到一个整数,却忍不住想把每个位数都乘在一起.例如看到356就会想要知道3 * 5 * 6的值为何.快写个程序帮帮为了乘数字而快发疯的自己吧! 思路:把这个数每一位%10,并且再将它每次/1 ...

  5. spring-boot集成spark并使用spark-sql

    首先添加相关依赖: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="h ...

  6. error LNK1104: 无法打开文件“opencv_world331.lib” LINK : fatal error LNK1104: 无法打开文件“opencv_world331.lib”,程序报这个错误时应该怎么解决?

    这几天被这个错误搞得很头大,看了很多大神的解决办法,涉及到opencv的版本的windows的操作系统等各种知识,但是我尝试了很多办法最终都没有解决.今天晚上突然想到之前遇到这种无法打开lib文件时, ...

  7. [大数据学习研究] 4. Zookeeper-分布式服务的协同管理神器

    本来这一节想写Hadoop的分布式高可用环境的搭建,写到一半,发现还是有必要先介绍一下ZooKeeper这个东西. ZooKeeper理念介绍 ZooKeeper是为分布式应用来提供协同服务的,而且Z ...

  8. Linux 笔记 - 第五章 Linux 用户与用户组管理

    博客地址:http://www.moonxy.com Linux 是一个多用户的操作系统,在日常的使用中,从安全角度考虑,应该尽量避免直接使用 root 用户登录,而使用普通用户. 1. 关于用户 u ...

  9. Salesforce学习之路-developer篇(二)利用Jenkins和Bitbucket实现Salesforce的CI/CD功能

    上文提到,基于CRM的二次开发是必不可少的,但是在实际项目中CI/CD是不可忽略的一个重要部分,与传统的Java,Python项目不同,如果对Salesforce进行持续集成和持续部署呢? 结合找到的 ...

  10. Python的未来发展方向

    Python是一种跨平台的计算机程序设计语言. 是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越来越多被用于独立的.大型项目的开发. ...