Redis（1.8）Redis与mysql的数据库同步（缓存穿透与缓存雪崩）

【1】缓存穿透与缓存雪崩

【1.1】缓存和数据库间数据一致性问题

　　分布式环境下（单机就不用说了）非常容易出现缓存和数据库间的数据一致性问题，针对这一点的话，只能说，如果你的项目对缓存的要求是强一致性的，那么请不要使用缓存。

　　我们只能采取合适的策略来降低缓存和数据库间数据不一致的概率，而无法保证两者间的强一致性。

　　合适的策略包括 合适的缓存更新策略，更新数据库后要及时更新缓存、缓存失败时增加重试机制，例如MQ模式的消息队列。

【1.2】缓存击穿（缓存穿透）问题

　　缓存击穿表示恶意用户模拟请求很多缓存中不存在的数据（数据库也不存在，导致查询为null），由于缓存中都没有，导致这些请求短时间内直接落在了数据库上，导致数据库异常。

　　这个我们在实际项目就遇到了，有些抢购活动、秒杀活动的接口API被大量的恶意用户刷，导致短时间内数据库宕机了，好在数据库是多主多从的，hold住了。　

　　　　把数据库查询为null的情况，也缓存到redis中去，给其 key 赋值 '' 空，到时候在程序里再次查询的时候，该key就存在了，直接返回空字符串或Null给查询端。　　

　　使用互斥锁排队

　　　　业界比价普遍的一种做法，即根据key获取value值为空时，锁上，从数据库中load数据后再释放锁。若其它线程获取锁失败，

　　　　则等待一段时间后重试。这里要注意，分布式环境中要使用分布式锁，单机的话用普通的锁（synchronized、Lock）就够了

　　

　　布隆过滤器（推荐）

　　　　bloomfilter就类似于一个hash set，用于快速判某个元素是否存在于集合中，其典型的应用场景就是快速判断一个key是否存在于某容器，不存在就直接返回。

【1.3】缓存雪崩问题

　　缓存在同一时间内大量键过期（失效），接着来的一大波请求瞬间都落在了数据库中导致连接异常。　

　　解决方案：

　　　　1、也是像解决缓存穿透一样加锁排队，实现同上;

　　　　2、建立备份缓存，缓存A和缓存B，A设置超时时间，B不设值超时时间，先从A读缓存，A没有读B，并且更新A缓存和B缓存;

【1.4】缓存并发问题

　　这里的并发指的是多个redis的client同时set key引起的并发问题。比较有效的解决方案就是把redis.set操作放在队列中使其串行化，必须的一个一个执行，具体的代码就不上了，当然加锁也是可以的，至于为什么不用redis中的事务，留给各位看官自己思考探究。

【2】Redis与Mysql数据同步解决方案

方案1（普通）
　　读：读redis，没有数据就读mysql，将MySQL数据保存到缓存中。
　　写：写mysql，同时让redis缓存失效（删除key，过期）
　　缺点：数据量巨大，更新频繁的数据写入无能为力。比如数量巨大，每个变跟状态又很频繁，这样很容易把数据库写挂。

方案2（binlog）
　　基于binlog使用mysql_udf_redis，将数据库中的数据同步到Redis。
　　缺点： mysql_udf_redis是有人实现的同步数据到Redis的功能，需要学习成本，第三方的插件不稳定。

方案3（MQ或定时任务）
　　MQ.队列同步，变跟数据2份，使用消息队列，一份给Redis消费，一份给Mysql消费。
　　定时任务 后台定时任务，定时刷新Redis中信息到数据库。

【2.1】数据库与缓存读写模式策略

写完数据库后是否需要马上更新缓存还是直接删除缓存？

（1）、如果写数据库的值与更新到缓存值是一样的，不需要经过任何的计算，可以马上更新缓存，但是如果对于那种写数据频繁而读数据少的场景并不合适这种解决方案，因为也许还没有查询就被删除或修改了，这样会浪费时间和资源

（2）、如果写数据库的值与更新缓存的值不一致，写入缓存中的数据需要经过几个表的关联计算后得到的结果插入缓存中，那就没有必要马上更新缓存，只有删除缓存即可，等到查询的时候在去把计算后得到的结果插入到缓存中即可。

所以一般的策略是当更新数据时，先删除缓存数据，然后更新数据库，而不是更新缓存，等要查询的时候才把最新的数据更新到缓存

【2.2】数据库与缓存双写情况下导致数据不一致问题

场景一

　　当更新数据时，如更新某商品的库存，当前商品的库存是100，现在要更新为99，先更新数据库更改成99，然后删除缓存，发现删除缓存失败了，这意味着数据库存的是99，而缓存是100，这导致数据库和缓存不一致。

场景一解决方案

　　这种情况应该是先删除缓存，然后在更新数据库，如果删除缓存失败，那就不要更新数据库，如果说删除缓存成功，而更新数据库失败，那查询的时候只是从数据库里查了旧的数据而已，这样就能保持数据库与缓存的一致性。

 

场景二

　　在高并发的情况下，如果当删除完缓存的时候，这时去更新数据库，但还没有更新完，另外一个请求来查询数据，发现缓存里没有，就去数据库里查，还是以上面商品库存为例，如果数据库中产品的库存是100，那么查询到的库存是100，然后插入缓存，插入完缓存后，原来那个更新数据库的线程把数据库更新为了99，导致数据库与缓存不一致的情况

场景二解决方案

 

　　遇到这种情况，可以用队列的去解决这个问，创建几个队列，如20个，根据商品的ID去做hash值，然后对队列个数取摸，当有数据更新请求时，先把它丢到队列里去，当更新完后在从队列里去除，如果在更新的过程中，遇到以上场景，先去缓存里看下有没有数据，如果没有，可以先去队列里看是否有相同商品ID在做更新，如果有也把查询的请求发送到队列里去，然后同步等待缓存更新完成。
这里有一个优化点，如果发现队列里有一个查询请求了，那么就不要放新的查询操作进去了，用一个while（true）循环去查询缓存，循环个200MS左右，如果缓存里还没有则直接取数据库的旧数据，一般情况下是可以取到的。

 

在高并发下解决场景二要注意的问题
　　（1）读请求时长阻塞
 　　　　由于读请求进行了非常轻度的异步化，所以一定要注意读超时的问题，每个读请求必须在超时间内返回，该解决方案最大的风险在于可能数据更新很频繁，导致队列中挤压了大量的更新操作在里面，然后读请求会发生大量的超时，最后导致大量的请求直接走数据库，像遇到这种情况，一般要做好足够的压力测试，如果压力过大，需要根据实际情况添加机器。
　　（2）请求并发量过高
 　　　　这里还是要做好压力测试，多模拟真实场景，并发量在最高的时候QPS多少，扛不住就要多加机器，还有就是做好读写比例是多少
　　（3）多服务实例部署的请求路由
　　　　可能这个服务部署了多个实例，那么必须保证说，执行数据更新操作，以及执行缓存更新操作的请求，都通过nginx服务器路由到相同的服务实例上
　　（4）热点商品的路由问题，导致请求的倾斜
　　某些商品的读请求特别高，全部打到了相同的机器的相同丢列里了，可能造成某台服务器压力过大，因为只有在商品数据更新的时候才会清空缓存，然后才会导致读写并发，所以更新频率不是太高的话，这个问题的影响并不是很大，但是确实有可能某些服务器的负载会高一些。

参考：

Redis缓存穿透、缓存雪崩、redis并发问题分析

redis做mysql的缓存，怎么把redis数据和mysql数据同步？

Redis同步解决方案

redis系列之数据库与缓存数据一致性解决方案