redis缓存恢复-2022新项目

一、业务场景

　　Web项目开发中，为了加快数据处理的的效率，大量的使用了各种缓存，缓存技术主要使用的是redis。导致出现的小小的

问题是对redis缓存形成了一个比较强的依赖，并且有的数据暂时是没有同步到业务数据库当中进行存储的，有不少数据都是直

接从缓存中获取。这种处理方式确实加快了数据的处理效率，可是也存在一些问题。

二、需求分析

　　当前由于系统要进行迁移，以前保存在一台服务器上面的redis中的数据，是不可能迁移的。即使运维人员愿意迁移，操作起来

也是相当的麻烦。还有一个问题，如果发现缓存中的数据存在异常，如何使用某种机制去自动更新缓存或者是手动更新缓存数据，让

缓存中的数据和数据库中的最终趋于一致，并且保证数据的正确性呢？这就需要做缓存恢复。

三、解决方案

　　缓存恢复只针对时效性比较长的数据，如果某些缓存数据几分钟更新一次，或者十几分钟更新一次，这种缓存数据就可以考虑不用

恢复。对于某些没有失效时间限制的一些缓存数据，就需要做这种处理。需要使用的地方:一种情况是系统迁移的时候；一种情况是缓存

数据出现问题，需要采取某种措施更新缓存的时候。下面就来聊聊两种缓存更新的方式。

.方式一：通过接口请求更新缓存.

这种方式比较常规，就是写一个普通的接口，发一个请求到后台，传递对应的参数进行缓存更新操作。这种操作方式是立马全量更新

所有的缓存数据。对于数据量不大的业务比较适合，更新的时间也不会太久，预估可能就一两分钟的样子。可是当数据量很大的时候，

比如少说几十万甚至更多的数据都需要添加到缓存中，这种应该如何处理呢？

public boolean updateTest() {
    Map<Integer, List<TransmitActivityTotal>> transmitActivityTotalMap = new HashMap<>(30);
    List<TransmitActivityTotal> transmitActivityTotals = null;
    StopWatch stopWatch = new StopWatch();
    stopWatch.start();
    try {
        // 查询数据
        for(int i = 0; i < 30; i++){
            // 根据不同的分表信息查询不同的数据
            transmitActivityTotals = null;
            transmitActivityTotalMap.put(i, transmitActivityTotals);
        }

        // 处理数据
        if (transmitActivityTotalMap.isEmpty()) {
            return false;
        }
        Map<Long, Integer> idTotalMap = new HashMap<>();
        Integer total = null;
        for(Map.Entry<Integer, List<TransmitActivityTotal>> item : transmitActivityTotalMap.entrySet()) {
            for(TransmitActivityTotal transmitActivityTotal : item.getValue()) {
                total = transmitActivityTotal.getTotal() == null ? Integer.valueOf(0) : transmitActivityTotal.getTotal();
                if (idTotalMap.keySet().contains(transmitActivityTotal.getId())) {
                    // 再次添加 原有数据 + 新数据
                    idTotalMap.put(transmitActivityTotal.getId(), idTotalMap.get(transmitActivityTotal.getId()) + total);
                } else {
                    // 首次添加
                    idTotalMap.put(transmitActivityTotal.getId(), total);
                }
            }
        }

        for(Map.Entry<Long, Integer> item : idTotalMap.entrySet()) {
            // 使用redis进行 恢复缓存 操作
            log.info("id-->{}, 数量--->", item.getKey(), item.getValue());
        }
        stopWatch.stop();
        log.info("缓存恢复耗时--->{}毫秒", stopWatch.getLastTaskTimeMillis());
        return true;
    } catch (Exception ex) {
        stopWatch.stop();
        log.error("缓存更新异常--->{}", ex);
        return false;
    }
}

方式二：通过数据字典表来控制缓存的更新。

自己目前所参与开发的项目，在项目启动的时候，会将所有的数据字典信息添加到缓存当中，并且会隔几分钟去更新一次数据字典数据。

就是利用这一点来增量更新缓存信息，比如每次只更新某个用户相关的操作数据，而不是一次性更新所有用户的数据。减轻了服务器的压力，

这种处理方式也更加的符合实际需求。举一个简单的示例，首先考虑兼容性问题，在设计的时候可以在数据字典中添加一个值，当这个值

为OLD的时候，就使用旧有的逻辑，直接从缓存中获取数据；如果是新系统，则可以在页面中将这个数据字典表的值设置为NEW，这时就

使用新的逻辑，先从数据库中去查询数据，然后将查询结果保存在缓存中。这样设计就能够兼容之前的系统，也可以进行系统的迁移。这里

还存在一个问题，就是使用新系统时，不可能每次都去查询数据库，然后将数据存入缓存中。这时就可以添加第二个数据字典值，称它为数

据版本吧，比如设置为100，也是先从缓存中获取这个数据字典值a，然后从缓存中获取获取数据版本值b，判断值a和值b是否一致。一致

则直接返回缓存数据。不一致则查询数据库，然后更新缓存，并且将缓存中的数据版本的值更新为数据字典的值。这样在后台管理系统中，

更新数据版本的值，就可以动态的更新缓存数据的值，并且每次更新的缓存数据量很少。

这种设计稍微有些复杂，还是需要好好理解，自己最开始的时候也是没有理解这种缓存恢复的方式。去询问负责人之后，才搞清楚是如何

进行设计的。明白之后才开始写代码，最后进行测试，测试结论通过。