什么叫做缓存穿透

缓存穿透只会发生在高并发的时候，就是当有10000个并发进行查询数据的时候，我们一般都会先去redis里面查询进行数据，但是如果redis里面没有这个数据的时候，那么这10000个并发里面就会有很大一部分并发会一下子都去mysql数据库里面进行查询了

解决缓存穿透

首先我模拟一下缓存穿透

比如下面的代码



Pom.xml代码

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example</groupId>

    <artifactId>springboot</artifactId>

    <version>0.0.1-SNAPSHOT</version>

    <packaging>jar</packaging>

    <name>springboot</name>

    <description>Demo project for Spring Boot</description>

    <parent>

        <groupId>org.springframework.boot</groupId>

        <artifactId>spring-boot-starter-parent</artifactId>

        <version>2.1.1.RELEASE</version>

        <relativePath></relativePath> <!-- lookup parent from repository -->

    </parent>

    <properties>

        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>

        <java.version>1.8</java.version>

    </properties>

    <dependencies>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-web</artifactId>

        </dependency>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-devtools</artifactId>

        </dependency>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-test</artifactId>

            <scope>test</scope>

        </dependency>

        <dependency>

            <groupId>org.mybatis.spring.boot</groupId>

            <artifactId>mybatis-spring-boot-starter</artifactId>

            <version>1.1.1</version>

        </dependency>

        <dependency>

            <groupId>mysql</groupId>

            <artifactId>mysql-connector-java</artifactId>

        </dependency>

    </dependencies>

    <build>

        <plugins>

            <plugin>

                <groupId>org.springframework.boot</groupId>

                <artifactId>spring-boot-maven-plugin</artifactId>

            </plugin>

        </plugins>

    </build>

</project>

Application.properties

server.port=8081

#DB Configuration:

spring.datasource.driverClassName=com.mysql.jdbc.Driver

spring.datasource.url=jdbc:mysql://47.91.248.236:3306/hello?useUnicode=true&characterEncoding=utf8

spring.datasource.username=root

spring.datasource.password=root

#spring集成Mybatis环境

#pojo别名扫描包

mybatis.type-aliases-package=com.itheima.domain

#加载Mybatis映射文件

mybatis.mapper-locations=classpath:mapper/*Mapper.xml

MyController代码，下面的蓝色代码是模仿10000个并发线程

/**

 * sinture.com Inc.

 * Copyright (c) 2016-2018 All Rights Reserved.

 */

package com.itheima.controller;

import com.itheima.mapper.UserMapper;

import com.itheima.domain.User;

import com.itheima.service.UserService;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.web.bind.annotation.PathVariable;

import org.springframework.web.bind.annotation.RequestMapping;

import org.springframework.web.bind.annotation.ResponseBody;

import org.springframework.web.bind.annotation.RestController;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

/**

 * @author xinzhu

 * @version Id: MyController.java, v 0.1 2018年12月05日 下午6:29 xinzhu Exp $

 */

@RestController

public class MyController {

    @Autowired

    private UserService userService;

    @RequestMapping("/hello/{id}")

    @ResponseBody

    public User queryUser(@PathVariable Integer id){

       // 蓝色代码注释开始

       new Thread(){

            @Override

            public void run() {

                for (int x = 0; x < 10000; x++) {

                    userService.queryUser(id);

                }

            }

        }.start();

        // 蓝色代码注释结束

        return userService.queryUser(id);

    }

}

User类

/**

 * sinture.com Inc.

 * Copyright (c) 2016-2018 All Rights Reserved.

 */

package com.itheima.domain;

/**

 * @author xinzhu

 * @version Id: User.java, v 0.1 2018年12月06日 下午1:40 xinzhu Exp $

 */

public class User {

    // 主键

    private Integer id;

    // 用户名

    private String username;

    // 密码

    private String password;

    // 姓名

    private String name;

    public void setId(Integer id) {

        this.id = id;

    }

    @Override

    public String toString() {

        return "User{" +

                "id=" + id +

                ", username='" + username + '\'' +

                ", password='" + password + '\'' +

                ", name='" + name + '\'' +

                '}';

    }

    public Integer getId() {

        return id;

    }

    public String getUsername() {

        return username;

    }

    public void setUsername(String username) {

        this.username = username;

    }

    public String getPassword() {

        return password;

    }

    public void setPassword(String password) {

        this.password = password;

    }

    public String getName() {

        return name;

    }

    public void setName(String name) {

        this.name = name;

    }

}

UserService

package com.itheima.service;

import com.itheima.domain.User;

public interface UserService {

    public User queryUser(Integer id);

}

UserServiceImpl，下面的蓝色代码就是模仿redis，此时要注意下面的模拟redis的map集合必须放到下面的queryUser的外面，也就是说下面的userMap变量必须是成员变量，不然的话，因为redis是被多个线程共享的，如果你放到下面的queryUser()方法里面，那么就是多个线程有多个userMap集合，下面的代码就是如果查询到数据，那么就用redis里面的，如果查询不到就用数据库里面的

package com.itheima.service;

import com.itheima.domain.User;

import com.itheima.mapper.UserMapper;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.stereotype.Service;

import java.util.HashMap;

import java.util.Map;

@Service

public class UserServiceImpl implements UserService {

    @Autowired

    private UserMapper userMapper;

    // 蓝色代码注释开始

    static Map<Integer,User> userMap=new HashMap();

    static {

        User huancun_user =new User();

        huancun_user.setId(1);

        huancun_user.setName("zhangsan");

        huancun_user.setPassword("123");

        huancun_user.setName("张三");

        userMap.put(1,huancun_user);

    }

    // 蓝色代码注释结束

    public User queryUser(Integer id){

        User user=userMap.get(id);

        if(user==null){

            user= userMapper.queryUser(id);

            System.out.println("查询数据库");

            userMap.put(user.getId(),user);

        }else{

            System.out.println("查询缓存");

        }

        return user;

    };

}

SpringbootApplication代码

package com.itheima;

import org.springframework.boot.SpringApplication;

import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication

public class SpringbootApplication {

    public static void main(String[] args) {

        SpringApplication.run(SpringbootApplication.class, args);

    }

}

数据库里面的数据如下

-- ----------------------------

-- Table structure for `user`

-- ----------------------------

DROP TABLE IF EXISTS `user`;

CREATE TABLE `user` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `username` varchar(50) DEFAULT NULL,

  `password` varchar(50) DEFAULT NULL,

  `name` varchar(50) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;

-- ----------------------------

-- Records of user

-- ----------------------------

INSERT INTO `user` VALUES ('1', 'zhangsan', '123', '张三');

INSERT INTO `user` VALUES ('2', 'lisi', '123', '李四');

然后我们查询下面的链接，因为此时上面的模拟redis的map集合里面没有id值是2的数据，所以此时都是查询数据库，你想这一下子10000并发过去，数据库会有很大压力的，

然后打印结果如下，就是打印了很多查询数据库和查询缓存，此时也就说明10000个并发里面有很多去查询了数据库，这个是要避免的，至于为什么有查询缓存的打印，因为我们把查询的数据给放到模拟的redis里面了啊，所以刚开始的一大部分线程都是查询数据库，然后剩下的都是查询模拟的redis缓存里面的数据

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

然后我们使用双重检测锁来解决上面的缓存穿透

我们怎么解决缓存穿透呢，即使10000个并发过来，然后这10000个并发需要的数据在redis里面都没有，那么我们应该第一个线程查询数据里面的数据，然后把这个数据给放到redis里面，然后剩下的9999个线程都到redis里面查询，这样就解决了缓存穿透，所以我们可以把上面的代码变成下面这样

比如下面的代码

Pom.xml代码

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example</groupId>

    <artifactId>springboot</artifactId>

    <version>0.0.1-SNAPSHOT</version>

    <packaging>jar</packaging>

    <name>springboot</name>

    <description>Demo project for Spring Boot</description>

    <parent>

        <groupId>org.springframework.boot</groupId>

        <artifactId>spring-boot-starter-parent</artifactId>

        <version>2.1.1.RELEASE</version>

        <relativePath></relativePath> <!-- lookup parent from repository -->

    </parent>

    <properties>

        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>

        <java.version>1.8</java.version>

    </properties>

    <dependencies>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-web</artifactId>

        </dependency>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-devtools</artifactId>

        </dependency>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-test</artifactId>

            <scope>test</scope>

        </dependency>

        <dependency>

            <groupId>org.mybatis.spring.boot</groupId>

            <artifactId>mybatis-spring-boot-starter</artifactId>

            <version>1.1.1</version>

        </dependency>

        <dependency>

            <groupId>mysql</groupId>

            <artifactId>mysql-connector-java</artifactId>

        </dependency>

    </dependencies>

    <build>

        <plugins>

            <plugin>

                <groupId>org.springframework.boot</groupId>

                <artifactId>spring-boot-maven-plugin</artifactId>

            </plugin>

        </plugins>

    </build>

</project>

Application.properties

server.port=8081

#DB Configuration:

spring.datasource.driverClassName=com.mysql.jdbc.Driver

spring.datasource.url=jdbc:mysql://47.91.248.236:3306/hello?useUnicode=true&characterEncoding=utf8

spring.datasource.username=root

spring.datasource.password=root

#spring集成Mybatis环境

#pojo别名扫描包

mybatis.type-aliases-package=com.itheima.domain

#加载Mybatis映射文件

mybatis.mapper-locations=classpath:mapper/*Mapper.xml

MyController代码，下面的蓝色代码是模仿10000个并发线程

/**

 * sinture.com Inc.

 * Copyright (c) 2016-2018 All Rights Reserved.

 */

package com.itheima.controller;

import com.itheima.mapper.UserMapper;

import com.itheima.domain.User;

import com.itheima.service.UserService;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.web.bind.annotation.PathVariable;

import org.springframework.web.bind.annotation.RequestMapping;

import org.springframework.web.bind.annotation.ResponseBody;

import org.springframework.web.bind.annotation.RestController;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

/**

 * @author xinzhu

 * @version Id: MyController.java, v 0.1 2018年12月05日 下午6:29 xinzhu Exp $

 */

@RestController

public class MyController {

    @Autowired

    private UserService userService;

    @RequestMapping("/hello/{id}")

    @ResponseBody

    public User queryUser(@PathVariable Integer id){

       // 蓝色代码注释开始

       new Thread(){

            @Override

            public void run() {

                for (int x = 0; x < 10000; x++) {

                    userService.queryUser(id);

                }

            }

        }.start();

        // 蓝色代码注释结束

        return userService.queryUser(id);

    }

}

User类

/**

 * sinture.com Inc.

 * Copyright (c) 2016-2018 All Rights Reserved.

 */

package com.itheima.domain;

/**

 * @author xinzhu

 * @version Id: User.java, v 0.1 2018年12月06日 下午1:40 xinzhu Exp $

 */

public class User {

    // 主键

    private Integer id;

    // 用户名

    private String username;

    // 密码

    private String password;

    // 姓名

    private String name;

    public void setId(Integer id) {

        this.id = id;

    }

    @Override

    public String toString() {

        return "User{" +

                "id=" + id +

                ", username='" + username + '\'' +

                ", password='" + password + '\'' +

                ", name='" + name + '\'' +

                '}';

    }

    public Integer getId() {

        return id;

    }

    public String getUsername() {

        return username;

    }

    public void setUsername(String username) {

        this.username = username;

    }

    public String getPassword() {

        return password;

    }

    public void setPassword(String password) {

        this.password = password;

    }

    public String getName() {

        return name;

    }

    public void setName(String name) {

        this.name = name;

    }

}

UserService

package com.itheima.service;

import com.itheima.domain.User;

public interface UserService {

    public User queryUser(Integer id);

}

UserServiceImpl，下面的蓝色代码就是模仿redis，此时要注意下面的模拟redis的map集合必须放到下面的queryUser的外面，也就是说下面的userMap变量必须是成员变量，不然的话，因为redis是被多个线程共享的，如果你放到下面的queryUser()方法里面，那么就是多个线程有多个userMap集合，下面的代码就是如果查询到数据，那么就用redis里面的，如果查询不到就用数据库里面的

然后下面的红色代码就是解决上面的缓存穿透问题，使用锁来解决缓存穿透问题，而且叫做双重检测锁，为什么叫做双重检测锁呢，因为有两个if语句，第一个if语句就是为了减少走红色代码里面的同步代码块，因为如果换成里面存在想要的数据，那么就不需要走下面的红色代码里面的同步代码块了，所以有两个if语句，至于为什么要有下面的 user= userMap.get(id);，是因为第一次线程查询把数据放到模仿的redis缓存里面之后，剩下的线程当走到下面的同步代码块的时候，需要在查询一下缓存里面的数据就会发现刚刚第一个线程放到redis里面的数据了，所以才会有下面的红色代码里面的 user= userMap.get(id);

package com.itheima.service;

import com.itheima.domain.User;

import com.itheima.mapper.UserMapper;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.stereotype.Service;

import java.util.HashMap;

import java.util.Map;

@Service

public class UserServiceImpl implements UserService {

    @Autowired

    private UserMapper userMapper;

    // 蓝色代码注释开始

    static Map<Integer,User> userMap=new HashMap();

    static {

        User huancun_user =new User();

        huancun_user.setId(1);

        huancun_user.setName("zhangsan");

        huancun_user.setPassword("123");

        huancun_user.setName("张三");

        userMap.put(1,huancun_user);

    }

    // 蓝色代码注释结束

    public User queryUser(Integer id){

        User user=userMap.get(id);

        // 红色代码注释开始

        if(user==null){

            synchronized (this) {

                user= userMap.get(id);

                if (null == user) {

                    user= userMapper.queryUser(id);

                    System.out.println("查询数据库");

                    userMap.put(user.getId(),user);

                }else{

                    System.out.println("查询缓存");

                }

            }

        }else{

            System.out.println("查询缓存");

        }

        //红色代码注释结束

        return user;

    };

}

数据库里面的数据如下

-- ----------------------------

-- Table structure for `user`

-- ----------------------------

DROP TABLE IF EXISTS `user`;

CREATE TABLE `user` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `username` varchar(50) DEFAULT NULL,

  `password` varchar(50) DEFAULT NULL,

  `name` varchar(50) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;

-- ----------------------------

-- Records of user

-- ----------------------------

INSERT INTO `user` VALUES ('1', 'zhangsan', '123', '张三');

INSERT INTO `user` VALUES ('2', 'lisi', '123', '李四');

然后我们查询下面的链接，因为此时上面的模拟redis的map集合里面没有id值是2的数据，所以此时都是查询数据库，你想这一下子10000并发过去，数据库会有很大压力的，



然后打印结果如下，就是就只有第一个打印了查询数据库，然后剩下的都是查询缓存了，这就是解决缓存穿透

查询数据库

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

能看到这里的同学，就帮忙点个推荐吧，Thanks♪(･ω･)ﾉ

Java模拟并解决缓存穿透的更多相关文章

  1. Bloom Filter（布隆过滤器）如何解决缓存穿透

    本文摘抄自我的微信公众号"程序员柯南",欢迎关注!原文阅读 缓存穿透是什么? 关于缓存穿透,简单来说就是系统处理了大量不存在的数据查询.正常的使用缓存流程大致是,数据查询先进行缓存 ...

  2. JAVA结合Redis处理缓存穿透问题

    public List<WeixinMenu> getList() { List<WeixinMenu> weixinMenuList= (List<WeixinMenu ...

  3. 什么是redis的缓存雪崩与缓存穿透？如何解决？

    一.缓存雪崩 1.1 什么是缓存雪崩? 首先我们先来回答一下我们为什么要用缓存(Redis): 1.提高性能能:缓存查询是纯内存访问,而硬盘是磁盘访问,因此缓存查询速度比数据库查询速度快 2.提高并发 ...

  4. 缓存与数据库一致性之三：缓存穿透、缓存雪崩、key重建方案

    一.缓存穿透预防及优化 缓存穿透是指查询一个根本不存在的数据,缓存层和存储层都不会命中,但是出于容错的考虑,如果从存储层查不到数据则不写入缓存层,如图 11-3 所示整个过程分为如下 3 步: 缓存层 ...

  5. Redis缓存穿透、缓存雪崩、redis并发问题 并发竞争key的解决方案 (阿里)

    阿里的人问我 缓存雪崩(大量数据在同一时间过期了)了如何处理,缓存击穿了如何处理,回答的很烂,做了总结: 把redis作为缓存使用已经是司空见惯,但是使用redis后也可能会碰到一系列的问题,尤其是数 ...

  6. 【缓存】缓存穿透、缓存雪崩、key重建方案

    一.缓存穿透预防及优化 缓存穿透是指查询一个根本不存在的数据,缓存层和存储层都不会命中,但是出于容错的考虑,如果从存储层查不到数据则不写入缓存层,如图 11-3 所示整个过程分为如下 3 步: 缓存层 ...

  7. 缓存穿透、雪崩、热点与Redis

    (拼多多问:Redis雪崩解决办法) 导读:互联网系统中不可避免要大量用到缓存,在缓存的使用过程中,架构师需要注意哪些问题?本文以 Redis 为例,详细探讨了最关键的 3 个问题. 一.缓存穿透预防 ...

  8. Redis缓存穿透、缓存雪崩、redis并发问题分析

    把redis作为缓存使用已经是司空见惯,但是使用redis后也可能会碰到一系列的问题,尤其是数据量很大的时候,经典的几个问题如下: (一)缓存和数据库间数据一致性问题分布式环境下(单机就不用说了)非常 ...

  9. redis缓存穿透，缓存击穿，缓存雪崩原因+解决方案

    一.前言 在我们日常的开发中,无不都是使用数据库来进行数据的存储,由于一般的系统任务中通常不会存在高并发的情况,所以这样看起来并没有什么问题,可是一旦涉及大数据量的需求,比如一些商品抢购的情景,或者是 ...

随机推荐

  1. BZOJ 1001：[BeiJing2006]狼抓兔子（最小割）

    http://www.lydsy.com/JudgeOnline/problem.php?id=1001 题意:中文. 思路:很明显是最小割,转化为最大流做.一开始看那么多点,但还是试了一下,居然过了 ...

  2. HDU 3938：Portal（并查集+离线处理）

    http://acm.hdu.edu.cn/showproblem.php?pid=3938 Portal Problem Description   ZLGG found a magic theor ...

  3. 法国神器"mimikatz"简化版,一键导出结果

    神器之所以称之为神器.那是闹着玩的? 法国神器"mimikatz",那是相当的好使!!! GitHub:https://github.com/gentilkiwi/mimikatz ...

  4. django基础知识之ORM简介:

    ORM简介 MVC框架中包括一个重要的部分,就是ORM,它实现了数据模型与数据库的解耦,即数据模型的设计不需要依赖于特定的数据库,通过简单的配置就可以轻松更换数据库 ORM是“对象-关系-映射”的简称 ...

  5. VS2013日常使用若干技巧+快捷键

    1.注释的方法 1)sqlserver中,单行注释:— —   多行注释:/* 代码  */ 2)C#中,单行注释://    多行注释:/* 代码  */ 3)C#中多行注释的快捷方式:先选中你要注 ...

  6. Docker笔记（二）：Docker管理的对象

    原文地址:http://blog.jboost.cn/2019/07/14/docker-2.html 在Docker笔记(一):什么是Docker中,我们提到了Docker管理的对象包含镜像.容器. ...

  7. C语言学习书籍推荐《嗨翻C语言(英文)Head First C》下载

    David Griffiths (作者), Dawn Griffiths (作者) Ever wished you could learn C from a book? Head First C pr ...

  8. C# Linq 常用查询操作符

    限定操作: 1. All:用来确定是否序列中的所有元素都满足条件 2. Any:用来确定序列是否包含任何元素,有参方式用来确定序列中是否有元素满足条件 3. Contains:方法用来确定序列是否包含 ...

  9. .net持续集成cake篇之cake任务依赖、自定义配置荐及环境变量读取

    系列目录 新建一个构建任务及任务依赖关系设置 上节我们通过新建一个HelloWorld示例讲解了如何编写build.cake以及如何下载build.ps1启动文件以及如何运行.实际项目中,我们使用最多 ...

  10. D:苏卿念发红包

    首先,题目中已经说得很明确了(按照常理也是). 当有mmm个包,你第kkk个抢.k>mk>mk>m的话.显然,平时会显示:来晚了一步,红包已经被领完了\text{来晚了一步,红包已经 ...