大家好,我是大明哥,一个专注于【死磕 Java】系列创作的男人

个人网站:https://www.cmsblogs.com/。专注于 Java 优质系列文章分享,提供一站式 Java 学习资料


某天我正在工位上听着 Vicotry,愉快地敲着 hello world ,这感觉就像我写的代码能征服世界。突然运维给我打了一个电话,说我们某台服务器 OOM 了,要我过去看下,这感觉就像 xxx,你懂的。

去运维室、登录服务器、查看日志、....一顿操作猛如虎,看到一个 List 对象 600MB +(原谅我们服务器 low,运维比较小气,就给 1C2G 的服务器),检查当时的 SQL 语句,一看,我的乖乖,将近 4000w + 条数据。我的第一感觉就是,难道又是哪个业务在导出大批量数据?但是我们所有的 Excel 导出数据都做了校验,数据量大于 5w 条就后台分批次导出(所以有时候你要庆幸服务器 low,因为服务器 low,你就需要进行各种各样的优化,所有大数据量的操作都需要想办法优化,所以我们这个应用就有了各种有意思的骚操作,后面有机会分享下)。难道没有控制住?看了日志并没有发现大数据量的 Excel 导出,所以可以断定是分页的地方没有分页。看代码在一个 if 语句里面找到了坑,如下:

PageHelper.startPage(queryDTO.getPage(), queryDTO.getLimit());

Page<UserDTO> page;
if (isWitchFlag()) {
page = userMapper.selectUserList(queryDTO);
}

isWitchFlag() :

    private boolean isWitchFlag() {
String witchFlag = systemConfigMapper.selectSwitchFlag("key");
return "1".equals(witchFlag);
}

对 PageHelper 不是很熟悉的人一定不知道这个坑在哪里!在 PageHelper 使用文档(https://pagehelper.github.io/faq/)中第一句就阐述了:

只有紧跟在 PageHelper.startPage 方法后的第一个 Mybatis 的查询(Select)方法会被分页。。请注意关键词紧跟。为什么要紧跟呢?因为 PageHelper 的分页原理使用了 ThreadLocal,他的分页参数和线程是绑定在一起的,当我们执行 PageHelper.startPage() 语句时,他会将分页参数绑定到 ThreadLocal 中:

setLocalPage()

在拦截器 PageInterceptor 中,最后的 finally 会将 Page 分页信息给 remove 掉:

所以,上面那段代码的分页信息被 if 语句中的 select 查询语句给消耗掉了,下面真正需要分页的语句当然就不会执行分页信息啦。怎么解决?两种方案:

  • 治标不治本:将 PageHelper.startPage() 挪到 if 语句里面,让真正的查询语句紧挨着它。这种方案不治本的原因在于,如果又有小伙伴不知道这个坑,有可能又会踩。
  • 治标治本:使用 Function Lamdba 表达式。

使用 Function Lamdba 来将 PageHelper.startPage() 与分页查询语句紧挨在一起,规避掉这个坑

首先我们需要定义一个 PageHelperTool,该 PageHelperTool 是封装了分页语句:

@Builder
public class PageHelperTool<P,R> {
private final Function<P, Page<R>> pageFunction; public Page<R> getPageInfo(P request) {
PageHelper.startPage(((PageRequest)request).getPage(),((PageRequest)request).getLimit());
return pageFunction.apply(request);
}
}

然后将分页的地方全部替换为 PageHelperTool 就可以了:

        Page<UserDTO> page;
if (isWitchFlag()) {
PageHelperTool<QueryDTO,UserDTO> pageHelperTool = PageHelperTool.<QueryDTO,UserDTO>builder()
.pageFunction(userMapper::selectUserList)
.build(); page = pageHelperTool.getPageInfo(queryDTO);
}

这样就可以彻底解决因误用 PageHelper 导致分页失效的问题了。

最后一句话:注意看文档啊!!!!!!

【死磕 Java 基础】— 我同事一个 select 分页语句查出来了 3000W 条数据的更多相关文章

  1. 【死磕 Java 基础】 — 自己动手实现一个 LRU

    大家好,我是大明哥,一个专注于[死磕 Java]系列创作的男人 个人网站:https://www.cmsblogs.com/.专注于 Java 优质系列文章分享,提供一站式 Java 学习资料 LRU ...

  2. 【死磕 Java 基础】 — 谈谈那个写时拷贝技术(copy-on-write)

    copy-on-write,即写时复制技术,这是小编在学习 Redis 持久化时看到的一个概念,当然在这个概念很早就碰到过(Java 容器并发有这个概念),但是一直都没有深入研究过,所以趁着这次机会对 ...

  3. 死磕Java之聊聊LinkedList源码(基于JDK1.8)

    工作快一年了,近期打算研究一下JDK的源码,也就因此有了死磕java系列 LinkedList 是一个继承于AbstractSequentialList的双向链表,链表不需要capacity的设定,它 ...

  4. 死磕Java之聊聊ArrayList源码(基于JDK1.8)

    工作快一年了,近期打算研究一下JDK的源码,也就因此有了死磕java系列 ArrayList 是一个数组队列,相当于动态数组.与Java中的数组相比,它的容量能动态增长.它继承于AbstractLis ...

  5. 死磕 java同步系列之自己动手写一个锁Lock

    问题 (1)自己动手写一个锁需要哪些知识? (2)自己动手写一个锁到底有多简单? (3)自己能不能写出来一个完美的锁? 简介 本篇文章的目标一是自己动手写一个锁,这个锁的功能很简单,能进行正常的加锁. ...

  6. 【死磕Java并发】----- 死磕 Java 并发精品合集

    [死磕 Java 并发]系列是 LZ 在 2017 年写的第一个死磕系列,一直没有做一个合集,这篇博客则是将整个系列做一个概览. 先来一个总览图: [高清图,请关注"Java技术驿站&quo ...

  7. 死磕 java同步系列之AQS起篇

    问题 (1)AQS是什么? (2)AQS的定位? (3)AQS的实现原理? (4)基于AQS实现自己的锁? 简介 AQS的全称是AbstractQueuedSynchronizer,它的定位是为Jav ...

  8. 死磕 java同步系列之zookeeper分布式锁

    问题 (1)zookeeper如何实现分布式锁? (2)zookeeper分布式锁有哪些优点? (3)zookeeper分布式锁有哪些缺点? 简介 zooKeeper是一个分布式的,开放源码的分布式应 ...

  9. 死磕 java同步系列之redis分布式锁进化史

    问题 (1)redis如何实现分布式锁? (2)redis分布式锁有哪些优点? (3)redis分布式锁有哪些缺点? (4)redis实现分布式锁有没有现成的轮子可以使用? 简介 Redis(全称:R ...

随机推荐

  1. Python基础4--数据类型

    一.数据类型是什么鬼? 计算机顾名思义就是可以做数学计算的机器,因此,计算机程序理所当然地可以处理各种数值.但是,计算机能处理的远不止数值,还可以处理文本.图形.音频.视频.网页等各种各样的数据,不同 ...

  2. git rebase 和 git merger

    & git merge 在上图中,每一个绿框均代表一个commit.除了c1,每一个commit都有一条有向边指向它在当前branch当中的上一个commit. 图中的项目,在c2之后就开了另 ...

  3. Spring Boot(一):如何使用Spring Boot搭建一个Web应用

    Spring Boot Spring Boot 是Spring团队旗下的一款Web 应用框架 其优势可以更快速的搭建一个Web应用 从根本上上来讲 Spring Boot并不是什么新的框架技术 而是在 ...

  4. C语言:fopen函数

    在C语言中,操作文件之前必须先打开文件:所谓"打开文件",就是让程序和文件建立连接的过程.打开文件之后,程序可以得到文件的相关信息,例如大小.类型.权限.创建者.更新时间等.在后续 ...

  5. 高校表白App-团队冲刺第七天

    今天要做什么 使用Fragment进行分屏处理,制作底层 做了什么 完成任务 遇到的问题 因为以前做过了一个,所以这次没有遇到什么问题,开心.啊哈哈

  6. 高校表白App-团队冲刺第三天

    今天要做什么 今天开站立会议的时候,忽然发觉在一个完整的App上好像是有一些引导页的,比如说在第一次使用App的时候,或者是在使用App的时候会出现新手指引操作. 做了什么 通过查阅资料来学习View ...

  7. java面向对象程序设计(下)-接口的定义

    抽象类是从多个类中抽象出来的模板,如果将这种抽象进行得更加彻底,则可以提炼出一种更加特殊的"抽象类"-接口(interface),Java9对接口进行了改进,允许在接口中定义默认方 ...

  8. SpringBoot获取前端传递JSON的几种方法

    一.Json对象+@RequestBody接收 var val = {id: 1, name: "小明"}; $.ajax({ url: "/getJson", ...

  9. 【Mysql】InnoDB 中的聚簇索引、二级索引、联合索引

    接上一篇内容. 一.聚簇索引 其实之前内容中介绍的 B+ 树就是聚簇索引. 这种索引不需要我们显示地使用 INDEX 语句去创建,InnoDB 引擎会自动创建.另外,在 InnoDB 引擎中,聚簇索引 ...

  10. P6753 [BalticOI 2013 Day1] Ball Machine

    P6753 [BalticOI 2013 Day1] Ball Machine 题意 给你一个树,每次从根节点放一个求,如果其子节点有空这个球会向下滚,若有多个节点为空则找儿子中以子树内编号的最小值为 ...