【死磕 Java 基础】— 我同事一个 select 分页语句查出来了 3000W 条数据
大家好,我是大明哥,一个专注于【死磕 Java】系列创作的男人
个人网站:https://www.cmsblogs.com/。专注于 Java 优质系列文章分享,提供一站式 Java 学习资料
某天我正在工位上听着 Vicotry,愉快地敲着 hello world ,这感觉就像我写的代码能征服世界。突然运维给我打了一个电话,说我们某台服务器 OOM 了,要我过去看下,这感觉就像 xxx,你懂的。
去运维室、登录服务器、查看日志、....一顿操作猛如虎,看到一个 List 对象 600MB +(原谅我们服务器 low,运维比较小气,就给 1C2G 的服务器),检查当时的 SQL 语句,一看,我的乖乖,将近 4000w + 条数据。我的第一感觉就是,难道又是哪个业务在导出大批量数据?但是我们所有的 Excel 导出数据都做了校验,数据量大于 5w 条就后台分批次导出(所以有时候你要庆幸服务器 low,因为服务器 low,你就需要进行各种各样的优化,所有大数据量的操作都需要想办法优化,所以我们这个应用就有了各种有意思的骚操作,后面有机会分享下)。难道没有控制住?看了日志并没有发现大数据量的 Excel 导出,所以可以断定是分页的地方没有分页。看代码在一个 if 语句里面找到了坑,如下:
PageHelper.startPage(queryDTO.getPage(), queryDTO.getLimit());
Page<UserDTO> page;
if (isWitchFlag()) {
page = userMapper.selectUserList(queryDTO);
}
isWitchFlag() :
private boolean isWitchFlag() {
String witchFlag = systemConfigMapper.selectSwitchFlag("key");
return "1".equals(witchFlag);
}
对 PageHelper 不是很熟悉的人一定不知道这个坑在哪里!在 PageHelper 使用文档(https://pagehelper.github.io/faq/)中第一句就阐述了:

只有紧跟在 PageHelper.startPage 方法后的第一个 Mybatis 的查询(Select)方法会被分页。。请注意关键词紧跟。为什么要紧跟呢?因为 PageHelper 的分页原理使用了 ThreadLocal,他的分页参数和线程是绑定在一起的,当我们执行 PageHelper.startPage() 语句时,他会将分页参数绑定到 ThreadLocal 中:

setLocalPage():

在拦截器 PageInterceptor 中,最后的 finally 会将 Page 分页信息给 remove 掉:


所以,上面那段代码的分页信息被 if 语句中的 select 查询语句给消耗掉了,下面真正需要分页的语句当然就不会执行分页信息啦。怎么解决?两种方案:
- 治标不治本:将
PageHelper.startPage()挪到 if 语句里面,让真正的查询语句紧挨着它。这种方案不治本的原因在于,如果又有小伙伴不知道这个坑,有可能又会踩。 - 治标治本:使用 Function Lamdba 表达式。
使用 Function Lamdba 来将 PageHelper.startPage() 与分页查询语句紧挨在一起,规避掉这个坑
首先我们需要定义一个 PageHelperTool,该 PageHelperTool 是封装了分页语句:
@Builder
public class PageHelperTool<P,R> {
private final Function<P, Page<R>> pageFunction;
public Page<R> getPageInfo(P request) {
PageHelper.startPage(((PageRequest)request).getPage(),((PageRequest)request).getLimit());
return pageFunction.apply(request);
}
}
然后将分页的地方全部替换为 PageHelperTool 就可以了:
Page<UserDTO> page;
if (isWitchFlag()) {
PageHelperTool<QueryDTO,UserDTO> pageHelperTool = PageHelperTool.<QueryDTO,UserDTO>builder()
.pageFunction(userMapper::selectUserList)
.build();
page = pageHelperTool.getPageInfo(queryDTO);
}
这样就可以彻底解决因误用 PageHelper 导致分页失效的问题了。
最后一句话:注意看文档啊!!!!!!
【死磕 Java 基础】— 我同事一个 select 分页语句查出来了 3000W 条数据的更多相关文章
- 【死磕 Java 基础】 — 自己动手实现一个 LRU
大家好,我是大明哥,一个专注于[死磕 Java]系列创作的男人 个人网站:https://www.cmsblogs.com/.专注于 Java 优质系列文章分享,提供一站式 Java 学习资料 LRU ...
- 【死磕 Java 基础】 — 谈谈那个写时拷贝技术(copy-on-write)
copy-on-write,即写时复制技术,这是小编在学习 Redis 持久化时看到的一个概念,当然在这个概念很早就碰到过(Java 容器并发有这个概念),但是一直都没有深入研究过,所以趁着这次机会对 ...
- 死磕Java之聊聊LinkedList源码(基于JDK1.8)
工作快一年了,近期打算研究一下JDK的源码,也就因此有了死磕java系列 LinkedList 是一个继承于AbstractSequentialList的双向链表,链表不需要capacity的设定,它 ...
- 死磕Java之聊聊ArrayList源码(基于JDK1.8)
工作快一年了,近期打算研究一下JDK的源码,也就因此有了死磕java系列 ArrayList 是一个数组队列,相当于动态数组.与Java中的数组相比,它的容量能动态增长.它继承于AbstractLis ...
- 死磕 java同步系列之自己动手写一个锁Lock
问题 (1)自己动手写一个锁需要哪些知识? (2)自己动手写一个锁到底有多简单? (3)自己能不能写出来一个完美的锁? 简介 本篇文章的目标一是自己动手写一个锁,这个锁的功能很简单,能进行正常的加锁. ...
- 【死磕Java并发】----- 死磕 Java 并发精品合集
[死磕 Java 并发]系列是 LZ 在 2017 年写的第一个死磕系列,一直没有做一个合集,这篇博客则是将整个系列做一个概览. 先来一个总览图: [高清图,请关注"Java技术驿站&quo ...
- 死磕 java同步系列之AQS起篇
问题 (1)AQS是什么? (2)AQS的定位? (3)AQS的实现原理? (4)基于AQS实现自己的锁? 简介 AQS的全称是AbstractQueuedSynchronizer,它的定位是为Jav ...
- 死磕 java同步系列之zookeeper分布式锁
问题 (1)zookeeper如何实现分布式锁? (2)zookeeper分布式锁有哪些优点? (3)zookeeper分布式锁有哪些缺点? 简介 zooKeeper是一个分布式的,开放源码的分布式应 ...
- 死磕 java同步系列之redis分布式锁进化史
问题 (1)redis如何实现分布式锁? (2)redis分布式锁有哪些优点? (3)redis分布式锁有哪些缺点? (4)redis实现分布式锁有没有现成的轮子可以使用? 简介 Redis(全称:R ...
随机推荐
- php 扩展 rabbitmq popt
首先是rabbitmq-c-master.tar.gz包, 可以访问https://github.com/alanxz/rabbitmq-c去下载最新的 wget https://github.com ...
- linux添加用户并授权访问目录
1.创建用户及访问目录 useradd test -d /data/app -M设置密码passwd test 将访问目录权限全部赋予用户chown -R test /data/app2. 创建组(如 ...
- MySQL之group by的使用
使用命令:select 字段 from table_name group by col_name; 注意点: 在有group by的查询语句中,select指定的字段要么就包含在group by语句的 ...
- 什么是 Acunetix 目标知识库
随着Acunetix 的最新更新,我们引入了一个称为目标知识库的新功能.每次扫描目标时,Acunetix 都会收集并存储有关它的信息.此信息包括构成站点结构的路径.表单的位置及其输入.Web 应用程序 ...
- 阿里云低延时直播 RTS 能力升级 让直播推流效果更佳
行业背景 直播技术飞速发展让各个行业的用户体验呈现多样化和个性化,不同业务场景下创新实践满足大众对于音视频互动体验和参与的高标准要求.历经2020年初的巨变之后,以视频.游戏.电商.教育为主的互联网经 ...
- SQL USE语句(选择数据库)
对于大型的软件系统,会存在多个数据库,用来存储不同的数据,那么我们在开始操作之前,需要选择一个需要操作的数据库,进行后续数据的增.删.改.查工作. SQL USE语句用于选择SQL模式中的任何现有数据 ...
- ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: NO)解决办法
问题:ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO) 很久没用这台电脑的mysql ...
- IO编程之File类
File类是java.io包下代表与平台无关的文件及目录,程序操作文件和目录都可以通过File类来完成.值得指出的是,不管是文件还是目录都可以通过File类来操作.File能新建.删除.重命名文件和目 ...
- 锁屏面试题百日百刷-java大厂八股文(day3)
为了有针对性的准备面试,锁屏面试题百日百刷开始每日从各处收集的面经中选择几道经典面试题分享并给出答案供参考,答案中会做与题目相关的扩展,并且可能会抛出一定问题供思考.这些题目我会标注具体的公司.招聘类 ...
- [考试总结]noip模拟20
第五场,再挂分就没了.. 然后就没了.. 考场上一直想方法. 似乎想到了 \(T1\) 正解. 然而几个 \(k\) 的调试信息都让我迷失了自我. 然后有几句啥都没用的语句加在了上面.. 挂分... ...