问题描述

研发同事反馈某应用执行较慢,对应SQL为:

UPDATE bs_serial_trac
SET SERIAL_IS_LOCK = 0,
LOCK_VALUE = '',
UPDATE_USER = 'transSys'
WHERE GOODS_NO = ''
AND (
PARENT_CODE = 'F9G7S19722001835'
OR SERIAL = 'F9G7S19722001835'
);

表bs_serial_trac上索引情况为:

PRIMARY KEY (`ID`),
UNIQUE KEY `idx_complex_serial_goodsNo` (`SERIAL`,`GOODS_NO`),
KEY `idx_update_time` (`UPDATE_TIME`),
KEY `idx_serial_goodsNo` (`GOODS_NO`),
KEY `idx_parent_code` (`PARENT_CODE`),
KEY `idx_lock_value` (`LOCK_VALUE`)

由于使用OR条件,查询只能基于条件GOODS_NO = '4418095740626' 进行数据查找,其执行计划为:

*************************** 1. row ***************************
id: 1
select_type: UPDATE
table: bs_serial_trac
partitions: NULL
type: range
possible_keys: idx_serial_goodsNo
key: idx_serial_goodsNo
key_len: 93
ref: const
rows: 404920
filtered: 100.00
Extra: Using where
1 row in set (0.00 sec)

由于GOODS_NO列选择性较差,满足条件的记录较多,导致查询性能较差:

SELECT COUNT(1)
FROM bs_serial_trac
WHERE GOODS_NO = ''; +----------+
| COUNT(1) |
+----------+
| 215447 |
+----------+

解决步骤

问题很明显,由于OR语句导致索引无法正常使用,将OR调整为UNION ALL,调整后的SQL语句为:

SELECT *
FROM bs_serial_trac
WHERE GOODS_NO = ''
AND PARENT_CODE = 'F9G7S19722007485'
UNION ALL
SELECT *
FROM bs_serial_trac
WHERE GOODS_NO = ''
AND SERIAL = 'F9G7S19722007485'
AND PARENT_CODE <> 'F9G7S19722007485'

查询速度很快,由之前的800ms优化到10ms以下,看起来很完美,但是查询结果没数据。。。

简单定位下,发现PARENT_CODE列类型为varchar(50) DEFAULT '',PARENT_CODE列值为NULL,做不等于判断时存在问题:

SELECT
NOT(PARENT_CODE <=> 'F9G7S19722007485') AS C1,
NOT(PARENT_CODE = 'F9G7S19722007485') AS C2,
PARENT_CODE <> 'F9G7S19722007485' AS C3
FROM bs_serial_trac
WHERE GOODS_NO = ''
AND SERIAL = 'F9G7S19722007485' ; +----+------+------+
| C1 | C2 | C3 |
+----+------+------+
| 1 | NULL | NULL |
+----+------+------+

因此改写为UNION ALL语句时需要改写为:

SELECT *
FROM bs_serial_trac
WHERE GOODS_NO = ''
AND PARENT_CODE = 'F9G7S19722007485'
UNION ALL
SELECT *
FROM bs_serial_trac
WHERE GOODS_NO = ''
AND SERIAL = 'F9G7S19722007485'
AND NOT(PARENT_CODE <=> 'F9G7S19722007485')

或改写为:

SELECT *
FROM bs_serial_trac
WHERE GOODS_NO = ''
AND PARENT_CODE = 'F9G7S19722007485'
UNION ALL
SELECT *
FROM bs_serial_trac
WHERE GOODS_NO = ''
AND SERIAL = 'F9G7S19722007485'
AND (PARENT_CODE <> 'F9G7S19722007485' OR PARENT_CODE IS NULL)

由于在UNION ALL的第二部分查询中,PARENT_CODE不用于索引查找,只用于数据过滤,因此两种方式都不会影响查询性能。

确认使用UNION ALL性能满足需求后,将UPDATE操作改写为:

UPDATE bs_serial_trac
SET SERIAL_IS_LOCK = 0,
LOCK_VALUE = '',
UPDATE_USER = 'transSys'
WHERE ID IN(
SELECT ID FROM(
SELECT ID
FROM bs_serial_trac
WHERE GOODS_NO = ''
AND PARENT_CODE = 'F9G7S19722007485'
UNION ALL
SELECT ID
FROM bs_serial_trac
WHERE GOODS_NO = ''
AND SERIAL = 'F9G7S19722007485'
AND (PARENT_CODE <> 'F9G7S19722007485' OR PARENT_CODE IS NULL)
) AS T1
)

其对于执行计划为:

*************************** 1. row ***************************
id: 1
select_type: UPDATE
table: bs_serial_trac
partitions: NULL
type: index
possible_keys: NULL
key: PRIMARY
key_len: 8
ref: NULL
rows: 13270473
filtered: 100.00
Extra: Using where
*************************** 2. row ***************************
id: 2
select_type: DEPENDENT SUBQUERY
table: <derived3>
partitions: NULL
type: index_subquery
possible_keys: <auto_key0>
key: <auto_key0>
key_len: 8
ref: func
rows: 2
filtered: 100.00
Extra: Using index
*************************** 3. row ***************************
id: 3
select_type: DERIVED
table: bs_serial_trac
partitions: NULL
type: ref
possible_keys: idx_serial_goodsNo,idx_parent_code
key: idx_parent_code
key_len: 153
ref: const
rows: 1
filtered: 5.00
Extra: Using where
*************************** 4. row ***************************
id: 4
select_type: UNION
table: bs_serial_trac
partitions: NULL
type: const
possible_keys: idx_complex_serial_goodsNo,idx_serial_goodsNo,idx_parent_code
key: idx_complex_serial_goodsNo
key_len: 695
ref: const,const
rows: 1
filtered: 100.00
Extra: NULL
4 rows in set (0.00 sec)

虽然按照主键ID去更新,但是由于使用IN语句,仍导致查询走全表扫描,性能极差,需要将IN查询转换成INNER JOIN:

UPDATE
bs_serial_trac AS T2
INNER JOIN (
SELECT ID
FROM bs_serial_trac
WHERE GOODS_NO = ''
AND PARENT_CODE = 'F9G7S19722007485'
UNION ALL
SELECT ID
FROM bs_serial_trac
WHERE GOODS_NO = ''
AND SERIAL = 'F9G7S19722007485'
AND (PARENT_CODE <> 'F9G7S19722007485' OR PARENT_CODE IS NULL)
) AS T1
ON T1.ID=T2.ID
SET
T2.SERIAL_IS_LOCK = 0,
T2.LOCK_VALUE = '',
T2.UPDATE_USER = 'transSys'

修改后执行计划为:

*************************** 1. row ***************************
id: 1
select_type: PRIMARY
table: <derived2>
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 3
filtered: 100.00
Extra: NULL
*************************** 2. row ***************************
id: 1
select_type: UPDATE
table: T2
partitions: NULL
type: eq_ref
possible_keys: PRIMARY
key: PRIMARY
key_len: 8
ref: T1.ID
rows: 1
filtered: 100.00
Extra: NULL
*************************** 3. row ***************************
id: 2
select_type: DERIVED
table: bs_serial_trac
partitions: NULL
type: ref
possible_keys: idx_serial_goodsNo,idx_parent_code
key: idx_parent_code
key_len: 153
ref: const
rows: 1
filtered: 5.00
Extra: Using where
*************************** 4. row ***************************
id: 3
select_type: UNION
table: bs_serial_trac
partitions: NULL
type: const
possible_keys: idx_complex_serial_goodsNo,idx_serial_goodsNo,idx_parent_code
key: idx_complex_serial_goodsNo
key_len: 695
ref: const,const
rows: 1
filtered: 100.00
Extra: NULL
4 rows in set (0.00 sec)

调整能正常按照主键去操作,性能有保障。

<=>操作符

<=> : NULL-safe equal. This operator performs an equality comparison like the = operator, but returns 1 rather than NULL if both operands are NULL, and 0 rather than NULL if one operand is NULL.

参考: https://dev.mysql.com/doc/refman/8.0/en/comparison-operators.html#operator_equal-to

MySQL Case--优化OR语句踩坑记录的更多相关文章

  1. 复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

    从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负责的模块connector就派上了用场. ...

  2. CentOS7.4安装MySQL踩坑记录

    CentOS7.4安装MySQL踩坑记录 time: 2018.3.19 CentOS7.4安装MySQL时网上的文档虽然多但是不靠谱的也多, 可能因为版本与时间的问题, 所以记录下自己踩坑的过程, ...

  3. manjaro xfce 18.0 踩坑记录

    manjaro xfce 18.0 踩坑记录 1 简介1.1 Manjaro Linux1.2 开发桌面环境2 自动打开 NumLock3 系统快照3.1 安装timeshift3.2 使用times ...

  4. 你真的了解字典(Dictionary)吗? C# Memory Cache 踩坑记录 .net 泛型 结构化CSS设计思维 WinForm POST上传与后台接收 高效实用的.NET开源项目 .net 笔试面试总结(3) .net 笔试面试总结(2) 依赖注入 C# RSA 加密 C#与Java AES 加密解密

    你真的了解字典(Dictionary)吗?   从一道亲身经历的面试题说起 半年前,我参加我现在所在公司的面试,面试官给了一道题,说有一个Y形的链表,知道起始节点,找出交叉节点.为了便于描述,我把上面 ...

  5. SUCTF 2019 Upload labs 2 踩坑记录

    SUCTF 2019 Upload labs 2 踩坑记录 题目地址 : https://github.com/team-su/SUCTF-2019/tree/master/Web/Upload La ...

  6. 30多条mysql数据库优化方法,千万级数据库记录查询轻松解决(转载)

    1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索 ...

  7. ABP框架踩坑记录

    ABP框架踩坑记录 ASP.NET Boilerplate是一个专用于现代Web应用程序的通用应用程序框架. 它使用了你已经熟悉的工具,并根据它们实现最佳实践. 文章目录 使用MySQL 配置User ...

  8. 转载:30多条mysql数据库优化方法,千万级数据库记录查询轻松解决

    1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索 ...

  9. 浅谈MySQL中优化sql语句查询常用的30种方法 - 转载

    浅谈MySQL中优化sql语句查询常用的30种方法 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中使 ...

随机推荐

  1. 008-linux shell vim使用

    一.概述 vi: Visual Interface 可视化接口 vim: VI iMproved VI增强版 全屏编辑器,模式化编辑器 vim模式: 编辑模式(命令模式) 输入模式 末行模式 模式转换 ...

  2. JS 生成随机字符串 随机颜色

    使用Math.random()生成随机数 0.7489584611780002数字的.toString(n) 将数字转换为 n 进制的字符串 n取值范围(0~36)"0.vbpjw8lipf ...

  3. json 格式化处理工具

    json 格式化处理工具 用于JSON的快速命令行处理工具,简单无依赖. 我这边列举一些最常用的: 调试 http 请求时打印格式化后的数据 格式化本地或或流中的数据 获取 json 的键值或进行执行 ...

  4. python初级(302) 6 对象(四)

    一.复习 1.什么是多态 2.复习上一节课内容 class Triangle: """ 三角形类 """ def __init__(self ...

  5. Linux下查看占用CPU资源最多的几个进程

    linux下获取占用CPU资源最多的10个进程: ps aux|head -1;ps aux|grep -v PID|sort -rn -k +3|head linux下获取占用内存资源最多的10个进 ...

  6. PageRank算法原理与Python实现

    一.什么是pagerank PageRank的Page可是认为是网页,表示网页排名,也可以认为是Larry Page(google 产品经理),因为他是这个算法的发明者之一,还是google CEO( ...

  7. Windows10 下安装 oracle 客户端,安装 plsql 破解并实现汉化

    一,软件准备 1,win10 操作系统 2,oracle_11g_r2 client 这里是 64 位的软件  3, plsql 11.0.6 这里我们下载 64 的,32 位操作系统现在已经很少了, ...

  8. pom中parent和dependency区别以及dependencyManagement区别

    真的很详细 很感动 1.在同一个pom文件下,如果<dependencies>和<dependencyManagement>中都对该jar做了依赖,以<dependenc ...

  9. LeetCode 453. 最小移动次数使数组元素相等(Minimum Moves to Equal Array Elements) 47

    453. 最小移动次数使数组元素相等 453. Minimum Moves to Equal Array Elements 题目描述 给定一个长度为 n 的非空整数数组,找到让数组所有元素相等的最小移 ...

  10. Lock Free (无锁并发)

    CAS( compare and swap) 原子操作,保证了如果需要更新的地址没有被其他进程(线程)改动过,那么它可以安全的写入.而这也是我们对于某个数据或者数据结构加锁要保护的内容,保证读写的一致 ...