记一次字符串末尾空白丢失的排查 → MySQL 是会玩的!
开心一刻
今天答应准时回家和老婆一起吃晚饭,但临时有事加了会班,回家晚了点
回到家,本以为老婆会很生气,但老婆却立即从厨房端出了热着的饭菜
老婆:还没吃饭吧,去洗下,来吃饭吧
我洗好,坐下吃饭,内心感动十分;老婆坐旁边深情的看着我
老婆:你知道谁最爱你吗
我毫不犹豫道:你
老婆:谁最关心你?
我:你
老婆:我是谁呀?
我:我老婆
老婆:那你以后是不是得对我好点?
这时电话响了,一看好哥们打过来的,我接了并开了免提
哥们:楼下洗浴八折,干啥呢?
我:那个......,在陪我前妻吃口饭
问题背景
一天,小伙伴找到我,他说他碰到一个很奇怪的问题
他说:明明表名的入参是 test ,为什么展示到界面的记录包括 test 这条记录?
他补充道:会不会是 MyBatis-Plus 做了什么骚操作,把 test 末尾的空格给拿掉了
我:你直接把 SQL 语句到 MySQL 执行下试试
结果如下:

这看起来不够直观,我移动下光标

然后我和小伙伴面面相觑

环境准备
MySQL5 、 MySQL8 各准备一个


我们来看下默认情况下,末尾空白的判断情况
MySQL 5.7.36 如下

1 表示 TRUE ,也就是相等
MySQL 8.0.27 如下

0 表示 FALSE ,表示不相等
这是什么原因,我们继续往下看
字符集与字符序
比较肯定就需要比较规则, SQL 的比较规则就离不开字符序,字符序又与字符集相关,所以我们一个一个来捋
字符集
关于字符集,不是只言片语可以说清楚的,但是大家也不用担心,网上相关资料已经非常多,大家擦亮慧眼去查阅即可
简单点来说:字符集定义了字符和字符的编码
有人又问了:字符、字符的编码又是什么?

为了方便大家理解,举个简单栗子
有四个字符:A、B、C、D,这四个字符的编码分别是 A = 0, B = 1, C = 2, D = 3
这里的字符(A、B、C、D) + 编码(0、1、2、3)就构成了字符集(character set)
MySQL 支持的字符集有很多,可以通过 SHOW CHARACTER SET; 查看

Charset :字符集名
Description :描述
Default collation :默认字符序
Maxlen :每个字符最多字节数
字符序
定义了字符的比较规则;字符间的比较按何种规则进行
一个字符集对应多个字符序,通过 SHOW COLLATION; 可以查看全部的字符序;也可以带条件查具体某个字符集的字符序

Default 等于 Yes 表示是默认字符序
每个字符集都有默认的字符序
server的字符集与字符序
当我们创建数据库时,没有指定字符集、字符序,那么server字符集、server字符序就会作为该数据库的字符集、字符序

database的字符集与字符序
指定数据库级别的字符集、字符序
同一个MySQL服务下的数据库,可以分别指定不同的字符集、字符序
创建、修改数据库的时候,可以通过 CHARACTER SET 、 COLLATE 指定数据库的字符集、字符序

可以通过

查看数据库的字符集和字符序
table的字符集与字符序
创建、修改表的时候,可以通过 CHARACTER SET 、 COLLATE 指定表的字符集、字符序

可以通过

查看表的字符序
column的字符集与字符序
类型为 CHAR 、 VARCHAR 、 TEXT 的列,可以指定字符集、字符序

可以通过

查看字段的字符集和字符序
多个维度指定字符集、字符序的话,粒度越细的优先级越高( column > table > database > server )
如果细粒度未指定字符集、字符序,那么会继承上一级的字符集,字符序则是上一级字符集的默认字符序
通常情况下我们一般不会指定 table 、 column 粒度的字符集、字符序
也就是说,通常情况下 column 的字符集会与 database 的字符集一致,而 column 的字符序则是 database 字符集的默认字符序
空白丢失
上面讲了那么多,跟空白丢失有什么关系?
大家先莫急,继续往下看
MySQL5.7 The CHAR and VARCHAR Types中有这么一段

翻译过来就是:
1、类型是 CHAR 、 VARCHAR 、 TEXT 列的值,会根据列的字符序来比较和排序
2、所有 MySQL 排序规则的类型都是 PAD SPACE 。这就意味着, CHAR 、 VARCHAR 、 TEXT 类型的值进行比较时,不用考虑任何末尾空格,LIKE 除外
3、不受 SQL mode 影响,也就是说不管是严格模式,还是非严格模式,都不影响 2 所说的规则
划重点,记笔记:在 MySQL5.7 及以下( <=5.7 )版本中,排序规则都是 PAD SPACE ,末尾的空格会忽略不考虑
那如何让末尾空格参与比较了,有三种处理方式
1、 BINARY ,类似 SELECT 'test' = BINARY 'test ';

2、 LIKE ,类似 SELECT 'test' LIKE 'test ';

3、 LENGTH 函数,类似

MySQL8 做了调整,The CHAR and VARCHAR Types 有如下说明

翻译过来就是:
1、类型是 CHAR 、 VARCHAR 、 TEXT 列的值,会根据列的字符序来比较和排序
2、 MySQL 字符序的 pad 参数的可选值,除了 PAD SPACE ,还增加了 NO PAD

3、对于非二进制字符串( CHAR 、 VARCHAR 、 TEXT ),字符序 pad 参数决定如何去处理字符串末尾的空格
NO PAD 不会忽略末尾空格,会将其当做其他字符一样对待
PAD SPACE 会忽略末尾空格, LIKE 除外
SQL mode 不参与字符串末尾空格的处理
MySQL8 server 维度的字符集是 utf8mb4 ,对应的默认字符序是: utf8mb4_0900_ai_ci


Pad_attribute 的值是 NO PAD ,也就是不会忽略字符串末尾的空格
所以在 MySQL8 中, SELECT 'test' = 'test '; 默认情况下得到的结果是 0
总结
1、非二进制字符串( CHAR 、 VARCHAR 、 TEXT )比较时,末尾空格的处理跟列的字符序有直接关系
2、 MySQL5.7 及之前的版本,排序规则的类型都是 PAD SPACE ,会忽略字符串末尾的空格, LIKE 除外
3、 MySQL8 开始,字符序增加了一个参数 Pad_attribute ,该参数的值不同,对字符串末尾空格的处理方式不同
NO PAD :字符串末尾的空格会和其他字符一样,不会被忽略
PAD SPACE :字符串末尾的空格会被忽略, LIKE 除外
4、如上针对的都是非二进制字符串的排序和比较,而不是储存
参考
记一次字符串末尾空白丢失的排查 → MySQL 是会玩的!的更多相关文章
- 【Python】删除字符串的空白
在程序中,额外的空白可能让人迷惑,对于程序员来说,'python'跟'python '看起来几乎一样,但是对于程序来说,可是千差万别 (lstrip)删除开头空白 >>> Langu ...
- mysql 字符串转数据丢失精度,mysql转换丢失精度,mysql CAST 丢失精度
mysql 字符串转数据丢失精度,mysql转换丢失精度,mysql CAST 丢失精度 =============================== ©Copyright 蕃薯耀 2017年9月1 ...
- sql server2005版本中,len函数计算了字符串末尾的空格
sql server2005版本中,len函数计算了字符串末尾的空格的长度,以下是测试脚本: print @@version declare @v varchar(max) set @v = 'hp, ...
- 解Bug之路-记一次中间件导致的慢SQL排查过程
解Bug之路-记一次中间件导致的慢SQL排查过程 前言 最近发现线上出现一个奇葩的问题,这问题让笔者定位了好长时间,期间排查问题的过程还是挺有意思的,正好博客也好久不更新了,就以此为素材写出了本篇文章 ...
- Oracle数据库丢失表排查思路
Oracle数据库丢失表排查思路 说明:由于系统采用ID取模分表法进行Oracle数据存储,某日发现Oracle数据库中缺少对应的几张业务数据表,遂进行相关问题查询,简单记录一下排查思路: 由于我们代 ...
- (转载)用PHP正则表达式清除字符串的空白
(转载)http://www.chinaz.com/program/2009/0220/67569.shtml 我们经常会处理来自用户输入或从数据库中读取的数据,可能在你的字符串中有多余的空白或制表符 ...
- python 去除字符串末尾的子串
建议使用 "字符串".replace("要去除的字符串", "") 尽量不要使用 strip() ,有时会引入意想不到的结果.strip() ...
- mysql 字符串数值计算 精度丢失
我进行了一些测试.truncate(abs('414')/100,2)truncate('414'/100,2)truncate('4.14',2)truncate('4.1400',2)都有精度丢失 ...
- C字符串末尾的'\0'问题
C语言的字符串要注意最后一位默认是'/0'的问题.这是一个易错点. strlen()计算长度时不考虑末尾的'\0' //例1 void test1() { ]; "; strcpy( str ...
- 汇编字符串末尾以00H或 0AH和00H结尾
例如:db 'hello',0 用 C 语言百定义字符串时,编译软件会自动在字符串的末尾,加上一个零('\0').作为度字符串结束的标记. 用汇编的 DB 伪指令定义字符串,编译软件没有自动加上零的功 ...
随机推荐
- win32api中文在线文档
中文文档http://www.yfvb.com/help/win32sdk/ 英文手册https://www.jb51.net/books/724576.html
- keycloak~时间不正确的问题
首先我们应该知道,写到数据库里的时间,主要和你的mysql时区system_time_zone有关,而把mysql里的数据取出来,以json形式响应到浏览器上,这个时间会经过反序列化的过程,这时时间和 ...
- 使用Python代码远程连接服务器
目录 一.paramiko模块的介绍 二.基本使用(用户名密码登录) 三.用公钥私钥连接 一.paramiko模块的介绍 模块介绍 使用Python的第三方模块paramiko实现远程连接服务器 功能 ...
- 每天掌握10道面试题,轻轻松松去面试(Yes, that's right, I'm kidding)!!!
一.4.12 1.说一说cookie sessionStorage localStorage 是什么,有什么区别? Cookie.sessionStorage 和 localStorage 都是在浏览 ...
- Ubuntu-管理开机自启动服务
1. 管理服务启停工具 systemctl -- 将应用程序抽象为一个service,然后对这个service进行创建.启停.状态查看.配合journalctl进行日志管理 子命令 效果 start ...
- Tars-Cpp 协程实现分析
作者:vivo 互联网服务器团队- Ye Feng 本文介绍了协程的概念,并讨论了 Tars Cpp 协程的实现原理和源码分析. 一.前言 Tars 是 Linux 基金会的开源项目(https:// ...
- jQuery 在图片和文字中插入内容(多种情况考虑)
昨天接到一个新的需要,在后台文章编辑器中,每一个文章的正文前面,可以单独添加一个电头字段,但是如果在富文本编辑器中最上面就添加图片的话,图片就会把电头和正文中的文字给隔开.需要做的是获取到电头字段,然 ...
- Wine运行问题 希沃-汉字卡无法显示
在wine环境下运行希沃白板5,汉字卡无法正常显示: 这个模块是我之前参与开发的模块,过了5年还有点印象. 大概原理是获取字体库中字符的笔画路径GraphicsPath,根据里面的路径点集PathPo ...
- [OpenCV-Python] 15 图像阈值
文章目录 OpenCV-Python:IV OpenCV中的图像处理 15 图像阈值 15.1 简单阈值 15.2 自适应阈值 15.3 Otsu' 's 二值化 15.4 Otsu' 's 二值化是 ...
- 【解决方法】白嫖利用WPS自带C盘清理大师,清理C盘空间,自测清理19.5G空间,太感人了!
环境: 工具:WPS-WPS清理大师 系统版本:Windows 10 问题描述: 描述:本人C盘常年不足10G,也用过一些其他的清理工具,但是也不懂,不敢乱删除东西.一直得过且过. 由于C盘中有很多的 ...