mysql同时使用order by和limit查询时的一个严重隐患 -- 丢失数据

转自: https://blog.csdn.net/tsxw24/article/details/44994835 我经常使用order by和limit来做数据分页显示并排序,一直也没发现过什么问题.但这两天缺遇到一个严重的问题,在按时间戳升序排列并用limit分批读取数据时,却发现在某些记录丢失了,表中明明有的记录确死活读取不到.研究了大半天终于发现了问题所在,记录一下以防忘记,也是给大家提个醒. 问题重现工具和原料数据库: Ver 14.14 Distrib 5.6.11, for L…

MySQL中ORDER BY与LIMIT一起使用（有坑）

1. 现象与问题 ORDER BY排序后,用LIMIT取前几条,发现返回的结果集的顺序与预期的不一样下面是我遇到的问题: 可以看到,带LIMIT与不带LIMIT的结果与我预期的不一样,而且“很不可思议”,真是百思不得其解后来百度了一下,如果order by的列有相同的值时,mysql会随机选取这些行,为了保证每次都返回的顺序一致可以额外增加一个排序字段(比如:id),用两个字段来尽可能减少重复的概率于是,改成 order by status, id; 问题虽然是解决了,但还是看看官方文档…

采坑笔记——mysql的order by和limit排序问题

背景说明今天写出一个十分弱智的bug,记录一下,提醒自己以后别这种犯错,不怕丢人哈~ 在写一个分页查询记录的sql时,要根据添加的时间逆序分页输出,之前的写法是酱紫 select record.a, y.c from ( select a,b from x order by timestamp desc limit 0,10 ) record left join y on record.b = y.d; 因为一些新的需求,要在后面加一些where条件,limit操作不能在嵌套查询里面加了,于是…

mysql实现in子句的limit查询 (转)

在supesite里面执行一个SQL语句: select * from supe_spaceitems where catid=98 and itemid not in(select itemid from supe_spaceitems where catid=98 and haveattach=1 order by itemid desc limit 1) order by itemid desc limit 3; 发现如下提示: #1235 - This version of MySQL…

MySQL中 order by 与 limit 的执行顺序以及使用实例

在 MySQL 执行查询的时候,我们可能既要对结果集进行排序又要限制行数,那么此时 order by 与 limit 的执行顺序是怎么样的呢? order by与limit的执行顺序是:先执行order by,然后执行limit. order by与limit的写顺序是:先写order by,再写limit. 正确写法如下: ; 错误写法如下(写错了 order by 与 limit 的顺序): order by id desc; 执行这个SQL语句的时候会报错.…

MySQL中 ORDER BY 与 LIMIT 的执行顺序

如下: ORDER BY 与 LIMIT 的执行顺序:ORDER BY > LIMIT ORDER BY 与 LIMIT 的编写顺序:ORDER BY > LIMIT 正确写法: select * from myTest ORDER BY id DESC LIMIT 6; 附上MySql的sql语句执行顺序 FROM table1 left join table2 on 将table1和table2中的数据产生笛卡尔积,生成Temp1 JOIN table2 所以先是确定表,再确定关联条件 O…

mysql通过“延迟关联”进行limit分页查询优化的一个实例

最近在生产上遇见一个分页查询特别慢的问题,数据量大概有200万的样子,翻到最后一页性能很低,差不多得有4秒的样子才能出来整个页面,需要进行查询优化. 第一步,找到执行慢的sql,如下: SELECT shotel_id as hotelId, mroom_type_id as mroomTypeId, available_date as availableDate, result_status as resultStatus, create_time as createTime,…

Mybatis一对多/多对多查询时只查出了一条数据

问题描述: 如果三表(包括了关系表)级联查询,主表和明细表的主键都是id的话,明细表的多条数据只能查询出来第一条/最后一条数据. 三个表,权限表(Permission),权限组表(PermissionGroup),权限组与权限的关系表(PermissionPermissionGroupKey) 实体类就不写上来了. 原出错映射文件: <resultMap id="permissionGroupResultMap" type="cn.kx59.admin.entity.P…

Mybatis 级联查询时只查出了一条数据

造成这个问题的原因是: 主表和明细表的id字段名相同造成的. 问题的关键在于resultMap中如果不定义类似主键之类的能够区分每一条结果集的字段的话,会引起后面一条数据覆盖前面一条数据的现象.…

oracle中使用sql查询时字段为空则赋值默认

转至:http://www.th7.cn/db/Oracle/201501/86125.shtml oracle 通过 nvl( )函数sql 查询时为空值赋默认值 oracle 函数介绍之nvl 函数声明:nvl(col,val) 说明:当col为空时取val作为返回值,当col不为空时取col值. 用处:最主要的是格式化数据,比如计算金额时,不想出现空数据,可以使用nvl(JINE,0)来得到0.由于null+(或-,*,/)数字等于 null,所以在表达式中对可能为空的值要使用nvl由…

mysql查询时不区分大小写

一次偶然的机会,发现在登陆验证时,改变用户名的大小写,同样可以登录成功,这是由于,当时使用的mysql数据库对大小写不敏感,查询时总是能查询到数据.一番查找资料,给出的原因是:在创建数据库的时候,选择了utf8_general_ci排序规则. 创建数据库时,需要同时选择字符集和排序规则,字符集大家都知道是怎么回事,那排序规则干嘛用的呢? 排序规则:是指对指定字符集下不同字符的比较规则.其特征有以下几点: 1. 两个不同的字符集不能有相同的排序规则 2. 两个字符集有一个默认的排序规则 3. 有一…

mysql踩坑记录之limit和sum函数混合使用问题

问题复盘本次复盘会用一个很简单的订单表作为示例. 数据准备订单表建表语句如下(这里偷懒了,使用了自增ID,实际开发中不建议使用自增ID作为订单ID) CREATE TABLE `order` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '订单ID', `amount` decimal(10,2) NOT NULL COMMENT '订单金额', PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=u…

MySQL数据库order by 奇慢无比

今天遇到个奇葩的问题, sql 数据量很大有where 和order by,不加order by 速度很快,加了就很慢一.首先我们对这条sql执行查询计划: explain select t.order_id from book_order t ORDER BY t.order_id desc explain select t.order_id from book_order t 这条语句应用的索引是idx_bo_order_book_local 进一步确定,再对使用where条件后,索引变…

SqlServer 在查询结果中如何过滤掉重复数据

问题背景在一个多表查询的sql中正常情况下产生的数据都是唯一的,但因为数据库中存在错误(某张表中存在相同的外键ID)导致我这边查询出来的数据就会有重复的问题下面结果集中UserID:15834存在多个查询Sql如下: SELECT * FROM ( SELECT ROW_NUMBER() OVER ( ORDER BY T.USERID asc )AS Row ,T.USERID ,T.CreateTime FROM UserInfo T LEFT JOIN DiseaseInfo i…

MySQL之单表查询一单表查询的语法二关键字的执行优先级(重点) 三简单查询四 WHERE约束五分组查询:GROUP BY 六 HAVING过滤七查询排序:ORDER BY 八限制查询的记录数:LIMIT 九使用正则表达式查询

MySQL之单表查询阅读目录一单表查询的语法二关键字的执行优先级(重点) 三简单查询四 WHERE约束五分组查询:GROUP BY 六 HAVING过滤七查询排序:ORDER BY 八限制查询的记录数:LIMIT 九使用正则表达式查询一单表查询的语法 #查询数据的本质:mysql会到你本地的硬盘上找到对应的文件,然后打开文件,按照你的查询条件来找出你需要的数据.下面是完整的一个单表查询的语法 select * from,这个select * 指的是要查询所有字段的数…

Mysql order by与limit混用陷阱

在Mysql中我们常常用order by来进行排序,使用limit来进行分页,当需要先排序后分页时我们往往使用类似的写法select * from 表名 order by 排序字段 limt M,N.但是这种写法却隐藏着较深的使用陷阱.在排序字段有数据重复的情况下,会很容易出现排序结果与预期不一致的问题. 比如现在有一张user表,表结构及数据如下: 现在想根据创建时间升序查询user表,并且分页查询,每页2条,那很容易写出sql为:select * from user order by cre…

mysql limit查询（分页查询）探究

MySQL的Limit子句 LIMIT offset,length Limit子句可以被用于强制 SELECT 语句返回指定的记录数.Limit接受一个或两个数字参数.参数必须是一个整数常量.如果给定两个参数,第一个参数指定第一个返回记录行的偏移量,第二个参数指定返回记录行的最大数目. (而不是 ): mysql,; : mysql,; -last ,n: mysql; 个记录行 Limit的效率有时候很高常说的Limit的执行效率高,是对于一种特定条件下来说的:即数据库的数量很大,但是只需要…

如何提高MySQL Limit查询的性能

MYSQL的优化是非常重要的.其他最常用也最需要优化的就是limit.mysql的limit给分页带来了极大的方便,但数据量一大的时候,limit的性能就急剧下降. 同样是取10条数据 select * from yanxue8_visit limit 10000,10 和 select * from yanxue8_visit limit 0,10 就不是一个数量级别的. 1.offset比较小的时候. select * from yanxue8_visit limit 10,10 多次运行,…

MySQL 中随机抽样：order by rand limit 的替代方案

最近由于需要大概研究了一下MYSQL的随机抽取实现方法.举个例子,要从tablename表中随机提取一条记录,大家一般的写法就是:SELECT * FROM tablename ORDER BY RAND() LIMIT 1. 但是,后来我查了一下MYSQL的官方手册,里面针对RAND()的提示大概意思就是,在ORDER BY从句里面不能使用RAND()函数,因为这样会导致数据列被多次扫描.但是在MYSQL 3.23版本中,仍然可以通过ORDER BY RAND()来实现随机. 但是真正测试一下…

MySQL中的RAND()函数使用详解(order by rand() 随机查询取前几条记录)

MySQL RAND()函数调用可以在0和1之间产生一个随机数: mysql> SELECT RAND( ), RAND( ), RAND( ); +------------------+-----------------+------------------+ | RAND( ) | RAND( ) | RAND( ) | +------------------+-----------------+------------------+ | 0.45464584925645 | 0.18244…

MySQL查询时，查询结果如何按照where in数组排序

MySQL查询时,查询结果如何按照where in数组排序在查询中,MySQL默认是order by id asc排序的,但有时候需要按照where in 的数组顺序排序,比如where in的id查询数组为[922,106,104,103],正常情况查询出来的结果顺序为[103,104,106,922],这可能不是我们想要的结果, 我们期望查出来的结果顺序与where in的顺序一致,这里介绍两个方式: 1.使用find_in_set函数: select * from table where…

【开发笔记】- MySQL中limit查询超级慢，怎么办？

有如下解决方法: (1).通过判断id的范围来分页 limit ; 也得到了分页的数据,但是我们发现如果id不是顺序的,也就是如果有数据删除过的话,那么这样分页数据就会不正确,这个是有缺陷的. (2).通过between and 代替limit(前提:知道具体的位置) (3).通过连接查询来分页我们可以先查询500w条数据开始分页的那10个id,然后通过连接查询显示数据 ,)as lim using(id); 优化分页查询的一个最简单的方法就是尽可能地使用索引覆盖扫描,而不是查询所有的列…

mysql查询时强制区分大小写

转载自:http://snowolf.iteye.com/blog/1681944 平时很少会考虑数据存储需要明确字符串类型字段的大小写,MySQL默认的查询也不区分大小写.但作为用户信息,一旦用户名重复,又会浪费很多资源.再者,李逵.李鬼的多起来,侦辨起来很困难.要做到这一点,要么在建表时,明确大小写敏感(字段明确大小写敏感).如果通盘数据库所有字段都需要大小写敏感,不如在字符集设置时做好调整.不过,通常不建议这么做. 如果跟我一样,数据库已经在线上跑了,一个表上百万条数据,做字段类型变更有可…