Mysql系列（五）—— 分页查询及问题优化

一.用法

在Mysql中分页查询使用关键字limit。limit的语法如下:

SELECT * FROM tbl LIMIT 5,10; # Retrieve rows 6-15

limit关键字带有两个参数，第一个参数表示相对于第一行的偏移量，第二个参数表示检索出的最大行数。初始化行数的偏移量是0而非1。

同行分页中会根据页码和每页条数计算出limit的偏移量即第一个参数，每页大小即第二个参数，开完成分页查询。

SELECT * FROM tbl LIMIT 5; # Retrieve first 5 rows

如果只有一个参数，表示从偏移量0处开始，返回5行，即：

SELECT * FROM tbl LIMIT 0, 5; # Retrieve first 5 rows

limit工作原理：如以上的limit 5，10，mysql会从偏移量0开始查询出15条，舍弃前面的5条，返回后面的10条。所以limit的工作方式是，查询出（偏移量 + 返回条数）条数据，然后舍弃前面的返回后面的所需条数。

二.问题

使用limit的过程中可能会发生的问题：

问题1. 分页查询性能问题

正如上面的limit的工作原理阐述，如果大数据表中limit分页查询或者查询指定偏移量后的数据，随着偏移量的逐渐增大，limit的性能越来越差，甚至赶上全表扫描。比如为1000w，那么mysql会将偏移的1000w条全部查询出来，这样就极大的影响性能。

注：limit对于返回指定条数的性能极好，从偏移量0出开始，取出指定条数返回即可。

问题2. 查询结果不一致

当order by和limit同时使用时，在order by排序字段上，有重复字段时，会出现相同查询语句的查询结果可能不一致。

官方文档时这样描述：

If multiple rows have identical values in the ORDER BY columns, the server is free to return those rows in any order, and may do so differently depending on the overall execution plan. In other words, the sort order of those rows is nondeterministic with respect to the nonordered columns.

有多行在order by排序字段上具有相同值，可能会按照任意顺序自由返回这些行。换句话说，这些具有相同值的行的顺序具有不确定性。

这时如果再使用limit分页，可能在不同页返回相同行的数据。因为那些相同值的列在每次查询的排序中具有不确定性，第n次排序分页查询出现，依然再下一次的排序分页查询中继续出现。

三.优化

1.分页查询性能优化

分析：

是因为分页时，随着偏移量的增大会造成将偏移量之前的数据也查询一遍导致。

解决方式：

解决方式一：限制查询分页的页码，比如最多只能查询100页。后面的数据属于历史过久的数据，不予展示。简单粗暴，在一些特定场景中可以使用。
解决方式二：上面分析了limit性能差的原因是因为将偏移量的之前的所有数据都查询了一遍——大海捞针，那么如果能让查询从少量数据开始查询那不就ok了——水杯捞针。既然要缩小查询范围，那么就必须过滤，既然过滤，那就必须where。使用了where最好再加上索引，那就更快了。
经过分析，现在最为关键的是where的条件是什么。当然最好的是属于主键了，不过这个得看应用场景。那么每次分页的时候，where条件的值该怎么办？
第一：可以将上次分页的结果作为下次分页的条件，这种情况时需要根据条件列进行排序，否则会出现重复结果，order by加上limit又会引发上述问题，可以参照解决。建议使用不重复列——主键、唯一索引列。如：where condition > condition_value order by condition limit 24；
第二：如果id是连续自增不间断，可以根据页码和页数直接计算出条件，比如：where id > 20 * 24 limit 24；
解决方式三：分析limit查询随着偏移量大时，需要查询前面的所有行，每行数据列非常多，所以导致慢。如果查询前面的行数据非常小，那是不是就快一点。基于此，可以先分页查询出主键，然后再根据主键关联，查询出所需行的全部数据。即使用子查询：select * from table id in (select id from table limit 300000, 10);
但是这种方式也不会快很多，毕竟还是扫描了前面的全id。
解决方式四：如果只是分页查询某个列，可以使用覆盖索引。针对该列建立索引，然后分页时只扫描整个索引便能获取数据，这样就不用扫描表行，加快分页速度。

2.结果不一致优化

分析：

是因为order by对相同值的排序具有不确定性导致，如果需要结果这个，要么让mysql支持对于前后查询都是一样的顺序，这样就会造成查询上下文了，mysql肯定不会这样设计。要么让排序的依据能够唯一，即排序的值是唯一的。

解决方式：

解决方式一：选择具有唯一值的列进行排序
解决方式二：多列值组合时唯一的情况下，选择多列上排序

四.Mysql对limit的优化

在查询少量的行时，mysql有时使用索引，更多情况会全表扫描；
在order by和limit混合使用时，mysql查询到排序结果中第一个limit的行数即结束，不会再排序所有的结果；
在distinct和limit混合使用时，mysql查询到第一个唯一的limit行数时即返回；

参考

LIMIT Query Optimization
mysql 大数据量分页优化