MySQL 中的数据排序实现

在 MySQL 中,数据排序是通过 ORDER BY 子句实现的,主要涉及 文件排序索引排序 两种方式。


1. 排序的基本原理

MySQL 的排序实现分为以下两种情况:

  • 文件排序(File Sorting):当排序无法利用索引优化时,MySQL 会通过排序算法和临时表完成。
  • 索引排序(Index Sorting):如果排序字段有索引,MySQL 可以直接利用索引的有序性完成排序,无需额外操作。

2. 文件排序

文件排序的过程

ORDER BY 子句为例:

SELECT * FROM users ORDER BY age DESC;

其工作流程如下:

  1. 提取排序字段

    • 提取查询所需的列和 ORDER BY 中的排序字段。
  2. 排序操作
    • 根据排序字段对数据进行排序,可能需要内存排序或磁盘排序。
  3. 返回排序结果
    • 排序完成后,将排序结果返回给客户端。

排序算法

  • 双路排序(Two-Pass Sorting)

    • 提取排序列和主键到临时区域,对这些数据排序后,再通过主键回表查询其他列。
  • 单路排序(Single-Pass Sorting)(MySQL 8.0 优化):
    • 直接提取所有需要的列,一次完成排序,避免二次回表。

排序缓冲

  • MySQL 优先在内存中完成排序,通过 sort_buffer_size 参数配置排序缓冲区大小。
  • 当数据量超过内存限制时,MySQL 会写入磁盘进行排序,性能较低。

3. 索引排序

MySQL 可以利用 B+ 树索引的有序性完成排序,从而避免文件排序。例如:

SELECT * FROM users ORDER BY id ASC;

索引排序的条件

  1. 排序列有索引:索引必须覆盖 ORDER BY 指定的排序字段。

  2. 复合索引顺序匹配

    • 如果是多列排序,索引的列顺序需与 ORDER BY 的顺序一致。
    SELECT * FROM users ORDER BY age, name;

    如果存在 (age, name) 索引,MySQL 可直接利用该索引排序。

  3. 排序方向一致

    • ORDER BY 中包含不同方向的排序(如 ORDER BY age ASC, name DESC),MySQL 无法直接利用索引。

覆盖索引

当查询仅涉及索引列时,MySQL 可直接利用覆盖索引返回结果,无需访问表。


4. 内存与磁盘排序

MySQL 的排序优先使用内存,当数据量过大时,才会使用磁盘:

  • 内存排序:在 sort_buffer_size 限定的范围内,所有数据均在内存中排序。
  • 磁盘排序:当数据量超过内存限制时,MySQL 会将部分数据写入磁盘临时表进行排序,性能相对较低。

5. 排序性能优化

(1)使用索引优化排序

  • 索引可以显著减少排序开销。
  • 对于多列排序,创建复合索引有助于优化查询性能。

(2)调整 sort_buffer_size

  • 增加 sort_buffer_size 大小,可以减少磁盘排序操作。
SET GLOBAL sort_buffer_size = 2M;

(3)减少排序数据量

  • 使用 LIMIT 限制返回行数,减少需要排序的数据。
SELECT * FROM users ORDER BY age LIMIT 100;

(4)避免不必要的排序操作

  • 避免使用 ORDER BY RAND(),因为它需要对所有数据进行随机排序,性能很差。
  • 避免在排序列上使用函数,如 ORDER BY UPPER(name)

6. 示例对比

文件排序

当无法使用索引时:

SELECT * FROM users WHERE age > 20 ORDER BY name;

MySQL 会提取满足条件的记录,并通过排序算法在内存或磁盘中完成排序。

索引排序

当排序列有索引时:

SELECT * FROM users WHERE age > 20 ORDER BY age;

MySQL 可以直接利用 age 列上的索引完成排序,无需额外操作。


7. 总结

  1. 文件排序:当没有合适的索引时,MySQL 使用文件排序对数据进行排序,可能涉及内存或磁盘操作。
  2. 索引排序:当排序列有索引时,MySQL 可直接利用索引的有序性完成排序。
  3. 优化建议
    • 合理设计索引结构,避免不必要的排序操作。
    • 调整排序缓冲区大小,减少磁盘排序的可能性。
    • 限制返回行数,减少排序数据量。

MySQL 中的数据排序是怎么实现的?的更多相关文章

  1. 辛星浅谈mysql中的数据碎片以及引擎为MyISAM下的操作

    对于mysql中的数据碎片,事实上和我们删除数据是息息相关的,删除数据的时候必定会在数据文件里造成不连续的空白空间,对于少量的数据的删除,并不会产生多少的空白空间.假设在一段时间内的大量的删除操作,会 ...

  2. Vusual C++连接Mysql和从MySql中取出数据的API介绍

    .1 mysql_real_connect() 2.1.1 函数原型: MYSQL *mysql_real_connect(MYSQL *mysql, const char *host, const ...

  3. DataSet 中的数据排序 及 DataRow装成DataTable

    1.DataSet 中的数据排序 DataSet ds = new DataSet(); // 获取当前排口的数据 ds = _xiaobill.GetHistoryData(yinZiBianm, ...

  4. 用python批量向数据库(MySQL)中导入数据

    用python批量向数据库(MySQL)中导入数据 现有数十万条数据,如下的经过打乱处理过的数据进行导入 数据库内部的表格的数据格式如下与下面的表格结构相同 Current database: pyt ...

  5. PHP如何批量更新MYSQL中的数据

    最近项目需要用到批量更新数据库里的数据,在网上找了一下这方面的例子,觉得这个还不错,分享给大家. 在这个业务里里面涉及到了更新两张数据表,那么大家是不是会想到非常简单,马上上代码 $sql ,type ...

  6. hadoop项目实战--ETL--(二)实现自动向mysql中添加数据

    四 项目开发 1 创建数据库db_etl,新建两张表user 和oder.表结构如第一部分图所示. 2 编写python脚本,实现自动向mysql中插入数据. 新建python 项目,目录结构如下图 ...

  7. PHP读取mysql中的数据

    <!DOCTYPE HTML> <html> <head> <title> PHP动态读取mysql中的数据 </title> <me ...

  8. PHP批量更新MYSQL中的数据

    原文链接:https://blog.csdn.net/wuming19900801/article/details/62893429 $sql = "update newhouse_clic ...

  9. MySQL_(Java)分页查询MySQL中的数据

    MySQL_(Java)使用JDBC向数据库发起查询请求 传送门 MySQL_(Java)使用JDBC创建用户名和密码校验查询方法 传送门 MySQL_(Java)使用preparestatement ...

  10. 利用Ajax实现数据的同步传输,从mysql中提取数据,通过echarts可视化

    如何将mysql数据库中的方式通过echarts可视化呢,以下面这个简单的例子向大家进行演示:   步骤一:mysql的创表和插入数据,当然这些数据也可以是你通过爬虫抓取的.     步骤二:   创 ...

随机推荐

  1. Oracle生成awr报告操作步骤

    1.cmd命令窗口 以sysdba身份登录Oracle 2.执行@?/rdbms/admin/awrrpt命令,并选择报告类型为HTML.输入天数以选择生成报告的时间段,一般默认为最近7天.输入报告开 ...

  2. DeepSeek太火,但老板们别慌,这里有份AI项目开展手册

    关注公众号回复1 获取一线.总监.高管<管理秘籍> 这两天有老板陆续在咨询:到底应该如何基于DeepSeek开展AI项目? 抛开一些偏细节.偏敏感的付费内容,其实有一套方法论倒是可以分享. ...

  3. 自动安装zabbix-agentd脚本 自己写的

    zabbix_agent_install.sh #!/bin/bash #auther by wangxp ZABBIX_AGENT_DIR="/usr/local/zabbix" ...

  4. DevExpress WPF 在RibbonControl的Header中添加搜索框

    主要代码: <dxb:BarEditItem Name="txtSearch" EditHorizontalAlignment="Center"> ...

  5. IPMITool 工具使用详细教程

    IPMITool 工具使用详细教程 一.IPMI 与 IPMITool 简介 1. IPMI 概述 智能平台管理接口(Intelligent Platform Management Interface ...

  6. 2. MySQL的数据目录(详解讲解)

    2. MySQL的数据目录(详解讲解) @ 目录 2. MySQL的数据目录(详解讲解) 1. MySQL8 的主要目录结构 1.1 相关命令目录 1.2 配置文件目录 2. 数据库和文件系统的关系 ...

  7. 1 前端知识学习-初始Web和Web标准

    0️⃣ 初始Web和Web标准 Web ​ Web(World Wide Web) 即全球广域网.也成为万维网.我们常说的Web端就是网页端. 网页 ​ 网页是构成网站的基本元素.网页主要由文字.图像 ...

  8. P4688 [Ynoi Easy Round 2016] 掉进兔子洞

    莫队可以维护种类数 但是无法维护出现次数 考虑离散化以后我们后面腾出了一些空位 那么我们就可以填进那些坑里面 这样做我们就可以用 bitset 直接做与运算 那么 莫队 + bitset 即可

  9. 2024.11.14随笔&联考总结

    前言 今天联考直接炸纲了.但是不得不说:HEZ 的题要比 BSZX 好多了. 联考 今天联考题说实话难度应该比较适合我.第一题是推结论的题,我赛时 20min 想出正解,但是有两个细节没有考虑清楚,导 ...

  10. Netty基础—2.网络编程基础二

    大纲 1.网络编程简介 2.BIO网络编程 3.AIO网络编程 4.NIO网络编程之Buffer 5.NIO网络编程之实战 6.NIO网络编程之Reactor模式 1.网络编程简介 既然是通信,那么肯 ...