insert优化

如果你在某一时刻有大量的insert操作,一条一条插入是非常耗时的。insert语句本身支持一次插入很多条记录,插入记录数上限受sql语句长度限制,一般一次插个几千条是没问题的。在我的 《如何手动实现Try Insert和Insert Or Update》 一文中对于各种情况都有具体的例子,这里就不赘述了。

explain语句结果分析

SQL本身是一种对机器来说抽象级别很高的语言,我们通过SQL告诉DBMS我们需要什么,而没有告诉它具体要怎么做。DBMS会猜测性地以最优的方法去完成我们给的任务,但是它往往做得不太好,毕竟不同业务最优做法各不相同,目前我们还没有办法让机器完全理解我们的业务。所以我们需要辅助机器,帮助它找到最好的查询逻辑。通常的做法是添加合适的索引,让所有的查询都走索引。在MySQL中,在任何一个select语句前加上explain,就可以知道MySQL对这条查询的理解和实际执行逻辑。

下面来分析explain语句返回的结果。explain会展示查询涉及到的每张表分析结果,里面有很多参数,我们一般只需要关注以下几个参数:

  1. type

    type描述表是怎么join的,按从最好到最坏一共有以下几个值:

    解释
    system 表只有一行,是一种特殊的const type
    const 表里只有一行匹配的记录,join时可以认为是常量
    eq_ref 使用的索引为primary keyunique not null index
    ref join只使用最左前缀匹配原则的普通索引
    fulltext 使用全文检索索引
    ref_or_null ref差不多,主要是多了NULL值的查询
    index_merge 使用了MySQL的索引合并优化
    unique_subquery 类似eq_ref,主要用于包含IN子查询的查询
    range 走索引的范围查询
    index 索引树被整个扫了,速度比扫表好一点
    ALL 整个表被扫,非常糟糕的情况,一般要避免

    一般做SQL优化,通常出现indexALL都是需要优化的。

  2. Extra

    MySQL查询的附件信息,有时候代表着查询的额外代价,出现 Using filesortUsing temperary都表示查询速度不行。

    • Using filesort表示order by子句不走索引,使用文件排序,需要对order by进行优化。
    • Using temperary表示查询过程中创建了临时表,通常发生在包含group byorder by的查询中。
  3. rows和filtered

    rows表示MySQL预估的查询需要的行数,filtered表示根据条件过滤之后的行所占的百分比。值为100表示没有行被过滤掉。所以rows*filtered查询需要的总的行数。这个值自然是越小越好。

查询优化实践

查询优化的策略就是加索引,primary key 和 unique key在根据具体业务定,我们做优化,一般都是添加普通索引。普通索引分为两种,单个字段的索引和多个字段的联合索引。联合索引的应用场景相对窄一点,如果你要查的数据可以被联合索引全部囊括,直接从索引拿数据,可以考虑使用联合索引。读多写少重复值少散列分布的字段最适合建索引。你可以把你的程序使用到的所有SQL都列出来,一条一条explain,没有走索引的,就酌情给某个或某几个字段(join里的字段、where里的字段都是重点考虑对象)加上索引,直到所有的查询走索引为止。这么做以后,你的查询type正常都可以到达比较好的情况,但是对于包含order by子句的查询,可能你的Extra信息就不太理想了。Using filesortUsing temperary有时候阴魂不散,很难搞。这时候最佳的策略就是变着花样选择排序的字段。比如你的表有一个自增主键,你可以考虑用它作为插入时间来做排序。MySQL本身在这方面的优化非常糟糕,需要耐心地多尝试。

Reference

MySQL explain

MySQL ORDER BY优化

记一次SQL调优的更多相关文章

  1. 记一次SQL调优/优化(SQL tuning)——性能大幅提升千倍以上

    好久不写东西了,一直忙于各种杂事儿,恰巧昨天有个用户研发问到我一个SQL调优的问题,说性能太差,希望我能给调优下,最近有些懒,可能和最近太忙有关系,本来打算问问现在的情况,如果差不多就不调了,那哥们儿 ...

  2. 记一次数据库调优过程(IIS发过来SQLSERVER 的FETCH API_CURSOR语句是神马?)

    记一次数据库调优过程(IIS发过来SQLSERVER 的FETCH API_CURSOR语句是神马?) 前几天帮客户优化一个数据库,那个数据库的大小是6G 这麽小的数据库按道理不会有太大的性能问题的, ...

  3. SQL调优常用方法

    在使用DBMS时经常对系统的性能有非常高的要求:不能占用过多的系统内存和 CPU资源.要尽可能快的完成的数据库操作.要有尽可能高的系统吞吐量.如果系统开发出来不能满足要求的所有性能指标,则必须对系统进 ...

  4. SQL调优

    # 问题的提出 在应用系统开发初期,由于开发数据库数据比较少,对于查询SQL语句,复杂视图的的编写等体会不出SQL语句各种写法的性能优劣,但是如果将应用 系统提交实际应用后,随着数据库中数据的增加,系 ...

  5. 读《程序员的SQL金典》[4]--SQL调优

    一.SQL注入 如果程序中采用sql拼接的方式书写代码,那么很可能存在SQL注入漏洞.避免的方式有两种: 1. 对于用户输入过滤敏感字母: 2. 参数化SQL(推荐). 二.索引 ①索引分类 聚簇索引 ...

  6. [SQL SERVER系列]读书笔记之SQL注入漏洞和SQL调优

    最近读了程序员的SQL金典这本书,觉得里面的SQL注入漏洞和SQL调优总结得不错,下面简单讨论下SQL注入漏洞和SQL调优. 1. SQL注入漏洞 由于“'1'='1'”这个表达式永远返回 true, ...

  7. SQL调优日志--内存问题

    SQL调优日志--内存问题排查入门篇   概述 很多系统的性能问题,是由内存导致的.内存不够会导致页面频繁换入换出,IO队列高,进而影响数据库整体性能. 排查 内存对数据库性能非常重要.那么我当出现问 ...

  8. 读书笔记之SQL注入漏洞和SQL调优

    原文:读书笔记之SQL注入漏洞和SQL调优 最近读了程序员的SQL金典这本书,觉得里面的SQL注入漏洞和SQL调优总结得不错,下面简单讨论下SQL注入漏洞和SQL调优. 1. SQL注入漏洞 由于“' ...

  9. Oracle SQL 调优健康检查脚本

    Oracle SQL 调优健康检查脚本 我们关注数据库系统的性能,进行数据库调优的主要工作就是进行SQL的优化.良好的数据架构设计.配合应用系统中间件和写一手漂亮的SQL,是未来系统上线后不出现致命性 ...

随机推荐

  1. Saiku上线部署准备(三十)

    Saiku上线部署准备 零零散散琢磨了快5个月了,终于快要上线了哈哈哈哈哈.....  激动!!! 以下是本地打包编译saiku至部署到服务器上使用的完整步骤哦 saiku部署到服务器 源码编译需要注 ...

  2. 一、Mybatis配置详解

    Mybatis配置详解 XML配置文件层次结构 下图展示了mybatis-config.xml的全部配置元素 properties元素 properties是一个配置属性的元素,让我们能在配置文件的上 ...

  3. 拎壶学python3-----(5)pycharm解决运行时少库的问题

    有时候我们运行的时候会出现如下现象 no module named requests怎么办呢? 点击设置: 安装成功后会显示如下: 怎么进行安装呢? 然后退出再运行: 发现已经没有缺少requests ...

  4. 在Vue中使用i18n 国际化遇到 Uncaught TypeError: Cannot assign to read only property 'exports' of object '#<Object>'

    最近用Vue在搭建前端框架,在引用i18n时,运行的时候报错:Uncaught TypeError: Cannot assign to read only property 'exports' of ...

  5. python3的reload(sys)

    import sys reload(sys) sys.setdefaultencoding(‘utf-8’) 以上是python2的写法,但是在python3中这个需要已经不存在了,这么做也不会什么实 ...

  6. 用Python进行数据清洗,这7种方法你一定要掌握

    前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者 | 常国珍.赵仁乾.张秋剑 来源 |<Python数据科学:技术 ...

  7. 一则SQL优化案例

    原始sql: select CASE ) counts ,) else deadline end as deadline from t_product_credit) c group by sort ...

  8. Dynamics CRM 中Web API中的深度创建(Deep Insert)

    我是微软Dynamics 365 & Power Platform方面的工程师罗勇,也是2015年7月到2018年6月连续三年Dynamics CRM/Business Solutions方面 ...

  9. 区块链社交APP协议分析:Qbao

    - Qbao是什么 - Qbao报文情况 本节我们开始使用Qbao软件,并抓取其报文进行分析. 对APP进行协议分析抓包的一般过程是: 1.打开抓包APP进行抓包: 2.打开APP开始使用: 3.对每 ...

  10. SAP MM MB5L事务代码'仅总计'选项初探

    SAP MM MB5L事务代码'仅总计'选项初探 MB5L,如下查询条件, 报表结果里显示有差异, 而如下查询条件, 原因在于当勾选了'仅总计'选项以后,系统不考虑MM以外的影响库存金额的事务,而只是 ...