高性能MySql进化论(九):查询优化器常用的优化方式
1 介绍
1.1 处理流程
当MYSQL 收到一条查询请求时,会首先通过关键字对SQL语句进行解析,生成一颗“解析树”,然后预处理器会校验“解析树”是否合法(主要校验数据列和表明是否存在,别名是否有歧义等),当“解析树”被认为合法后,查询优化器会对这颗“解析树”进行优化,并确定它认为最完美的执行计划。
1.2 衡量标准
MYSQL查询优化器衡量某个执行计划是否完美的标准是“使用该执行计划时的成本”,该成本的最小单位是读取一个4K数据页的成本。
下面图中的数据说明,当使用id为条件查询时,查询的成本只有一个数据页,而使用mean(非索引)查询时,成本将近是22334个数据页
1.3 优化手段
下面列出了一些优化器常用的优化手段,但实际上远远不止这些
1. 重新定义关联表的顺序
对于多表关联的查询(INTER JOIN),优化器会根据数据的选择性来重新决定关联的顺序,选择性高的会被置前。
如果关联设计到N张表,优化器会尝试N!种的关联顺序,从中选出一种最优的排列顺序,如果有10张表进行关联,就有3628800种排序的可能,优化器可能需要经过3628800次的尝试才能得到一个最优的顺序。面对这种数量很大的排序任务,优化器并没有老老实实的尝试3628800次,而是当达到optimizer_search_depth指定的次数后,就会采用“贪婪模式”进行处理。这也表明关联表的数量不能太多
此功能可以通过STRAIGHT_JOIN关键字来进行屏蔽
2. 排序优化
当不能使用索引进行排序时,MYSQL会对结果集进行排序,这时候会采取两种策略:(1)如果结果集的容量小于“排序缓冲区”的容量,在内存中进行排序(2)如果查询的结果大于“排序缓冲区”,则先将结果集拆分成多个“排序缓冲区”可以容纳的子集,然后把各个子集排序的结果存放在磁盘上,最后对各个子集进行合并
在排序的过程中使用临时表的存储空间可能要比实际的存储空间大很多,主要是因为在排序的时候都会为每个字段保留最大的存储空间
当进行关联查询排序时,如果order by的字段全部来自第一张表,则在对第一张表进行关联处理时,就会进行排序动作(Extra 中会包含Using filesort),否则会对多表关联后的结果进行排序(Extra 中包含,Using temporary, Using filesort)。
在MYSQL5.6 之前的版本中, LIMIT关键字的作用只会在排序完之后才生效,所以即使在查询中包含了LIMIT,查询还是会对大量的数据进行处理
3. 等价规则
例如 出现 where 5=5 and a>5 会转化成where a>5
4. COUNT(),MIN(),MAX()
对于B-Tree索引而言,Max()/Min()的结果分别返回的是二叉树中最左边以及最右边的值,所以不需要进行表的访问就可以直接取到对应的值。
对于Count()函数而言,在MYISAM引擎中维护了一个对应的常量值,也不需要对表进行访问就可以直接取到Count的值。
经过这种优化过的SQL,在EXTRA中会出现 “Selecttables optimized away”的字样
5. 转化为常数表达式
首先要说明的是,在数据库对查询进行处理的时候, 以常数(Constant)的方式进行处理的速度是最快的。查询优化器在优化的过程中,如果发现一个表达式可以转换为常数,就会将表达式转换为常数进行处理。
在优化阶段,一个查询也可以转换为常数,例如 在索引列上执行Min(),在where中对主键或者是唯一键进行条件限制等。
6. 覆盖索引扫描
参见:http://blog.csdn.net/eric_sunah/article/details/16830057
7. 提前终止
在下列几种情况中,查询会提前终止,并不再对表进行扫描
· 当优化器发现查询的结果已经满足查询需求的时候。比如查询中用到了LIMIT
· Where的条件不成立的时候。例如 where id>100 and id <10
8. 等值传播
对于通过列关联的查询,某列的where条件可以自动的从一张表传递到另外一张表,例如
Select film.filmid from film
Inter join film_actor using (filmid)
Where film.filmid>50;
上面的查询只是显示的指出film.filmid>50,但是优化器在优化的工程中会将其转化为
Where film.filmid>50 and film_actor.filmid>50.
9. 列表IN()的比较
…..where id in(2,4,1,3,8,6) 这种类型的限制条件在很多的RDBMS中等同于
where id=2 or id=4 or id=3 or id=8 or id=6. 这种算法的复杂度是O(n).
而在MYSQL中,首先会对In列表进行排序,然后通过二分查找的方式进行比较,该方式的算法复杂度是O(log n).如果IN列表中的数据量非常的大,则效果会非常的明显
高性能MySql进化论(九):查询优化器常用的优化方式的更多相关文章
- 高性能MySql进化论(十一):常见查询语句的优化
总结一下常见查询语句的优化方式 1 COUNT 1. COUNT的作用 · COUNT(table.filed)统计的该字段非空值的记录行数 · ...
- 高性能MySql进化论【转】
高性能MySql进化论(十二):Mysql中分区表的使用总结 http://binary.duapp.com/category/sql 当数据量非常大时(表的容量到达GB或者是TB),如果仍然采用索引 ...
- MySQL 5.6查询优化器新特性的“BUG” eq_range_index_dive_limit
本文转自 http://www.imysql.cn 最近碰到一个慢SQL问题,解决过程有点小曲折,和大家分享下. SQL本身不复杂,表结构.索引也比较简单,不过个别字段存在于多个索引中. CREATE ...
- 高性能MySQL笔记 第6章 查询性能优化
6.1 为什么查询速度会慢 查询的生命周期大致可按照顺序来看:从客户端,到服务器,然后在服务器上进行解析,生成执行计划,执行,并返回结果给客户端.其中“执行”可以认为是整个生命周期中最重要的阶段. ...
- 高性能MySql进化论(一):数据类型的优化_上
在数据库的性能调优的过程中会涉及到很多的知识,包括字段的属性设置是否合适,索引的建立是否恰当,表结构涉及是否合理,数据库/操作系统 的设置是否正确…..其中每个topic可能都是一个领域. 在我看来, ...
- 高性能MySql进化论(四):Summary,Cache,Counter表的使用
在实际的应用中,往往会定期的对一个周期内的系统数据进行统计分析.例如某购物网站定期的统计商品在一个月/年期内的销售情况,如果采用扫描所有相关表的方式在某个时间点进行统计分析, 由于数据量很大,以及表结 ...
- 高性能MySQL(五):查询性能优化
当向MySQL 发送一个请求的时候MySQL 到底做了什么? 1.客户端发送一条查询给服务器 2.服务器先检查查询缓存,如果命中了缓存,则立即返回存储在缓存中的结果.否则进入下一阶段 3.服务器端进行 ...
- MySQL limit 分页查询优化(百万级优化)
1)简单的查询分页:分每页5条 limit [offset],[rows] ,10; 2)建立id索引:查询索引id ,) limit ; 3)使用 between and 语句分页效率快N倍 ; 4 ...
- 高性能mysql 第4章 Schema与数据类型优化
基本原则: 更小的通常更好:占用更少的磁盘 内存和cpu缓存.如varchar(2)和varchar(100). 简单就好:比如整形比字符型代价更低.使用日期型来存储日期而不是字符串.使用整形存储ip ...
随机推荐
- 十、C# 异常处理
1.多异常类型 2.捕捉异常 3.常规catch块 4.异常处理的指导原则 5.定义自定义异常 1.多异常类型 代码要引发任何异常,只需为要引发的异常实例实例附加关键字throw作为前缀.具体选择 ...
- group by应用
注意: having是对分组后的数据进行第二次筛选或者过滤,也就是说没有group by就没having where之后不能有聚合函数 查询每个年级的总学时数,并按照升序排列select GradeI ...
- php开发利器
phpstorm 当前版本2016.1 之前用的为Zend studio,比之notepad++确实方便很多,不过很多方面还是不方便的,比如定位文件,上传下载到svn什么的. 看到phpstorm新版 ...
- java中处理http连接超时的方法
声明一个boolean公共变量,表明当前httpconnection是否得到服务器回应. 你的连接线程中在连接之前置这个变量为false; 另起一个监视线程,拿到那个HttpConnection的连接 ...
- 解决m2eclipse之Unable to update index for central |
maven 不能更新,真烦人,转载他人的 maven是个好东西,eclipse上的maven插件m2eclipse也非常方便,但是最近这个东西经常无法连接到maven index的更新网站,然后ecl ...
- TortoiseSVN 的分支合并操作
今天对svn的分支合并有了兴趣,所以对新建了一个项目练练手. 在网上找了一篇文章做指导: http://www.open-open.com/lib/view/open1346982569725.htm ...
- python 性能鸡汤
转载自:http://www.oschina.net/question/1579_45822 1:使用内建函数input() int() isinstance() issubclass() iter( ...
- mysql处理字符串的两个绝招:substring_index,concat
mysql处理字符串的两个绝招:substring_index,concat 最近老是碰到要处理数据库中字符串的处理,发现用来用去也就是这两个函数: 1.substring_index(str,del ...
- Oracle索引扫描算法
SQL> create table t as select * from dba_objects; Table created. SQL> create index idx_t on t( ...
- bzoj1978
朴素的算法是O(n2logn)观察这个算法,似乎很难在进行优化我们就要换一种思路考虑到一个数的约数总不是很多,穷举约数也是可以在O(sqrt(x))的时间内完成的并且注意到,能否继续往下选数,只在于最 ...