列裁剪 对于没用到的列,则没有必要读取它们的数据去浪费无谓的IO 比如我们有一张表table1,它含有四列数据(a,b,c,d).当我们执行查询select a from table1 where c 10时,我们可以清晰的看到,table1中只有a,c两列被用到了.分别是Selection算子用到c列和Projection算子用到a列.那么DataSource读取数据时,b,d两列则不需要读取,可以裁剪掉. 那么都有哪些算子与列有关系呢?综合我们多年来使用SQL的经验来看,Selection(…

我们看看 TiDB 一段代码的实现 --- 左外连接(Left Out Join)的消除; select 的优化一般是这样的过程: 在逻辑执行计划的优化阶段, 会有很多关系代数的规则, 需要将逻辑执行计划(LogicalPlan)树应用到各个规则中, 尝试进行优化改写; 我们看看其中的一条优化规则: outerJoinEliminator TiDB作为优秀的开源项目, 代码的注释也非常优秀, 里面提到了满足这些条件的 Left Outer Join 可以消除右表; // tryToElimina…

现总结工作与学习中关于数据库的规范设计与优化技巧 1.规范背景与目的 MySQL数据库与 Oracle. SQL Server 等数据库相比,有其内核上的优势与劣势.我们在使用MySQL数据库的时候需要遵循一定规范,扬长避短. 本规范旨在帮助或指导RD.QA.OP等技术人员做出适合线上业务的数据库设计. 在数据库变更和处理流程.数据库表设计.SQL编写等方面予以规范,从而为公司业务系统稳定.健康地运行提供保障. 2.设计规范 2.1数据库设计 说明: 以下所有规范会按照[高危].[强制].[建议…

一.count各种用法的区别 1.count函数是日常工作中最常用的函数之一,用来统计表中数据的总数,常用的有count(*),count(1),count(列).count(*)和count(1)是用来统计表中共有多少数据.是针对全表的 SELECT COUNT(*) FROM TAB1; ) FROM TAB1; SELECT COUNT(*) FROM TAB1, TAB2; #显示两表做笛卡尔积后的行数 2.count(列)是针对于某一列的,如果此列值为空的话,count(列)是不会统计…

我们提到了两种SQL优化器,分别是RBO和CBO.那么无论是RBO,还是CBO都包含了一系列优化规则,这些优化规则可以对关系表达式进行等价转换,从而寻找最优的执行计划. 那么常见的优化规则就包括: 列裁剪 投影消除 谓词下推 最大最小消除 常量传播 其他 在上述这些优化规则的基础上,就能够对关系表达式做出相应的等价转换,从而生成执行计划.本篇文章先从优化规则的基础概念逻辑算子开始讲起,后续会介绍各个优化规则. 逻辑算子 DataSource:数据源,也就是我们SQL语句中的表.select na…

分享嘉宾:张建 PingCAP TiDB优化器与执行引擎技术负责人 编辑整理:Druid中国用户组第6次大数据MeetUp 出品平台:DataFunTalk 导读: 本次报告张老师主要从原理上带大家深入了解 TiDB SQL 优化器中的关键模块,比如应用一堆逻辑优化规则的逻辑优化部分,基于代价的物理优化部分,还有和代价估算密切相关的统计信息等. 本文将从以下几个方面介绍:首先讲一下TiDB的整体架构,接下来就是优化器的两个比较重要的模块,一个是SQL优化,做执行计划生成:另一个模块就是统计信息模…

SQL Server的查询优化器在select查询执行的时候产生一个高效的查询执行计划.如果优化器不能选择最优的计划,那么就需要检查查询计划.统计信息.支持的索引等,而通过使用提示可以改变优化器选择查询计划的工程,使优化器生成一个更好的执行计划. 1.联接提示 <join_hint> ::=      { LOOP | HASH | MERGE | REMOTE } LOOP | HASH | MERGE 指定查询中的联接应使用循环.哈希或合并. 使用 LOOP |HASH | MERGE J…

数据库索引: 索引有单列索引,复合索引之说,如果某表的某个字段有主键约束和唯一性约束,则Oracle 则会自动在相应的约束列上建议唯一索引.数据库索引主要进行提高访问速度. 建设原则: 1.索引应该经常建在where 子句经常用到的列上.如果某个大表经常使用某个字段进行查询,并且检索行数小于总表行数的5%.则应该考虑. 2.对于两表连接的字段,应该建立索引.如果经常在某表的一个字段进行order By 则也经过进行索引. 3.不应该在小表上建设索引. 优缺点: 1.索引主要进行提高数据的查询速度…

Problem Description: 1.每个表的结构及主键索引情况 2.每个表的count(*)记录是多少 3.对于创建索引的列,索引的类型是什么?count(distinct indexcol)的值是多少? 4.最后一次对表进行分析是在什么时间,分析后,是否又对相关表做过大的操作 5.索引最后一次rebuild,是在什么时间,此后对表的操作类型又是什么状况?索引中浪费的空间是多少?6.这些表的存储情况,表的存储参数,表空间的类型,存储参数等 7.执行该SQL语句时,系统等候的资源是什么?…

http://mp.weixin.qq.com/s/DkIPwbDKIjH2FMN13GkT4w 本次分享的内容是基于Oracle的SQL优化,以一条巨慢的SQL为例,从快速解读SQL执行计划.如何从执行计划中找到SQL执行慢的Root Cause.统计信息与cardinality问题.探索性能杀手Filter操作.如何进行逻辑重写让SQL起飞等多个维度进行解析,最终优化巨慢SQL语句,希望能够抛砖引玉,和大家一起探讨SQL优化方法. 另外,还简单介绍了两种解决疑难SQL优化问题的工具:1005…