性能优化之mysql索引优化
sql及索引优化
如何通过慢查询日志发现有问题的sql?
查询次数多且每次查询占用时间长的sql
通常为pt-query-digest分析的前几个查询IO大的sql
注意pt-query-digest分析中的rows examine项未命中索引的sql
注意pt-query-digest分析中rows examine 和 rows send的对比
磁盘IO与预读:磁盘读取数据靠的是机械运动,每次读取数据花费的时间可以分为寻道时间,旋转时间,传输时间三个部分。虽然平常理论上来说没什么压力,
但是数据库如果动辄十万百万乃至千万级数据,显然是个灾难。
了解下mysql的B+树:一种为了减少IO操作快速搜索到数据的数据结构,如下图:
说明:
蓝色部分磁盘块
黄色部分指针
深蓝色目标数据块
分析一下查找的过程:
如果要查询数据为29的值:
1.将磁盘一加入到内存中此时发生一次IO,在内存中用二分查找确定29在17和35之间,锁定磁盘块1的P2指针
2.通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存,发生第二次IO
3. 29在26和30之间,锁定磁盘块3的P2指针,通过指针加载磁盘块8到内存,发生第三次IO,同时内存中做二分查找找到29,结束查询
总结:总计三次IO,真实的情况是,3层的b+树可以表示上百万的数据,如果上百万的数据查找只需要三次IO,性能提高将是巨大的,如果没有索引,
每个数据项都要发生一次IO,那么总共需要百万次的IO,显然成本非常非常高。
解释下什么叫二分法:其实就是一种通过不断排除不可能的东西,来最终找到需要的东西的一种方法,所以可以理解成排除法。之所以叫二分,是因为
每次排除都把所有的情况分为“可能”和不可能两种,然后抛弃所有“不可能”的情况。
优化sql实际上主要目的是为了减少IO操作:
1.如果想在mysql配置方面减少IO的操作:尽可能使用缓存,减少读写对数据库的随机IO的请求,同时减少写的随机IO的随时发生,利用各种buffer去缓存。
2.创建索引:合理的索引是为了少量IO操作达到数据的获取。
建立索引的几大原则:
1.在where 从句,group by从句,on从句中出现的列
2.最左前缀匹配,非常重要的原则,mysql会一直向左匹配直到遇到范围查询(>,<,between,like)就停止匹配
eg:a=1 and b=2 and c=3 and d=4 索引 add index (a,b,c,d) 这样创建d是用不到索引的
eg:a=1 and b=2 and c=3 and d=4 索引 add index(a,b,d,c) 这样创建则都可以用到,a,b,d的顺序可以任意调整
3.离散度大的列放到联合索引的前面
计算离散度的公式是count(distinct col)/count(*),表示字段不重复的比例,比例越大我们扫描的记录数越少。
select * from payment where staff_id=2 and customer_id=584;
是index(sftaff_id,customer_id)好?还是index(customer_id,staff_id)?
由于customer_id的离散度更大,所以应该使用index(customer_id,staff_id)
4.索引列不能参与计算,保持列干净
索引列不能参与计算,保持列干净,在where语句中索引字段不要使用函数,进行检索的时候需要把所有元素都应用函数才能比较,先人成本太大。
5.索引字段越小越好
使用短索引,如果对字符串列进行索引,应该指定一个前缀长度,可节省大量索引空间,提升查询速度。
6.尽量的扩展索引,不要新建索引。
说了这么多索引的优点但是索引也是有负面的:
每个额外的索引都要占用额外的磁盘空间,并降低写操作的性能
2.在修改表的内容时,索引必须进行更新,有时可能需要重构,因此,所花的时间越长。
什么叫做好的索引:
查询频繁(业务逻辑决定)
区分度高
长度小(与区分度保持一个平衡就是一个最优的效果)
尽量能覆盖常用查询字段(并不表示所有字段都建立索引)
sql及索引优化
如何通过慢查询日志发现有问题的sql?
查询次数多且每次查询占用时间长的sql
通常为pt-query-digest分析的前几个查询IO大的sql
注意pt-query-digest分析中的rows examine项未命中索引的sql
注意pt-query-digest分析中rows examine 和 rows send的对比
磁盘IO与预读:磁盘读取数据靠的是机械运动,每次读取数据花费的时间可以分为寻道时间,旋转时间,传输时间三个部分。虽然平常理论上来说没什么压力,
但是数据库如果动辄十万百万乃至千万级数据,显然是个灾难。
了解下mysql的B+树:一种为了减少IO操作快速搜索到数据的数据结构,如下图:
说明:
蓝色部分磁盘块
黄色部分指针
深蓝色目标数据块
分析一下查找的过程:
如果要查询数据为29的值:
1.将磁盘一加入到内存中此时发生一次IO,在内存中用二分查找确定29在17和35之间,锁定磁盘块1的P2指针
2.通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存,发生第二次IO
3. 29在26和30之间,锁定磁盘块3的P2指针,通过指针加载磁盘块8到内存,发生第三次IO,同时内存中做二分查找找到29,结束查询
总结:总计三次IO,真实的情况是,3层的b+树可以表示上百万的数据,如果上百万的数据查找只需要三次IO,性能提高将是巨大的,如果没有索引,
每个数据项都要发生一次IO,那么总共需要百万次的IO,显然成本非常非常高。
解释下什么叫二分法:其实就是一种通过不断排除不可能的东西,来最终找到需要的东西的一种方法,所以可以理解成排除法。之所以叫二分,是因为
每次排除都把所有的情况分为“可能”和不可能两种,然后抛弃所有“不可能”的情况。
优化sql实际上主要目的是为了减少IO操作:
1.如果想在mysql配置方面减少IO的操作:尽可能使用缓存,减少读写对数据库的随机IO的请求,同时减少写的随机IO的随时发生,利用各种buffer去缓存。
2.创建索引:合理的索引是为了少量IO操作达到数据的获取。
建立索引的几大原则:
1.在where 从句,group by从句,on从句中出现的列
2.最左前缀匹配,非常重要的原则,mysql会一直向左匹配直到遇到范围查询(>,<,between,like)就停止匹配
eg:a=1 and b=2 and c=3 and d=4 索引 add index (a,b,c,d) 这样创建d是用不到索引的
eg:a=1 and b=2 and c=3 and d=4 索引 add index(a,b,d,c) 这样创建则都可以用到,a,b,d的顺序可以任意调整
3.离散度大的列放到联合索引的前面
计算离散度的公式是count(distinct col)/count(*),表示字段不重复的比例,比例越大我们扫描的记录数越少。
select * from payment where staff_id=2 and customer_id=584;
是index(sftaff_id,customer_id)好?还是index(customer_id,staff_id)?
由于customer_id的离散度更大,所以应该使用index(customer_id,staff_id)
4.索引列不能参与计算,保持列干净
索引列不能参与计算,保持列干净,在where语句中索引字段不要使用函数,进行检索的时候需要把所有元素都应用函数才能比较,先人成本太大。
5.索引字段越小越好
使用短索引,如果对字符串列进行索引,应该指定一个前缀长度,可节省大量索引空间,提升查询速度。
6.尽量的扩展索引,不要新建索引。
说了这么多索引的优点但是索引也是有负面的:
每个额外的索引都要占用额外的磁盘空间,并降低写操作的性能
2.在修改表的内容时,索引必须进行更新,有时可能需要重构,因此,所花的时间越长。
什么叫做好的索引:
查询频繁(业务逻辑决定)
区分度高
长度小(与区分度保持一个平衡就是一个最优的效果)
尽量能覆盖常用查询字段(并不表示所有字段都建立索引)
性能优化之mysql索引优化的更多相关文章
- MySQL性能优化,MySQL索引优化,order by优化,explain优化
前言 今天我们来讲讲如何优化MySQL的性能,主要从索引方面优化.下期文章讲讲MySQL慢查询日志,我们是依据慢查询日志来判断哪条SQL语句有问题,然后在进行优化,敬请期待MySQL慢查询日志篇 建表 ...
- MYSQL索引优化思维导图
有关索引的优化.MYSQL索引优化 文章来源:刘俊涛的博客 地址:http://www.cnblogs.com/lovebing
- Mysql 索引优化分析
MySQL索引优化分析 为什么你写的sql查询慢?为什么你建的索引常失效?通过本章内容,你将学会MySQL性能下降的原因,索引的简介,索引创建的原则,explain命令的使用,以及explain输出字 ...
- 知识点:Mysql 索引优化实战(3)
知识点:Mysql 索引原理完全手册(1) 知识点:Mysql 索引原理完全手册(2) 知识点:Mysql 索引优化实战(3) 知识点:Mysql 数据库索引优化实战(4) 索引原理知识回顾 索引的性 ...
- MySQL索引优化步骤总结
在项目使用mysql过程中,随着系统的运行,发现一些慢查询,在这里总结一下mysql索引优化步骤 1.开发过程优化 开发过程中对业务表中查询sql分析sql执行计划(尤其是业务流水表),主要是查看sq ...
- MySQL索引优化看这篇文章就够了!
阅读本文大概需要 5 分钟. 来源:cnblogs.com/songwenjie/p/9410009.html 本文主要讨论MySQL索引的部分知识.将会从MySQL索引基础.索引优化实战和数据库索引 ...
- mysql索引优化比普通查询速度快多少
mysql索引优化比普通查询速度快多少 一.总结 一句话总结:普通查询全表查询,速度较慢,索引优化的话拿空间换时间,一针见血,所以速度要快很多. 索引优化快很多 空间换时间 1.软件层面优化数据库查询 ...
- mySql索引优化分析
MySQL索引优化分析 为什么你写的sql查询慢?为什么你建的索引常失效?通过本章内容,你将学会MySQL性能下降的原因,索引的简介,索引创建的原则,explain命令的使用,以及explain输出字 ...
- 讲真,MySQL索引优化看这篇文章就够了
本文主要讨论MySQL索引的部分知识.将会从MySQL索引基础.索引优化实战和数据库索引背后的数据结构三部分相关内容,下面一一展开. 一.MySQL——索引基础 首先,我们将从索引基础开始介绍一下什么 ...
随机推荐
- day6-面向对象进阶篇
在面向对象基础篇中,我们讲述了面向对象的很多基础知识,但也有很多限于篇幅并没有涉及到,这里通过进阶篇来完善补充.本篇将详细介绍Python 类的成员.成员修饰符. 一. python类的成员 以下内容 ...
- python 细节回顾
#!/usr/bin/python # -*- coding: UTF-8 -*- for letter in 'Python': # 第一个实例 if letter == 'h': continue ...
- Mysql加载配置默认路径
查看命令 mysqld --verbose --help|grep "Default options" -n1 输出结果 11-12:Default options are rea ...
- Android_布局属性大全
RelativeLayout 第一类:属性值为true可false android:layout_centerHrizontal 水平居中 android:layout_centerVe ...
- Hibernate入门1. Hibernate基础知识入门
Hibernate入门1. Hibernate基础知识入门 20131127 前言: 之前学习过Spring框架的知识,但是不要以为自己就可以说掌握了Spring框架了.这样一个庞大的Spring架构 ...
- 转载:【Oracle 集群】RAC知识图文详细教程(三)--RAC工作原理和相关组件
文章导航 集群概念介绍(一) ORACLE集群概念和原理(二) RAC 工作原理和相关组件(三) 缓存融合技术(四) RAC 特殊问题和实战经验(五) ORACLE 11 G版本2 RAC在LINUX ...
- 二十一、utl_file(用于读写OS文件)
1.概述 作用:用于读写OS文件.使用该包访问OS文件时,必须要为OS目录建立相应的DIRECTORY对象..当用户要访问特定目录下的文件时,必须要具有读写DIRECTORY对象的权限.在使用UTL_ ...
- LeetCode OJ:Range Sum Query 2D - Immutable(区域和2D版本)
Given a 2D matrix matrix, find the sum of the elements inside the rectangle defined by its upper lef ...
- Redis数据结构:字典(hash表)
使用场景: # set person name "tom" # set person name "jerry" 1. 字典结构: 哈希表数据结构 typedef ...
- ArcGIS中标注转注记方法比较
[数据处理]ArcGIS中标注转注记方法比较 (2013-02-22 08:42:15) 转载▼ 标签: arcgis 标注 注记 label annotation 分类: 数据处理 1.概述 由于切 ...