Mysql查询优化-DB篇
本文重点从数据库本身角度,硬件和环境的优化不在本文范围内
1. 使用索引(Index All Columns Used in 'where', 'order by', and 'group by' Clauses)
索引的作用就不用在这里说了,需要说明的是其副作用:索引会占用更多的空间,并导致增删改速度会变慢
一个很重要的问题是,如果建立索引之后,发现查询速度并没有加快,那么如果去排查呢?这就需要借助于执行计划(execution plan)了
下面是建立索引前后的执行计划:
explain SELECT title, body FROM test.articles where title ='数据库管理'
建索引前:

建立索引:ALTER TABLE articles ADD INDEX index_title (title)
建索引后:

索引是否有效,不只需要确认执行计划中的key,而且需要确认key_len
比如此处的title是varchar(200),而且表的编码为utf8mb4(兼容性好于utf8),一个字符占4个字节,key_len=200*4 + 1(标示是否NULL) + 2(长度)
索引的数据结构:
Mysql的索引使用的是B+二叉树(进一步,需要了解二叉树,平衡二叉树或者AVL树,红黑树,B/B+树)
B+树索引并不能找到一个给定键值的具体行,它找到的只是被查找数据行所在的页,接着数据库会把页读入到内存,再在内存中进行查找,最后得到要查找的数据。
**对于连接查询,只需要在关联顺序中的第二张表的相应列上创建索引即可。
**覆盖索引(包含所有需要查询的字段的值)对于字段少的查询非常有用
**应避免冗余和重复索引,参考
**不支持函数索引,但支持前缀索引(也就是对前N个字符创建索引)
**列的基数(比如数值范围)越大,索引效果越好
**尽量使用短索引
**利用最左前缀:例如 ALTER TABLE student ADD INDEX lname_birth_age (name,birthday,age); 相当于建立了三个索引:(name),(name,birthday),(name,birthday,age),所以要把常用的放在最左边
2. 用Union代替like(Optimize Like Statements With Union Clause)
如果是分别建立索引,那么作用会更大。另外,UNION ALL 要比 UNION 快很多(如果知道不重复,就应该使用Union All)
mysql> select * from students where first_name like 'Ade%' or last_name like 'Ade%' ; => mysql> select from students where first_name like 'Ade%' union all select from students where last_name like 'Ade%' ;
3. 避免在开头使用通配符(Avoid Like Expressions With Leading Wildcards)
会导致索引无法使用(比如 like '%abc')而进行全表扫描,索引就类似字典的目录,试想如果只知道词语的后半部分,又如何去查找目录呢?
解决方法:
1)对于'%xx',使用reverse函数:reverse(name) like reverse(‘%245′)
2)对于'%xx%',使用instr函数: instr(t.column,’xx’)> 0
4. 使用Mysql的全文搜索(FTS:full-text search)
使用举例:
mysql>Alter table students ADD FULLTEXT (first_name, last_name);
mysql>Select * from students where match(first_name, last_name) AGAINST ('Ade'); // 默认使用自然语言匹配单词
关于FTS,有几个需要注意的地方:
1)只在MyISAM或者InnoDB适用
2)只用于字段char,varchar,text
3)自5.7.6开始,支持CJK语言(需要使用ngram解析:ADD FULLTEXT INDEX `first_name` (`first_name` ASC, `last_name` ASC) WITH PARSER ngram;)
4)对于大量数据迁移,可以先迁移数据再创建FTS,这样比先建FTS再迁移快得多
5. 优化表结构
1)数据类型:shorter is always better. 比如如果用户量不多于100,可以用TINYINT作为ID;再如如果DateTime够用,就不要用Timestamp;数字类型不要用varchar表示
“shorter is alwasys better”同样适用于查询语句:保持查询简单且只返回必需的数据,减小通信间数据包的大小和数量是一个非常好的习惯,这也是查询中尽量避免使用SELECT *以及加上LIMIT限制的原因之一。
2)避免使用Null:如果使用,则在sum这列值的时候就需要筛选,否则就会出现错误
3)避免定义的列数太多,可以用多个小表代替一个大表,但也要注意不要过度设计
4)join时尽可能少关联表
6. 使用Mysql的缓存机制
查看是否使用缓存:show variables like 'have_query_cache';
关于缓存的参数可以在my.cnf中设置
对于缓存的命中,需要了解以下情况
1)两个查询在任何字符上的不同(例如:空格、注释),都会导致缓存不会命中。
2)如果查询中包含任何用户自定义函数、存储函数、用户变量、临时表、mysql库中的系统表,其查询结果都不会被缓存。比如函数NOW()或者CURRENT_DATE()会因为不同的查询时间,返回不同的查询结果,将这样的查询结果缓存起来没有任何的意义
3)缓存失效时机:查询对应的表数据发生变化
4)只有当缓存带来的资源节约大于其本身消耗的资源时,才会给系统带来性能提升
5)可以使用SQL_CACHE和SQL_NO_CACHE控制查询语句是否使用缓存,比如:select SQL_NO_CACHE count(*) from users where email = 'hello';
6)不要轻易打开查询缓存,特别是写密集型应用。如果你实在是忍不住,可以将query_cache_type设置为DEMAND,这时只有加入SQL_CACHE的查询才会走缓存,其他查询则不会,这样可以非常自由地控制哪些查询需要被缓存
7. 用 PreparedStatement, 一般来说比 Statement 性能高
一个 sql发给服务器去执行,涉及步骤:语法检查、语义分析, 编译,缓存
详情可查看笔者的另一篇文章:PreparedStatement是如何防止SQL注入的?
参考:https://dzone.com/articles/how-to-optimize-mysql-queries-for-speed-and-perfor
云栖:https://yq.aliyun.com/articles/697956?spm=a2c4e.11163080.searchblog.38.270f2ec1kLwArF
树结构:https://www.cnblogs.com/tiancai/p/9024351.html
重复索引:https://www.cnblogs.com/happyflyingpig/p/7663000.html
全文搜索:https://dev.mysql.com/doc/refman/5.7/en/fulltext-search.html
持续补充中...
Mysql查询优化-DB篇的更多相关文章
- 1025WHERE执行顺序以及MySQL查询优化器
转自http://blog.csdn.net/zhanyan_x/article/details/25294539 -- WHERE执行顺序-- 过滤比较多的放在前面,然后更加容易匹配,从左到右进行执 ...
- .NET C#到Java没那么难,DB篇
前言 .NET C#到Java没那么难,都是面向对象的语言,而且语法还是相似的,先对比一下开发环境,再到Servlet,再到MVC,都是一样一样的,只是JAVA的配制项比较多而已,只要配好一个,后面都 ...
- 小白两篇博客熟练操作MySQL 之 第一篇
小白两篇博客熟悉操作MySQL 之 第一篇 一.概述 1. 什么是数据库? 答: 储存数据的仓库, 如: 在ATM的事例中创建的一个db 目录, 称为数据库 2. 什么是Mysql, Oracl ...
- 小白两篇博客熟练操作MySQL 之 第二篇
小白两篇博客熟练操作MySQL 之 第二篇 一. 视图 视图是一个虚拟表,其本质是根据SQL语句获取动态的数据集,并为其命名,用户使用时只需使用名称即可获取结果集, 并可以将其当做表来使用. s ...
- 深入了解MySQL,一篇简短的总结
MySQL的基本语法 这里作为MySQL部分模块的深入了解,大部分都是理论方面的笔记,不会写具体用法. 具体用法会记录在下面这个随笔分类下,不过暂时还没更新完,等过段时间会更新下事务.存储过程.索引等 ...
- 精通MySQL之架构篇
老刘是即将找工作的研究生,自学大数据开发,一路走来,感慨颇深,网上大数据的资料良莠不齐,于是想写一份详细的大数据开发指南.这份指南把大数据的[基础知识][框架分析][源码理解]都用自己的话描述出来,让 ...
- MYSQL(基本篇)——一篇文章带你走进MYSQL的奇妙世界
MYSQL(基本篇)--一篇文章带你走进MYSQL的奇妙世界 MYSQL算是我们程序员必不可少的一份求职工具了 无论在什么岗位,我们都可以看到应聘要求上所书写的"精通MYSQL等数据库及优化 ...
- Atitit Mysql查询优化器 存取类型 范围存取类型 索引存取类型 AND or的分析
Atitit Mysql查询优化器 存取类型 范围存取类型 索引存取类型 AND or的分析 Atitit Mysql查询优化器 存取类型 范围存取类型 索引存取类型 AND or的分析1 存 ...
- MySQL查询优化之explain的深入解析
在分析查询性能时,考虑EXPLAIN关键字同样很管用.EXPLAIN关键字一般放在SELECT查询语句的前面,用于描述MySQL如何执行查询操作.以及MySQL成功返回结果集需要执行的行数.expla ...
随机推荐
- 关于c.toArray might (incorrectly) not return Object[] (see 6260652)的问题解答
最近学习jdk1.8源码时,发现ArrayList(Collection<? extends E> c)这个构造函数中,有句有意思的描述:c.toArray might (incorrec ...
- python学习笔记3.3_json解析
一.json文件读取 源文件:exampl.json 二.json在线解析 常用网站:https://www.json.cn/ 三.数据导出为json格式文件
- mysql的root用户被删除, MySQL 服务无法启动 1067错误
本文出现的问题有: 1, root(localhost) 用户被删除; 2, 在关闭mysql服务过后, 无法启动,出现1067错误; 我使用的mysql版本为5.6; mysql的安装路径: C:\ ...
- 百度编辑器上传视频以及视频编辑器预览bug解决
百度编辑器目前来讲是运用比较广泛的一个编辑器了,不仅开源还有中文的文档,所以很受欢迎,不过里面也有许多地方需要开发人员自己调试,其中一个比较常见的问题就是上传视频了,上传视频本身有一些小bug,这个基 ...
- InceptionV3代码解析
InceptionV3代码解析 参考博文:https://blog.csdn.net/superman_xxx/article/details/65451916 读了Google的GoogleNet以 ...
- 在Ubuntu Kylin 16.04 LTS 上源码方式安装odoo
更新Ubuntu服务器软件源 运行以下代码: sudo apt-get update #更新软件源 sudo apt-get dist-upgrade #更新软件包,自动查找依赖关系 sudo s ...
- python基础---内置函数 和 匿名函数 知识点自查填空题
1.file ---默认是输出到(),如果设置为(),输出到() 2.sep---打印(),默认为() 3.end---每一次打印的结尾,默认为() 4.flush---立即把内容输出到(),不做() ...
- JS中的一些函数式编程术语
组合 Composition 组合某种类型(含函数)的两个元素,进而生成一个该类型的新元素: JavaScript 1 2 3 4 5 6 7 let compose = (f ...
- HttpComponents了解
原文地址:http://blog.csdn.net/jdluojing/article/details/7300428 1 简介 超文本传输协议(http)是目前互联网上极其普遍的传输协议,它为构建功 ...
- 使用C#反射实现用户控件调用父页面方法
using System.Reflection; MethodInfo mi = this.Page.GetType().GetMethod("GetUserName"); //该 ...