[刘阳Java]_MySQL数据优化总结_查询备忘录
数据库优化是在后端开发中必备技能,今天写一篇MySQL数据优化的总结,供大家看看
一、MySQL数据库优化分类
我们通过一个图片形式来看看数据优化一些策略问题
不难看出,优化有两条路可以选择:硬件与技术。如果是投入硬件方式来优化成本相当高,如果是通过技术方式来优化效果好
二、测试数据样例:大家可以参考mysql官方的sakina数据库
三、提高mysql千万级大数据SQL查询优化几条经验
1. 对查询进行优化,应尽量避免全表扫描,首先应考虑在where及order by 涉及的列上创建索引。因为:索引对查询的速度有着至关重要的影响
2. 尽量避免在where字句中对字段进行null值的判断。否则将会导致引擎放弃使用索引而进行全表扫描
例如:select id from user where num is null 。可以将num是这个字段设置默认值0.确保表中没有null值,然后在进行查询。修正后的SQL如下:select id from user where num=0
为什么需要尽量去除null,而将这个字段设置默认值0,大家可以看看下面的分析
考虑如下情况,假设数据库中一个表有10^6条记录,DBMS的页面大小为4K,并存储100条记录。如果没有索引,查询将对整个表进行扫描,最坏的情况下,如果所有数据页都不在内存,需要读取10^4个页面,如果这10^4个页面在磁盘上随机分布,需要进行10^4次I/O,假设磁盘每次I/O时间为10ms(忽略数据传输时间),则总共需要100s(但实际上要好很多很多)。如果对之建立B-Tree索引,则只需要进行log100(10^6)=3次页面读取,最坏情况下耗时30ms。这就是索引带来的效果,很多时候,当你的应用程序进行SQL查询速度很慢时,应该想想是否可以建索引
3. 应尽量避免在where子句中使用!=或者是<>操作符号。否则引擎将放弃使用索引,进而进行全表扫描
4. 应尽量避免在where子句中使用or来连接条件,否则导致放弃使用索引而进行全表扫描。可以使用 union 或者是 union all代替
例如: select id from user where num =10 or num =20 这个语句景导致引擎放弃num索引,而要全表扫描来进行处理的
解决方式:使用union 或者是 union all来代替
select id from user where num = 10;
union all
select id from user where num =20;
5. in 和 not in 也要慎用,否则将会导致全表扫描
如果 in 对于连续的数组,可以使用between ...and.来代替
例如:select id from user where num in (1,2,3); 像这样连续的就可以使用between ...and...来代替了 select id from user where num between 1 and 3;
6. like使用需注意
下面这个查询也将导致全表查询:select id from user where name like '%三';
如果想提高效率,可以考虑到全文检索。比如solr或是luncene。而solr和luncenc是Java中最常用的全文检索的技术
而下面这个查询却使用到了索引:select id from user where name like '张%';
7. where子句参数使用时候需注意
如果在where子句中使用参数,也会导致全表扫描。因为sql只会在运行时才会解析局部变量。但优化程序不能将访问计划的选择推迟到运行时;必须在编译时候进行选择。然而,如果在编译时建立访问计划,变量的值还是未知大,因而无法作为索引选择输入项
8. 尽量避免在where子句中对字段进行表达式操作,这将导致引擎放弃使用索引而进行全表扫描
例如:select id from user where num/2=100; 应修改为: select id from user where num = 100*2;
9. 尽量避免爱where子句中对字段进行函数操作,这将导致引擎放弃索引,而进行全表扫描
例如: select id from user substring(name,1,3) = 'abc' ,这句sql的含义其实就是,查询name以abc开头的用户id
应修改为: select id from user where name like 'abc%';
10. 不要在where子句中的"="左边进行函数、算术运算或是使用其他表达式运算,否则系统可能无法正确使用索引
11. 很多时候用exists 代替 in是一个很好的选择
比如: select num from user where num in(select num from newTable);
可以使用下面语句代替: select num from user a where exists(select num from newTable b where b.num = a.num );
12. 索引创建需注意
并非索引创建越多越好。索引固然可以提高相应的查询效率,但是同样会降低insert以及update的效率。因为在insert或是update的时候有可能会重建索引或是修改索引。所以索引怎样创建需要慎重考虑,视情况而定。一个表中所以数量最好不要超过6个。若太多,则需要考虑一些不常用的列上创建索引是否有必要
13. 并不是所有索引对查询都有效,sql是根据表中数据进行查询优化的,当索引lie(索引字段)有大量重复数据的时候,sql查询可能不会去利用索引。如一表中字段 sex、male、female 几乎各一半。那么即使在sex上创建了索引对查询效率也起不了多大作用
[刘阳Java]_MySQL数据优化总结_查询备忘录的更多相关文章
- [刘阳Java]_Spring常用注解介绍_第6讲
Spring的注解是在Spring2.5的版本中引入的,目的简化XML配置.在企业开发过程中使用注解的频率非常高,但是学习注解的前提是大家一定要对Spring基于XML配置要熟悉,这是我个人建议,因为 ...
- [刘阳Java]_Spring相关配置介绍_第5讲
这一节我们介绍一下Spring框架的相关常用配置 Spring依赖注入的两种方式(构造方法注入和setter方式注入) p-namespace方式配置 properties属性文件配置方式 集合对象配 ...
- [刘阳Java]_Web前端入门级练习_迅雷首页第一屏设计
今天接着上一篇文章<Web前端入门级练习_迅雷官宣网设计>正式开始迅雷首页第一版的设计.如果完成,则最终的效果图如下 第一步:先完成logo部分的设计 logo设计,我们会使用CSS的定位 ...
- [刘阳Java]_SpringMVC访问静态资源_第9讲
有些时候我们在使用SpringMVC的时候造成无法访问静态资源文件(如:html,js,css,image等等).其主要的原因出在web.xml文件我们设置SpringMVC前端控制器的映射路径 &l ...
- [刘阳Java]_BeanNameViewResolver视图解析器_第8讲
BeanNameViewResolver:这个视图解析器跟XmlViewResolver有点类似,也是通过把返回的逻辑视图名称去匹配定义好的视图bean对象.它要求视图bean对象都定义在Spring ...
- [刘阳Java]_ResourceBundleViewResolver视图解析器_第7讲
ResourceBundleViewResolver是根据proterties文件来找对应的视图来解析"逻辑视图".该properties文件默认是放在classpath路径下的v ...
- [刘阳Java]_MyBatis_注解基本用法_第10讲
MyBatis注解提出,可以说是非常好简化了MyBatis配置文件的使用.下面我们简单地来告诉大家如何使用MyBatis的注解 定义接口 package com.gxa.dao; import jav ...
- [刘阳Java]_MyBatis_实体关系映射_第8讲
MyBatis既然是一个ORM框架,则它也有像Hibernate那样的一对多,多对多,多对一的实体关系映射功能.下面我们就来介绍一下如何使用MyBatis的实体关系映射 1.MyBatis实体关系映射 ...
- [刘阳Java]_Web前端入门级练习_迅雷官宣网设计
也有一段时间没有写一些技术专题文章,今天给大家来几篇Web前端入门级练习的文章.主讲<迅雷官宣网>的设计,相信大家平时也用过迅雷这个下载工具,所以分享的这篇技术大家在一定程序会感兴趣. 先 ...
随机推荐
- 摄像头PVD和CVD薄膜
摄像头PVD和CVD薄膜 在FDP 的生产中,在制作无机薄膜时,可以采用的方法有两种:PVD 和CVD (将VE 和VS 归于PVD ,而ALD 归于CVD). Physical Vapor Depo ...
- YOLOvi(i=1,2,3,4)系列
YOLOvi(i=1,2,3,4)系列 YOLOv4论文链接:https://arxiv.org/pdf/2004.10934.pdf YOLOv4源码链接:https://github.com/Al ...
- CUDA运行时 Runtime(二)
CUDA运行时 Runtime(二) 一. 概述 下面的代码示例是利用共享内存的矩阵乘法的实现.在这个实现中,每个线程块负责计算C的一个方子矩阵C sub,块内的每个线程负责计算Csub的一个元素.如 ...
- NVIDIA A100 GPUs上硬件JPEG解码器和NVIDIA nvJPEG库
NVIDIA A100 GPUs上硬件JPEG解码器和NVIDIA nvJPEG库 Leveraging the Hardware JPEG Decoder and NVIDIA nvJPEG Lib ...
- AJAX第二天笔记
AJAX day1 jquery中的ajax 拦截请求: $.ajaxPrefilter() jquery方法请求参数的本质: 无论我们填写的何种形式的参数,都会被jQuery转换成查询字符串形式传 ...
- 孟老板 ListAdapter封装, 告别Adapter代码 (上)
BaseAdapter封装(一) 简单封装 BaseAdapter封装(二) Header,footer BaseAdapter封装(三) 空数据占位图 BaseAdapter封装(四) PageHe ...
- 狂神说JUC学习笔记(一)
狂神说JUC的原版笔记: 链接:https://pan.baidu.com/s/12zrGI4JyZhmkQh0cqEO4BA 提取码:d65c 我的笔记在狂神的笔记上增加了一些知识点或者做了些许修改 ...
- mybatis学习——properties属性实现引用配置文件
Mybatis核心配置文件中有很多的配置项,配置文档的顶层结构如下: *注意:配置项的顺序不能颠倒,如果颠倒了它们的顺序,在MyBatis的自启动阶段会发生异常,导致程序无法运行. propertie ...
- Java IO学习笔记六:NIO到多路复用
作者:Grey 原文地址:Java IO学习笔记六:NIO到多路复用 虽然NIO性能上比BIO要好,参考:Java IO学习笔记五:BIO到NIO 但是NIO也有问题,NIO服务端的示例代码中往往会包 ...
- Redis不是只有get set那么简单
我以前还没接触Redis的时候,听到大数据组的小伙伴在讨论Redis,觉得这东西好高端,要是哪天我们组也可以使用下Redis就好了,好长一段时间后,我们项目中终于引入了Redis这个技术,我用了几下, ...