MySQL--------SQL优化审核工具实战

1. 背景

SQLAdvisor是由美团点评公司技术工程部DBA团队（北京）开发维护的一个分析SQL给出索引优化建议的工具。它基于MySQL原生态词法解析，结合分析SQL中的where条件、聚合条件、多表Join关系给出索引优化建议。目前SQLAdvisor在美团点评内部广泛应用，公司内部对SQLAdvisor的开发全面转到github上，开源和内部使用保持一致。

在数据库运维过程中，优化SQL是业务团队与DBA团队的日常任务。例行SQL优化，不仅可以提升程序性能，还能够降低线上故障的概率。

目前常用的SQL优化方式包括但不限于：业务层优化、SQL逻辑优化、索引优化等。其中索引优化通常通过调整索引或新增索引从而达到SQL优化的目的。索引优化往往可以在短时间内产生非常巨大的效果。如果能够将索引优化转化成工具化、标准化的流程，减少人工介入的工作量，无疑会大大提高DBA的工作效率。板面的做法和配料

２. 架构流程图

3. 环境

* os version

[root@SQLAdvisor ~]# cat /etc/redhat-release

CentOS release 6.8 (Final)

[root@SQLAdvisor ~]# uname -r

2.6.32-642.3.1.el6.x86_64

[root@SQLAdvisor ~]# uname -n

SQLAdvisor

[root@SQLAdvisor ~]# getenforce

Disabled

* mysql version

mysql> show variables like 'version';

+---------------+--------+

| Variable_name | Value |

+---------------+--------+

| version | 5.7.18 |

+---------------+--------+

1 row in set (0.00 sec)

4. 安装SQLAdvisor

* 获取最新代码

[root@SQLAdvisor ~]# git clone https://github.com/Meituan-Dianping/SQLAdvisor.git

Initialized empty Git repository in /root/SQLAdvisor/.git/

remote: Counting objects: 1460, done.

remote: Total 1460 (delta 0), reused 0 (delta 0), pack-reused 1460

Receiving objects: 100% (1460/1460), 19.92 MiB | 209 KiB/s, done.

Resolving deltas: 100% (368/368), done.

* 安装依赖项

[root@SQLAdvisor ~]# yum -y install cmake libaio-devel libffi-devel glib2 glib2-devel

[root@SQLAdvisor ~]# yum -y install

[root@SQLAdvisor ~]# yum -y install Percona-Server-shared-56

[root@SQLAdvisor ~]# ln -s /usr/lib64/libperconaserverclient_r.so.18 /usr/lib64/libperconaserverclient_r.so

* 编译依赖项sqlparser

[root@SQLAdvisor ~]# cd SQLAdvisor/

[root@SQLAdvisor SQLAdvisor]# cmake -DBUILD_CONFIG=mysql_release -DCMAKE_BUILD_TYPE=debug -DCMAKE_INSTALL_PREFIX=/usr/local/sqlparser ./

[root@SQLAdvisor SQLAdvisor]# make && make install

* 安装SQLAdvisor

[root@SQLAdvisor SQLAdvisor]# cd sqladvisor/

[root@SQLAdvisor sqladvisor]# cmake -DCMAKE_BUILD_TYPE=debug ./

[root@SQLAdvisor sqladvisor]# make

* SQLAdvisor Info

[root@SQLAdvisor sqladvisor]# ./sqladvisor --help

Usage:

sqladvisor [OPTION...] sqladvisor

SQL Advisor Summary

Help Options:

-?, --help Show help options

Application Options:

-f, --defaults-file sqls file

-u, --username username

-p, --password password

-P, --port port

-h, --host host

-d, --dbname database name

-q, --sqls sqls

-v, --verbose 1:output logs 0:output nothing

5. 测试

* 生成测试数据表

mysql> create database test1 character set utf8mb4;

Query OK, 1 row affected (0.00 sec)

mysql> create table user(

-> id INT PRIMARY KEY AUTO_INCREMENT,

-> name VARCHAR(64) NOT NULL,

-> age int,

-> sex int

-> )ENGINE=INNODB DEFAULT CHARSET=utf8mb4;

Query OK, 0 rows affected (0.13 sec)

mysql> desc user;

+-------+-------------+------+-----+---------+----------------+

+-------+-------------+------+-----+---------+----------------+

| id | int(11) | NO | PRI | NULL | auto_increment |

| name | varchar(64) | NO | | NULL | |

| age | int(11) | YES | | NULL | |

| sex | int(11) | YES | | NULL | |

+-------+-------------+------+-----+---------+----------------+

4 rows in set (0.01 sec)

* 生成测试数据

mysql> insert into user(name,age, sex) select 'lisea', 25, 1;

Query OK, 1 row affected (0.01 sec)

Records: 1 Duplicates: 0 Warnings: 0

mysql> insert into user(name,age, sex) select concat(name, '1'), age+1, sex+1 from user;

Query OK, 1 row affected (0.02 sec)

Records: 1 Duplicates: 0 Warnings: 0

mysql> insert into user(name,age, sex) select concat(name, '2'), age+2, sex from user;

Query OK, 2 rows affected (0.02 sec)

Records: 2 Duplicates: 0 Warnings: 0

mysql> insert into user(name,age, sex) select concat(name, '3'), age+2, sex from user;

Query OK, 4 rows affected (0.18 sec)

Records: 4 Duplicates: 0 Warnings: 0

.

mysql> insert into user(name,age, sex) select concat(name, '10'), age+2, sex from user;

Query OK, 512 rows affected (0.24 sec)

Records: 512 Duplicates: 0 Warnings: 0

mysql> insert into user(name,age, sex) select concat(name, '11'), age+4, sex from user;

Query OK, 1024 rows affected (0.79 sec)

Records: 1024 Duplicates: 0 Warnings: 0

mysql> select count(1) from user;

+----------+

| count(1) |

+----------+

| 2048 |

+----------+

1 row in set (0.01 sec)

* 命令行传参调用测试SQLAdvisor　[查找非索引行]

[root@SQLAdvisor sqladvisor]

# ./sqladvisor -h 127.0.0.1  -P 3306  -u root -p '123' -d test1 -q "select * from user where name = 'lisea'" -v 1

2017-10-27 05:35:49 34059 [Note] 第1步: 对SQL解析优化之后得到的SQL:select `*` AS `*` from `test1`.`user` where (`name` = 'lisea')

2017-10-27 05:35:49 34059 [Note] 第2步：开始解析where中的条件:(`name` = 'lisea')

2017-10-27 05:35:49 34059 [Note] show index from user

2017-10-27 05:35:49 34059 [Note] show table status like 'user'

2017-10-27 05:35:49 34059 [Note] select count(*) from ( select `name` from `user` FORCE INDEX( PRIMARY ) order by id DESC limit 1024) `user` where (`name` = 'lisea')

2017-10-27 05:35:49 34059 [Note] 第3步：表user的行数:2048,limit行数:1024,得到where条件中(`name` = 'lisea')的选择度:1024

2017-10-27 05:35:49 34059 [Note] 第4步：开始验证字段name是不是主键。表名:user

2017-10-27 05:35:49 34059 [Note] show index from user where Key_name = 'PRIMARY' and Column_name ='name' and Seq_in_index = 1

2017-10-27 05:35:49 34059 [Note] 第5步：字段name不是主键。表名:user

2017-10-27 05:35:49 34059 [Note] 第6步：开始验证字段name是不是主键。表名:user

2017-10-27 05:35:49 34059 [Note] show index from user where Key_name = 'PRIMARY' and Column_name ='name' and Seq_in_index = 1

2017-10-27 05:35:49 34059 [Note] 第7步：字段name不是主键。表名:user

2017-10-27 05:35:49 34059 [Note] 第8步：开始验证表中是否已存在相关索引。表名:user, 字段名:name, 在索引中的位置:1

2017-10-27 05:35:49 34059 [Note] show index from user where Column_name ='name' and Seq_in_index =1

2017-10-27 05:35:49 34059 [Note] 第9步：开始输出表user索引优化建议:

2017-10-27 05:35:49 34059 [Note] Create_Index_SQL：alter table user add index idx_name(name)

2017-10-27 05:35:49 34059 [Note] 第10步: SQLAdvisor结束!

* 命令行传参调用测试SQLAdvisor　[查找索引行]

[root@SQLAdvisor sqladvisor]

# ./sqladvisor -h 127.0.0.1  -P 3306  -u root -p '123' -d test1 -q "select * from user where id = 1" -v 1

2017-10-27 05:36:46 34062 [Note] 第1步: 对SQL解析优化之后得到的SQL:select `*` AS `*` from `test1`.`user` where (`id` = 1)

2017-10-27 05:36:46 34062 [Note] 第2步：开始解析where中的条件:(`id` = 1)

2017-10-27 05:36:46 34062 [Note] show index from user

2017-10-27 05:36:46 34062 [Note] show table status like 'user'

2017-10-27 05:36:46 34062 [Note] select count(*) from ( select `id` from `user` FORCE INDEX( PRIMARY ) order by id DESC limit 1024) `user` where (`id` = 1)

2017-10-27 05:36:46 34062 [Note] 第3步：表user的行数:2048,limit行数:1024,得到where条件中(`id` = 1)的选择度:1024

2017-10-27 05:36:46 34062 [Note] 第4步：开始验证字段id是不是主键。表名:user

2017-10-27 05:36:46 34062 [Note] show index from user where Key_name = 'PRIMARY' and Column_name ='id' and Seq_in_index = 1

2017-10-27 05:36:46 34062 [Note] 第5步：字段id是主键。表名:user

2017-10-27 05:36:46 34062 [Note] 第6步：表user 经过运算得到的索引列首列是主键,直接放弃,没有优化建议

2017-10-27 05:36:46 34062 [Note] 第7步: SQLAdvisor结束!

* 配置文件传参调用

[root@SQLAdvisor sqladvisor]# cat sql.cnf

[sqladvisor]

username=root

password=123

host=127.0.0.1

port=3306

dbname=test1

sqls=select * from user where name = 'lisea'

[root@SQLAdvisor sqladvisor]# ./sqladvisor -f sql.cnf -v 1

2017-10-27 05:40:14 34070 [Note] 第1步: 对SQL解析优化之后得到的SQL:select `*` AS `*` from `test1`.`user` where (`name` = 'lisea')

2017-10-27 05:40:14 34070 [Note] 第2步：开始解析where中的条件:(`name` = 'lisea')

2017-10-27 05:40:14 34070 [Note] show index from user

2017-10-27 05:40:14 34070 [Note] show table status like 'user'

2017-10-27 05:40:14 34070 [Note] select count(*) from ( select `name` from `user` FORCE INDEX( PRIMARY ) order by id DESC limit 1024) `user` where (`name` = 'lisea')

2017-10-27 05:40:14 34070 [Note] 第3步：表user的行数:2048,limit行数:1024,得到where条件中(`name` = 'lisea')的选择度:1024

2017-10-27 05:40:14 34070 [Note] 第4步：开始验证字段name是不是主键。表名:user

2017-10-27 05:40:14 34070 [Note] show index from user where Key_name = 'PRIMARY' and Column_name ='name' and Seq_in_index = 1

2017-10-27 05:40:14 34070 [Note] 第5步：字段name不是主键。表名:user

2017-10-27 05:40:14 34070 [Note] 第6步：开始验证字段name是不是主键。表名:user

2017-10-27 05:40:14 34070 [Note] show index from user where Key_name = 'PRIMARY' and Column_name ='name' and Seq_in_index = 1

2017-10-27 05:40:14 34070 [Note] 第7步：字段name不是主键。表名:user

2017-10-27 05:40:14 34070 [Note] 第8步：开始验证表中是否已存在相关索引。表名:user, 字段名:name, 在索引中的位置:1

2017-10-27 05:40:14 34070 [Note] show index from user where Column_name ='name' and Seq_in_index =1

2017-10-27 05:40:14 34070 [Note] 第9步：开始输出表user索引优化建议:

2017-10-27 05:40:14 34070 [Note] Create_Index_SQL：alter table user add index idx_name(name)

2017-10-27 05:40:14 34070 [Note] 第10步: SQLAdvisor结束!

MySQL--------SQL优化审核工具实战的更多相关文章

mysql sql优化实例
mysql sql优化实例优化前: pt-query-degist分析结果: # Query 3: 0.00 QPS, 0.00x concurrency, ID 0xDC6E62FA021C85B ...
sql自动审核工具-inception
[inception使用规范及说明文档](http://mysql-inception.github.io/inception-document/usage/)[代码仓库](https://githu ...
Mysql SQL优化&执行计划
SQL优化准则禁用select * 使用select count(*) 统计行数尽量少运算尽量避免全表扫描,如果可以,在过滤列建立索引尽量避免在where子句对字段进行null判断尽量避免在 ...
18.Mysql SQL优化
18.SQL优化18.1 优化SQL语句的一般步骤 18.1.1 通过show status命令了解各种SQL的执行频率show [session|global] status; -- 查看服务器状态 ...
mysql sql优化及注意事项
sql优化分析通过slow_log等方式可以捕获慢查询sql,然后就是减少其对io和cpu的使用(不合理的索引.不必要的数据访问和排序)当我们面对具体的sql时,首先查看其执行计划A.看其是否使用索 ...
MySQL sql优化（摘抄自文档）
前言有人反馈之前几篇文章过于理论缺少实际操作细节,这篇文章就多一些可操作性的内容吧. 注:这篇文章是以 MySQL 为背景,很多内容同时适用于其他关系型数据库,需要有一些索引知识为基础. 优化目标 ...
MySQL SQL优化
一.优化数据库的一般步骤: (A) 通过 show status 命令了解各种SQL的执行频率. (B) 定位执行效率较低的SQL语句,方法两种: 事后查询定位:慢查询日志:--log-slow-qu ...
MySQL SQL优化之in与range查询【转】
本文来自:http://myrock.github.io/ 首先我们来说下in()这种方式的查询.在<高性能MySQL>里面提及用in这种方式可以有效的替代一定的range查询,提升查询效 ...
MySql Sql 优化技巧分享
有天发现一个带inner join的sql 执行速度虽然不是很慢(0.1-0.2),但是没有达到理想速度.两个表关联,且关联的字段都是主键,查询的字段是唯一索引. sql如下: SELECT p_it ...

随机推荐

交换分区swap
一.查看当前的交换分区[root@server0 ~]# free -mtotal used free shared buff/cache availableMem: 489 140 145 ...
ffmpeg学习笔记-ffmpeg在VS下的运用
ffmpeg官网提供了window平台下额开发工具供开发者使用,这篇文章主要以3.2版本的ffmpeg作为演示,记录在VS2013下,怎么去编译ffmpeg 下载在官网中,按照以下步骤下载下载Wi ...
redis的事物操作
PTA(Advanced Level)1041.Be Unique
Being unique is so important to people on Mars that even their lottery is designed in a unique way. ...
N分成不同的数相乘使答案最大
题意:http://acm.hdu.edu.cn/showproblem.php?pid=5976 首先队友想出了分的越多答案越多. 我们就:2,3,4,5,6...多出来的尽量往小了加就行了. #d ...
Ubuntu 18.04修改默认源为国内源
安装Ubuntu 18.04后,使用国外源太慢了,修改为国内源会快很多. 修改阿里源为Ubuntu 18.04默认的源备份/etc/apt/sources.list 备份 cp /etc/apt/s ...
Docker 镜像的制作
1.登录docker docker ecex –it 容器名/容器id /bin/bash 例如: docker exec –it t ...
html5手机网页开发，中文输入法下软键盘遮挡输入框
安卓手机解决办法微信UI框架weui中给出了解决方法:weui框架http://weui.github.io/weui/example.js // .container 设置了 overflow 属 ...
Java HttpServletRequest中getAttribute()方法和getParameter()区别
一.ServletRequest接口 HttpServletRequest接口继承了ServletRequest接口,实现类通常代表一个实际的Http Request. Servlet容器负责创建一个 ...
nginx反向代理服务器以及负载均衡，从安装到配置
nginx的具体作用不用细说,很强大,做负载均衡.反向代理服务器解决前端跨域问题等等.下面是nginx的安装过程首先nginx主要的依赖: pcre. pcre-devel zlib zlib-de ...

MySQL--------SQL优化审核工具实战

MySQL--------SQL优化审核工具实战的更多相关文章

随机推荐

热门专题