天兔 -Lepus 慢查询分析平台配置

想要实现慢查询查询分析，需要在被监控端安装percona-toolkit工具。

 

1、被监控端安装软件包

yum -y install
perl-IO-Socket-SSL

yum -y install perl-DBI

yum -y install perl-DBD-MySQL

yum -y install perl-Time-HiRes

 

2、被监控端解压percona-toolkit工具包

[root@node1
src]# pwd

/usr/local/src

[root@node1
src]# tar
-xzf percona-toolkit-2.2.12.tar.gz

[root@node1
src]# ll

drwxrwxr-x 6
1000 1000 4096 Aug 17 16:19 percona-toolkit-2.2.12

-rw-r--r-- 1
root root 1392691 Aug 17 16:17 percona-toolkit-2.2.12.tar.gz

[root@node1
src]# ll

[root@node1
src]# cd
percona-toolkit-2.2.12

[root@node1
percona-toolkit-2.2.12]# perl Makefile.PL

[root@node1
percona-toolkit-2.2.12]# make && make
install

安装好之后，pt工具会在/usr/local/bin目录下（不同的pt版本安装的位置可能不同）

 

3、从监控端的/usr/local/lepus/client/mysql目录下把lepus_slowquery.sh脚本拷贝到被监控端（存放的位置没有要求，可以放在/usr/local/sbin目录下）

[root@node9
mysql]# scp lepus_slowquery.sh 192.168.2.225:/usr/local/sbin

 

4、在被监控端编辑scp过来的lepus_slowquery.sh脚本

[root@node1
sbin]# pwd

/usr/local/sbin

[root@node1
sbin]# vim
lepus_slowquery.sh         #下面蓝色字体是需要修改的，其他不用修改。

#config lepus database server      
  #监控机配置

lepus_db_host="192.168.2.33"    
#监控机的IP

lepus_db_port=3306     #监控机的端口号

lepus_db_user="lepus_user"  
  #监控机的用户名

lepus_db_password="123456"  
  #监控机的密码

lepus_db_database="lepus"  
  #使用的库

 

#config mysql
server         #被监控端配置

mysql_client="/usr/local/mysql/bin/mysql"  
  #mysql软件安装目录下，这个就是平时所用的mysql -uroot -proot123的那个mysql。

mysql_host="192.168.2.201"  
  #被监控端的IP

mysql_port=3306  
  #被监控端的端口号，生产中不要用这个，用别的

mysql_user="lepus_monitor"  
  #远程登录用户名

mysql_password="123456"     #密码

 

#config slowqury      
  #被监控端慢查询日志配置(存放目录)

slowquery_dir="/log/mysql/"      
  #MySQL慢日志存放目录，也是被监控端存放lepus分析出来的慢查询日志存放目录

slowquery_long_time=1      
  #慢查询时间

slowquery_file=`$mysql_client -h$mysql_host
-P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like
'slow_query_log_file'"|grep log|awk '{print $2}'`

pt_query_digest="/usr/local/bin/pt-query-digest"  
      #pt工具软件的安装目录下，安装的时候关注一下安装到的位置。

 

#config
server_id

lepus_server_id=271  
   
  #这个server_id指的是lepus监控平台所分配的id，需要通过下面的方式来查看，参考截图：

注意：

lepus_server_id，该值需要从系统中获取。进入MySQL服务器配置，在部署脚本的主机前查询到当前ID即为主机的server_id。

lepus_server_id必须和MySQL服务器配置里的对应服务器ID一一对应，否则您可能将无法查询到该主机的慢查询。

 

#collect
mysql slowquery log into lepus database

$pt_query_digest --user=$lepus_db_user
--password=$lepus_db_password --port=$lepus_db_port --review
h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review --history
h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review_history
--no-report --limit=100% --filter=" \$event->{add_column} =
length(\$event->{arg}) and \$event->{serverid}=$lepus_server_id "
$slowquery_file > /tmp/lepus_slowquery.log

 

##### set a
new slow query log ###########

tmp_log=`$mysql_client -h$mysql_host -P$mysql_port
-u$mysql_user -p$mysql_password -e "select
concat('$slowquery_dir','slowquery_',date_format(now(),'%Y%m%d%H'),'.log');"|grep
log|sed -n -e '2p'`

 

#config mysql
slowquery

$mysql_client
-h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global
slow_query_log=1;set global
long_query_time=$slowquery_long_time;"

$mysql_client
-h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global
slow_query_log_file = '$tmp_log'; "

 

#delete log
before 7 days

cd
$slowquery_dir

/usr/bin/find
./ -name 'slowquery_*' -mtime +7|xargs rm -rf ;

 

####END####

说明：

vim编辑结束保存之后需要变更脚本格式

显示当前的格式（默认为dos，这是不能执行的）:set
ff?

修改为Unix（变更为unix之后，脚本才可以成功执行）:set
fileformat=unix

:wq退出vim编辑器

 

5、测试，使用存储过程插入1万条数据或者查询一个数十万行的表，查询结束之后手动执行一下这个脚本，这样在监控界面上就可以看到结果了。（测试SQL参见文档底部）

[root@node1 sbin]# sh
lepus_slowquery.sh

 

6、测试成功之后，加入计划任务。因为慢查询做了按小时的切割，建议计划任务时间间隔在1小时之内。

[root@node1
sbin]# crontab -e

crontab:
installing new crontab

[root@node1
sbin]# crontab -l

*/5 * * * *
/bin/sh /usr/local/sbin/lepus_slowquery.sh > /dev/null
2>&1

 

7、开启慢查询分析

在MySQL服务器管理里面电击右侧的编辑按钮，进入服务器编辑界面。

配置slowquery为打开状态

配置完成后，稍等片刻，即可在慢查询分析平台查看该库的慢查询日志。

 

 

8、开启慢查询自动邮件推送

慢查询自动推送是指定时将系统收集到的慢查询TOP数据定时推送给相应开发人员或者DBA进行优化，不需要在每台数据库上部署脚本。

MySQL慢查询自动推送通过计划任务(crontab)完成。如果需要推送，则需要在监控机（lepus所在主机）部署如下计划任务。

——注1：www.xxx.com请替换成您自己的lepus监控WEB访问地址，以下只是做一个示范，请勿照搬。

——注2：若没有links命令，需要安装：yum -y install
links

示例：

lepus所在的监控机执行：links
http://118.178.191.219:81/index.php/task/send_mysql_slowquery_mail

此时会在你配置的邮件中收到慢查询的推送信息。

crontab中的示例：

00 08 * * * links
http://www.xxxx.com/index.php/task/send_mysql_slowquery_mail > /dev/null
2>&1

我的crontab内容：

*/5 * * * * /usr/bin/links
http://118.178.191.219:81/index.php/lp_mysql/slowquery > /dev/null
2>&1

计划任务部署完成后，则会按照计划任务配置的时间将慢查询推送给对应人员。

慢查询推送的邮件人员需要在MySQL主机配置里面设置即可，邮箱留空则该数据库主机不会发送慢查询推送。

部署完成后，在计划任务的时间到达，您就可以看到推送的慢查询邮件了。

邮件格式和内容如下所示：

 

参考计划任务的书写：0 8 * * * curl
http://118.178.191.219:81/index.php/task/send_mysql_slowquery_mail >/dev/null
2>&1

 

测试SQL：

1、创建两张表:
part_tab(分区表)、no_part_tab(普通表)

DROP TABLE IF
EXISTS part_tab;

CREATE TABLE
part_tab(

c1 int
default NULL,

c2
varchar(30) default NULL,

c3 date not
null)

PARTITION BY
RANGE(year(c3))

(PARTITION p0 VALUES LESS THAN (1995)
,

PARTITION p1
VALUES LESS THAN (1996) ,

PARTITION p2
VALUES LESS THAN (1997) ,

PARTITION p3
VALUES LESS THAN (1998) ,

PARTITION p4
VALUES LESS THAN (1999) ,

PARTITION p5
VALUES LESS THAN (2000) ,

PARTITION p6
VALUES LESS THAN (2001) ,

PARTITION p7
VALUES LESS THAN (2002) ,

PARTITION p8
VALUES LESS THAN (2003) ,

PARTITION p9
VALUES LESS THAN (2004) ,

PARTITION p10
VALUES LESS THAN (2010) ,

PARTITION p11
VALUES LESS THAN (MAXVALUE));

 

DROP TABLE IF
EXISTS no_part_tab;

CREATE TABLE
no_part_tab(

c1 int
default NULL,

c2
varchar(30) default NULL,

c3 date not
null);

 

2、用存储过程插入800万条数据

delimiter
$$

drop
procedure if exists `load_part_tab` $$

CREATE
PROCEDURE load_part_tab()

begin

declare v int
default 0;

while v <
8000000

do

insert into
part_tab

values
(v,'testingpartitions',adddate('1995-01-01',(rand(v)*36520)mod
3652));

set v = v +
1;

end
while;

end$$

delimiter
;

 

call
load_part_tab();