pt-query-digest（percona toolkit）小解

pt-query-digest可以通过logs, processlist, 和tcpdump来分析MySQL的查询相关信息，基本语法如下：

pt-query-digest [OPTIONS] [FILES] [DSN]

pt-query-digest是一种用于分析MySQL查询的简单易用的工具，没有之一。它可以分析MySQL慢日志，general LOG和二进制日志的查询。 （二进制日志必须首先转换为文本，通过mysqlbinlog工具）。它也可以使用SHOW PROCESSLIST和来自tcpdump的MySQL协议数据。默认情况下，该工具报告哪个查询最慢，因此最重要的是进行优化。可以通过使用--group-by，--filter和--embedded-attributes等参数来创建更自定义的报告。

pt-query-digest主要有以下几个功能：

(1)使用slow.log来生成统计信息：

pt-query-digest slow.log

(2)从processlist的方式分析生成报告：

pt-query-digest --processlist h=host1

(3)通过tcppdump抓包分析慢查询：

tcpdump -s  -x -nn -q -tttt -i any -c  port  > mysql.tcp.txt
pt-query-digest --type tcpdump mysql.tcp.txt

(4)将慢日志查询分析到另一台主机：

pt-query-digest --review h=host2 --no-report slow.log

下面看一下主要参数：

--type 默认为slowlog，参数值可以设置为binlog，genlog,slowlog,tcpdump,rawlog等。

--processlist 通过processlist分析MySQL的满日志查询

--create-review-table 当使用--review参数把分析结果输出到表中时，如果没有表就自动创建。

--create-history-table 当使用--history参数把分析结果输出到表中时，如果没有表就自动创建。

--filter 对输入的慢查询按指定的字符串进行匹配过滤后再进行分析

--limit限制输出结果百分比或数量，默认值是20,即将最慢的20条语句输出，如果是50%则按总响应时间占比从大到小排序，输出到总和达到50%位置截止。

--host MySQL服务器地址

--user mysql用户名

--password mysql用户密码

--history 将分析结果保存到表中，分析结果比较详细，下次再使用--history时，如果存在相同的语句，且查询所在的时间区间和历史表中的不同，则会记录到数据表中，可以通过查询同一CHECKSUM来比较某类型查询的历史变化。

--review 将分析结果保存到表中，这个分析只是对查询条件进行参数化，一个类型的查询一条记录，比较简单。当下次使用--review时，如果存在相同的语句分析，就不会记录到数据表中。

--output 分析结果输出类型，值可以是report(标准分析报告)、slowlog(Mysql slow log)、json、json-anon，一般使用report，以便于阅读。

--since 从什么时间开始分析，值为字符串，可以是指定的某个”yyyy-mm-dd [hh:mm:ss]”格式的时间点，也可以是简单的一个时间值：s(秒)、h(小时)、m(分钟)、d(天)，如12h就表示从12小时前开始统计。

--until 截止时间，配合—since可以分析一段时间内的慢查询。

下面看一下默认的输出报表相关的信息：

（1）数据统计信息

# .9s user time, .4s system time, 41.68M rss, 193.36M vsz
# Current date: Mon Jun  ::
# Hostname: mxqmongodb2
# Files: /home/mysql/db3306/log/slowlog_343306.log
# Overall: 6.72M total,  unique, 16.12 QPS, .69x concurrency _________
# Time range: --13T14:: to --18T10::
# Attribute total min max avg % stddev median
# ============ ======= ======= ======= ======= ======= ======= =======
# Exec time 287519s 1us 20s 43ms 148ms 339ms 214us
# Lock time 151259s  20s 23ms 144us 319ms 47us
# Rows sent 5.40M   0.84 0.99 6.58 0.99
# Rows examine 388.33M  .72k 60.59 5.75 388.16 0.99
# Query size 692.26M   108.02 202.40 69.96 80.10

以上包含信息Hostname主机名，Overall总查询，unique单独查询，分析时间段Time range， Attribute部分和第三部分是一样的，放到最好分析

（2）慢查询SQL统计结果和开销统计

# Profile
# Rank Query ID Response time Calls R/Call V/M Item
# ==== ================== ================= ======= ====== ===== =========
#  0x255C57D761A899A9 146053.6926 50.8%  1.9225 2.93 UPDATE warehouse
#  0x813031B8BBC3B329 94038.9621 32.7%  0.3874 0.23 COMMIT
#  0xA0352AA54FDD5DF2 10125.5055 3.5%  0.1334 0.43 UPDATE order_line
#  0xE5E8C12332AD11C5 5660.5113 2.0%  0.0745 0.83 SELECT district
#  0xBD195A4F9D50914F 3634.6219 1.3%  0.0048 1.01 SELECT stock
#  0xF078A9E73D7A8520 3431.3527 1.2%  0.0452 0.81 UPDATE district
#  0x9577D48F480A1260 2307.4342 0.8%  0.0459 1.25 SELECT customer
#  0xFFDA79BA14F0A223 2158.4731 0.8%  0.0284 0.54 SELECT customer warehouse
#  0x5E61FF668A8E8456 1838.4440 0.6%  0.0012 0.74 SELECT stock
#  0x10BEBFE721A275F6 1671.8274 0.6%  0.0022 0.52 INSERT order_line
#  0x8B2716B5B486F6AA 1658.5984 0.6%  0.0219 0.75 INSERT history
#  0xBF40A4C7016F2BAE 1504.7939 0.5%  0.0020 0.77 SELECT item
#  0x37AEB73B59EFC119 1470.5951 0.5%  0.5182 0.27 INSERT SELECT tpcc._stock_new tpcc.stock
#  0x26C4F579BF19956D 1030.4416 0.4%  0.5199 0.28 INSERT SELECT tpcc.__stock_new tpcc.stock
#  0xD80B7970DBF2419C 493.0831 0.2%  0.5207 0.28 INSERT SELECT tpcc.__stock_new tpcc.stock
#  0xDE7EA4E363CAD006 488.2134 0.2%  0.5177 0.25 INSERT SELECT tpcc.__stock_new tpcc.stock
#  0x985B012461683472 470.6418 0.2%  0.5189 0.25 INSERT SELECT tpcc.__stock_new tpcc.stock
# MISC 0xMISC 9482.0467 3.3%  0.0043 0.0 < ITEMS>

其中信息包含了Response: 总的响应时间，time: 该查询在本次分析中总的时间占比。calls: 执行次数，即本次分析总共有多少条这种类型的查询语句。R/Call: 平均每次执行的响应时间。Item : SQL操作表。

（3）第三部分，每个SQL的详细信息

# Query : 1.14 QPS, .19x concurrency, ID 0x255C57D761A899A9 at byte
# This item is included in the report because it matches --limit.
# Scores: V/M = 2.93
# Time range: --13T14:: to --14T09::
# Attribute pct total min max avg % stddev median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count
# Exec time  146054s 160us 20s 2s 7s 2s 1s
# Lock time  142872s 39us 20s 2s 7s 2s 992ms
# Rows sent
# Rows examine  .19k
# Query size  4.05M   55.88 56.92 0.82 54.21
# String:
# Hosts 127.0.0.1
# Users root
# Query_time distribution
# 1us
# 10us
# 100us ######################
# 1ms ##
# 10ms ###
# 100ms ##################################
# 1s ################################################################
# 10s+ ##
# Tables
# SHOW TABLE STATUS LIKE 'warehouse'\G
# SHOW CREATE TABLE `warehouse`\G
UPDATE warehouse SET w_ytd = w_ytd +  WHERE w_id = \G
# Converted for EXPLAIN
# EXPLAIN /*!50100 PARTITIONS*/
select w_ytd = w_ytd +  from warehouse where w_id = \G

Query 1，就是按照开销来说排名第一的查询，第一行是表的列标题。百分比是整个分析运行的总和的百分比，total是指定指标的实际值。例如，在这种情况下，我们可以看到查询执行了75972次，占文件中查询总数的50％。 min，max和avg列是不言自明的。 95％的列显示了第95个百分点;值的95％小于或等于该值。标准偏差显示了数值是如何紧密分组的。标准偏差和中位数都是从第95个百分点计算出来的，舍弃极大值最小值。

下面我们看一下常规的用法：

1：分析慢日志

默认报表

[root@mxqmongodb2 bin]# ./pt-query-digest /home/mysql/db3306/log/slowlog_343306.log >/home/sa/slowlog_343306.log

按照时间来切分，一般情况我们会分析一天的慢日志：

[root@mxqmongodb2 bin]# ./pt-query-digest --since=24h /home/mysql/db3306/log/slowlog_343306.log >/home/sa/slowlog_343306_24.log

而且我们可以设置过滤条天通过--filter参数，更好生成我们想要的报表。

例如只查询select：--filter '$event->{arg} =~ m/^select/i'，只查询某个用户：--filter '($event->{user} || "") =~ m/^dba/i' ，全表扫描等：--filter '(($event->{Full_scan} || "") eq "yes") ||(($event->{Full_join} || "") eq "yes")' 

2：保存分析结果到表文件：

[root@mxqmongodb2 bin]# ./pt-query-digest --user=root --password= --port= --review h=172.16.16.35,D=test,t=query_report /home/mysql/db3306/log/slowlog_343306.log

看一下结果样式

mysql> select * from query_report limit \G
*************************** . row ***************************
checksum:
fingerprint: insert into order_line (ol_o_id, ol_d_id, ol_w_id, ol_number, ol_i_id, ol_supply_w_id, ol_quantity, ol_amount, ol_dist_info) values(?+)
sample: INSERT INTO order_line (ol_o_id, ol_d_id, ol_w_id, ol_number, ol_i_id, ol_supply_w_id, ol_quantity, ol_amount, ol_dist_info) VALUES (, , , , , , , 62.41910171508789, 'N3F5fAhga7U51tlXr8AEgZdi')
first_seen: -- ::
last_seen: -- ::
reviewed_by: NULL
reviewed_on: NULL
comments: NULL
 row in set (0.00 sec)

3：分析binlog（要先使用mysqlbinlog将binlog转换）

[root@mxqmongodb2 log]# mysqlbinlog mysql-bin. >/home/sa/mysql-bin_000012.log
[root@mxqmongodb2 bin]# ./pt-query-digest --type=binlog /home/sa/mysql-bin_000012.log >/home/sa/mysql-bin_000012_report.log

这个测试的时候还是有点小迷茫的，因为打印的结果并不是我要的，难道是因为我的binlog格式是ROW？保留下来，后面在测试。

4：分析general log

加上--type=genlog 即可，没有验证。。。。。。

5：tcpdump抓包分析

我们先要开启压力测试：

[root@mxqmongodb2 tpcc-mysql]# ./tpcc_start -h127.0.0. -P3306 -d tpcc -u root -p123456 -w  -c  -r  -l 

连续测试三十分钟，提供我们的抓取数据：

[root@mxqmongodb2 log]# tcpdump -s  -x -nn -q -tttt -i any -c  port  >/home/sa/mysql.tcp.txt
[root@mxqmongodb2 bin]# ./pt-query-digest --type=tcpdump /home/sa/mysql.tcp.txt >/home/sa/mysql.tcp_repot.txt

看一下效果：

[root@mxqmongodb2 sa]# cat mysql.tcp_repot.txt

# .2s user time, 50ms system time, 27.65M rss, 179.15M vsz
# Current date: Tue Jun  ::
# Hostname: mxqmongodb2
# Files: /home/sa/mysql.tcp.txt
# Overall:  total,  unique, 9.76 QPS, .52x concurrency ______________
# Time range: -- ::19.850032 to ::35.731291
# Attribute total min max avg % stddev median
# ============ ======= ======= ======= ======= ======= ======= =======
# Exec time 72s 63us 2s 463ms 1s 352ms 393ms
# Rows affecte    0.16 0.99 1.18
# Query size    6.17 5.75 1.85 5.75
# Warning coun    0.01  0.08 

# Profile
# Rank Query ID Response time Calls R/Call V/M Item
# ==== ================== ============= ===== ====== ===== =========
#  0x813031B8BBC3B329 69.9077 97.4%  0.4569 0.25 COMMIT
# MISC 0xMISC 1.8904 2.6%  0.9452 0.0 < ITEMS>

# Query : 9.63 QPS, .40x concurrency, ID 0x813031B8BBC3B329 at byte
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.25
# Time range: -- ::19.850032 to ::35.731291
# Attribute pct total min max avg % stddev median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count
# Exec time  70s 63us 2s 457ms 1s 336ms 393ms
# Rows affecte     0.16 0.99 1.19
# Query size
# Warning coun     0.01  0.08
# String:
# Hosts 127.0.0.1
# Query_time distribution
# 1us
# 10us #
# 100us ####
# 1ms #
# 10ms #
# 100ms ################################################################
# 1s ##########
# 10s+
commit\G