使用pt-query-digest进行日志分析
使用pt-query-digest
sudo apt install percona-toolkit
也可以到官网
https://www.percona.com/downloads/percona-toolkit/LATEST/
下载安装
sudo dpkg -i /home/jiqing/下载/percona-toolkit_3.0.10-1.xenial_amd64.deb
查看帮助
jiqing@jiqing-pad:/usr/bin$ pt-query-digest -h
Option h requires an argument
Usage: pt-query-digest [OPTIONS] [FILES] [DSN]
Errors in command-line arguments:
* Error parsing options
pt-query-digest analyzes MySQL queries from slow, general, and binary log files.
It can also analyze queries from C<SHOW PROCESSLIST> and MySQL protocol data
from tcpdump. By default, queries are grouped by fingerprint and reported in
descending order of query time (i.e. the slowest queries first). If no C<FILES>
are given, the tool reads C<STDIN>. The optional C<DSN> is used for certain
options like L<"--since"> and L<"--until">. For more details, please use the
--help option, or try 'perldoc /usr/bin/pt-query-digest' for complete
documentation.
使用
sudo pt-query-digest /tmp/mysql-slow.log |less
# 220ms user time, 0 system time, 36.90M rss, 110.99M vsz
# Current date: Thu May 31 01:19:54 2018
# Hostname: jiqing-pad
# Files: /tmp/mysql-slow.log
# Overall: 127 total, 39 unique, 0.09 QPS, 0.00x concurrency _____________
# Time range: 2018-05-31 00:48:17 to 01:12:31
# Attribute total min max avg 95% stddev median
# ============ ======= ======= ======= ======= ======= ======= =======
# Exec time 999ms 81us 334ms 8ms 38ms 33ms 247us
# Lock time 59ms 0 44ms 461us 445us 4ms 57us
# Rows sent 537 0 219 4.23 6.98 19.08 0.99
# Rows examine 52.59k 0 15.67k 424 592.07 1.97k 46.83
# Query size 16.53k 21 1.28k 133.31 346.17 131.28 130.47
# Profile
# Rank Query ID Response time Calls R/Call V/M Item
# ==== ================== ============= ===== ====== ===== ===============
# 1 0xDBD84EBCA96FD1B3 0.3335 33.4% 1 0.3335 0.00 SELECT information_schema.TABLES
# 2 0x4EBEE0C93679AA3A 0.1654 16.6% 15 0.0110 0.14 SELECT INFORMATION_SCHEMA.SCHEMATA
# 3 0xA1E689B034771CD3 0.0820 8.2% 6 0.0137 0.06 SELECT INFORMATION_SCHEMA.TABLES
# 4 0x31DE4C0DBC50DA30 0.0492 4.9% 1 0.0492 0.00 SELECT sakila.film_actor
# 5 0x6587F7103124EF13 0.0477 4.8% 4 0.0119 0.03 SELECT INFORMATION_SCHEMA.ROUTINES
# 6 0x1130DFE666B5F2AA 0.0434 4.3% 1 0.0434 0.00 SELECT sakila.rental
# 7 0x18B275D7FFB41810 0.0428 4.3% 1 0.0428 0.00 SELECT
# 8 0xA46100310F18DEB9 0.0396 4.0% 4 0.0099 0.02 SELECT INFORMATION_SCHEMA.SCHEMATA
# 9 0xACB921BD6A67D19F 0.0383 3.8% 1 0.0383 0.00 SELECT sakila.film_text
# 10 0xF2E9C9BDE150321B 0.0322 3.2% 1 0.0322 0.00 SET
# 11 0xE2F7D83651089289 0.0308 3.1% 1 0.0308 0.00 SELECT
# 12 0x6498E5CBE1B003AB 0.0291 2.9% 1 0.0291 0.00 SET
# 13 0x26D1F8747AD5C7A2 0.0148 1.5% 1 0.0148 0.00 SELECT sakila.payment
# 14 0xB53625A7FA91320B 0.0114 1.1% 1 0.0114 0.00 SELECT sakila.inventory
# MISC 0xMISC 0.0391 3.9% 88 0.0004 0.0 <25 ITEMS>
...
会发现有很多统计信息提供!非常方便。
如果通过日志发现问题?
查询次数多,查询时间长的sql
IO大的sql,查询数量多于输出数量的sql
未命中索引的sql
使用pt-query-digest进行日志分析的更多相关文章
- Hadoop学习笔记—20.网站日志分析项目案例(三)统计分析
网站日志分析项目案例(一)项目介绍:http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例(二)数据清洗:http://www.cnbl ...
- MyCAT日志分析
MyCAT日志对于了解MyCAT的运行信息不可获取,譬如MyCAT是否采用读写分离,对于一个查询语句,MyCAT是怎样执行的,每个分片会分发到哪个节点上等等. 默认是info级别,通过log4j.xm ...
- Mysql慢查询和慢查询日志分析
Mysql慢查询和慢查询日志分析 众所周知,大访问量的情况下,可添加节点或改变架构可有效的缓解数据库压力,不过一切的原点,都是从单台mysql开始的.下面总结一些使用过或者研究过的经验,从配置以 ...
- MySQL 慢查询日志分析及可视化结果
MySQL 慢查询日志分析及可视化结果 MySQL 慢查询日志分析 pt-query-digest分析慢查询日志 pt-query-digest --report slow.log 报告最近半个小时的 ...
- linux实用的日志分析脚本
日志分析 随意的tail一个access_log文件,下面是一条经典的访问记录 218.19.140.242 – - [10/Dec/2010:09:31:17 +0800] “GET /query/ ...
- 日志分析工具ELK配置详解
日志分析工具ELK配置详解 一.ELK介绍 1.1 elasticsearch 1.1.1 elasticsearch介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分 ...
- Log Parser 微软强大的日志分析工具
Log Parser(微软网站下载)是微软公司出品的日志分析工具,它功能强大,使用简单,可以分析基于文本的日志文件.XML 文件.CSV(逗号分隔符)文件,以及操作系统的事件日志.注册表.文件系统.A ...
- IIS日志分析
发现一个强大的图形化IIS日志分析工具——Log Parser Studio,下面分享一个实际操作案例. 1. 安装Log Parser Studio a) 需要先安装Log Parser,下载地址: ...
- 一个强大的LogParser的UI工具--logparserlizard简介(开源IIS日志分析工具)
原文地址:http://blog.csdn.net/downmoon/article/details/4509513 日志分析,特别是IIS日志,一般人都会想到LogParser工具,的确很强.但是命 ...
- Python脚本收集腾讯云CDN日志,并入ELK日志分析
负责搭建公司日志分析,一直想把CDN日志也放入到日志分析,前些日志终于达成所愿,现在贴出具体做法: 1.收集日志 腾讯云CDN日志一般一小时刷新一次,也就是说当前只能下载一小时之前的日志数据,但据本人 ...
随机推荐
- Java面试题集(一)
作为一名java开发软件工程,一定要记住,基础非常重要,往往就是一些基础,很简单,但是你就是不知道实现原理,为什么使用,有没有自己去发现,对比,差异从而总结,有些东西看似简单,但是不一定你描述清楚,直 ...
- [C++] 频谱图中 FFT快速傅里叶变换C++实现
在项目中,需要画波形频谱图,因此进行查找,不是很懂相关知识,下列代码主要是针对这篇文章. http://blog.csdn.net/xcgspring/article/details/4749075 ...
- Eclipse 语言文件下载地址
http://www.eclipse.org/babel/downloads.php 更改配色: 安装新软件: http://eclipse-color-theme.github.com/update
- 发布ios应用程序
详见文档 AppDistributionGuide Submit and Release Your App 首先,需要登入itunes connect并且输入必要的信息更改app状态为 waiting ...
- gdb源码安装,指定使用的python版本
gdb调试python的时候,需要根据不同的python版本2.6.2.7.3.x安装相应的gdb: 如何指定关联的python版本? 下面gdb源码,解压后,进入目录: ./configure -h ...
- 基于MNIST数据的卷积神经网络CNN
基于tensorflow使用CNN识别MNIST 参数数量:第一个卷积层5x5x1x32=800个参数,第二个卷积层5x5x32x64=51200个参数,第三个全连接层7x7x64x1024=3211 ...
- 《ASP.NET》数据绑定—DataList实践篇
上篇文章大概讲了DataList的一些基础知识,掌握这些知识在将来的应用中起到非常大的作用,如今我们就開始讲上篇文章中说的基础知识做一个小样例. 首先,我机子的数据库中有一张person表.例如以下图 ...
- table合并单元格
table合并单元格 新建一张表格.要求表格有四行四列,当中第一行的四列合并,第二行.第三行和第四行的第一列合并 <!DOCTYPE html PUBLIC "-//W3C//DTD ...
- 自己定义控件事实上非常easy1/6
尊重原创转载请注明:From AigeStudio(http://blog.csdn.net/aigestudio)Power by Aige 侵权必究! 炮兵镇楼 上一节我们粗略地讲了下怎样去实现我 ...
- hadoop2.7.1 nutch2.3 二次开发windows环境
Hadoop windows编译: 能够略过这一段,直接下载hadoo2.7.1 bin文件.我的资源里有终于生成的winutils.exe和一些native code,放在bin文件夹即可了 參 ...