pstack

获取堆栈信息

问题线程的定位

负载较低

mysql_pid=4522

pstack $mysql_pid>pstack.info

pt-pmp对堆栈信息排序

pt-pmp pstack.info | less

也可以直接执行pt-pmp

pt-pmp --pid 4522

     10 __io_getevents_0_4(libaio.so.1),LinuxAIOHandler::collect(os0file.cc:2502),LinuxAIOHandler::poll(os0file.cc:2648),os_aio_linux_handler(os0file.cc:2704),os_aio_handler(os0file.cc:2704),fil_aio_wait(fil0fil.cc:5835),io_handler_thread(srv0start.cc:311),start_thread(libpthread.so.0),clone(libc.so.6)
3 pthread_cond_wait,wait(os0event.cc:165),os_event::wait_low(os0event.cc:165),srv_worker_thread(srv0srv.cc:2520),start_thread(libpthread.so.0),clone(libc.so.6)
2 pthread_cond_wait,native_cond_wait(thr_cond.h:140),my_cond_wait(thr_cond.h:140),inline_mysql_cond_wait(thr_cond.h:140),Per_thread_connection_handler::block_until_new_connection(thr_cond.h:140),handle_connection(connection_handler_per_thread.cc:329),pfs_spawn_thread(pfs.cc:2190),start_thread(libpthread.so.0),clone(libc.so.6)

gdb

堆栈跟踪

等待分析

侵入性大

mysqld_pid 4522

gdb -p $mysqld_pid

(gdb) info thread 显示运行的所有线程

(gdb) thread 4 切换到某个线程

bt 显示调用栈

SELECT B.THREAD_OS_ID AS mysqld_os_thread_id,A.ID as processlist_id,A.USER,A.HOST,A.DB,A.COMMAND,A.TIME,A.STATE,LEFT(A.INFO,150) AS statement FROM information_schema.PROCESSLIST A INNER JOIN performance_schema.threads B on A.ID=B.PROCESSLIST_ID where A.id !=connection_id();

+---------------------+----------------+-------+-----------+------+---------+------+---------------------------------+----------------------------------------+

| mysqld_os_thread_id | processlist_id | USER | HOST | DB | COMMAND | TIME | STATE | statement |

+---------------------+----------------+-------+-----------+------+---------+------+---------------------------------+----------------------------------------+

| 27015 | 4 | admin | localhost | NULL | Sleep | 2597 | | NULL |

| 28252 | 6 | admin | localhost | test | Query | 1166 | Waiting for table metadata lock | alter table test.test_1 drop index idx |

+---------------------+----------------+-------+-----------+------+---------+------+---------------------------------+----------------------------------------+

(gdb) thread 4

[Switching to thread 4 (Thread 0x7f8d107f8700 (LWP 28252))]

#0 0x00007f8d3b147d12 in pthread_cond_timedwait@@GLIBC_2.3.2 () from /lib64/libpthread.so.0

bt

........

#4 MDL_wait::timed_wait (this=0x7f8ce4000958, owner=0x7f8ce40008c0, abs_timeout=0x7f8d107f37e0, set_status_on_timeout=false,

wait_state_name=) at /export/home/pb2/build/sb_0-27500212-1520171728.22/mysql-5.7.22/sql/mdl.cc:1861

  • processlist_id 为6( os中 mysqld的线程id为28252)正在等待MDL 元数据锁,通过gdb堆栈跟踪发现,该连接正在执行的内部函数为 pthread_cond_timedwait

注意

  • pstack 和gdb都可以获取堆栈信息,区别是gdb是交互式的(需要手动退出),pstack是快照形式(执行3s自动退出)
  • 对mysqld使用gdb后,已经建立的连接无法再执行语句,新连接无法建立



strace

查看进程的系统调用信息

负载较高

查看系统调用

strace -cp $mysqld_pid

查看执行语句

mysqld_pid=4522

strace -f -F -ff -o mysqld-strace -s 1024 -p $mysqld_pid

find ./ -name "mysqld-strace" -type f -print |xargs grep -n "SELECT.FROM"

查看读写的文件

strace -o /tmp/strace_output.txt -T -tt -f -e trace=read,open -p “mysqld_pid”

perf

进程内部函数调用情况

负载较低

mysqld内部函数整体消耗情况

perf top -p 4522

Samples: 66  of event 'cpu-clock', Event count (approx.): 6520074
Overhead Shared Object Symbol
18.42% mysqld [.] sync_array_print_long_waits_low
10.83% [kernel] [k] _raw_spin_unlock_irqrestore
7.88% libaio.so.1.0.1 [.] 0x0000000000000645
7.30% [kernel] [k] finish_task_switch
6.84% [kernel] [k] system_call_after_swapgs
6.22% [kernel] [k] aio_read_events
6.02% libc-2.17.so [.] __memset_sse2

记录所有内部函数调用

该命令会输出记录到perf.data中

perf record -p 4522

解析并查看perf.data内容

perf script -i perf.data>perf.log && less perf.log

参考

MySQL所有操作hang住问题的故障排查

linux strace追踪mysql执行语句 (mysqld --debug)

linux 调试利器gdb, strace, pstack, pstree, lsof

Debugging a MySQL Server

What to Do If MySQL Keeps Crashing

MySQL 几种调式分析利器的更多相关文章

  1. MySQL慢日志查询分析方法与工具

    MySQL中的日志包括:错误日志.二进制日志.通用查询日志.慢查询日志等等.这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志. 1)通用查询日志:记录建立的客户端连接和执行的语句. 2)慢查 ...

  2. Mysql 死锁的详细分析方法

    用数据库的时候,偶尔会出现死锁,针对我们的业务系统,出现死锁的直接结果就是系统卡顿.客户找事儿,所以我们也在想尽全力的消除掉数据库的死锁.出现死锁的时候,如果只是想解锁,用show full proc ...

  3. MySQL两种存储引擎: MyISAM和InnoDB

    MySQL两种存储引擎: MyISAM和InnoDB 简单总结   MyISAM是MySQL的默认数据库引擎(5.5版之前),由早期的ISAM(Indexed Sequential Access Me ...

  4. MySQL到Greenplum迁移分析

    MySQL到Greenplum迁移分析 1 数据类型对比   MySQL PostgreSQL comments 数值类型 TINYINT SMALLINT gp中无zerofill属性及unsign ...

  5. MySQL监控、性能分析——工具篇

    https://blog.csdn.net/leamonjxl/article/details/6431444 MySQL越来越被更多企业接受,随着企业发展,MySQL存储数据日益膨胀,MySQL的性 ...

  6. MySQL监控、性能分析——工具篇(转载)

    MySQL越来越被更多企业接受,随着企业发展,MySQL存储数据日益膨胀,MySQL的性能分析.监控预警.容量扩展议题越来越多.“工欲善其事,必先利其器”,那么我们如何在进行MySQL性能分析.监控预 ...

  7. 重新学习MySQL数据库5:根据MySQL索引原理进行分析与优化

    重新学习MySQL数据库5:根据MySQL索引原理进行分析与优化 一:Mysql原理与慢查询 MySQL凭借着出色的性能.低廉的成本.丰富的资源,已经成为绝大多数互联网公司的首选关系型数据库.虽然性能 ...

  8. MySQL InnoDB MVCC深度分析

    关于MySQL的InnoDB的MVCC原理,很多朋友都能说个大概: 每行记录都含有两个隐藏列,分别是记录的创建时间与删除时间 每次开启事务都会产生一个全局自增ID 在RR隔离级别下 INSERT -& ...

  9. MySQL 之 Explain 输出分析

    ​MySQL 之 Explain 输出分析 背景 前面的文章写过 MySQL 的事务和锁,这篇文章我们来聊聊 MySQL 的 Explain,估计大家在工作或者面试中多多少少都会接触过这个.可能工作中 ...

随机推荐

  1. 能力不足之 根据时序图转化为Verilog代码

    不能够把时序图看的非常透彻,然后把时序图写成Verilog代码,有时候甚至搞不清楚信号之间的时序关系.

  2. java/jsp执行sql语句的方式

    首先给出sql驱动包 引入sql包 import java.sql.*;//java <%@ page import="java.sql.*"%>//jsp 连接mys ...

  3. Python学习笔记:os模块和sys模块

    os模块 os.path.driname(path):返回当前路径的上一级路径字符串. os.path.basename(path):返回当前路径的目录名(文件夹名)或文件名(全称). os.path ...

  4. Python学习笔记: 闭包

    闭包的基本定义 在计算机科学中,闭包(英语:Closure),又称词法闭包(Lexical Closure)或函数闭包(function closures),是引用了自由变量的函数.这个被引用的自由变 ...

  5. ProC第一弹

    编译pro*c 的makefile例子 原来只需在makefile中追加include $(ORACLE_HOME)/precomp/lib/env_precomp.mk,其他一切按照makefile ...

  6. while True 死循环

    while True 死循环示例: count = 0 #给count设置变量为0 while True: count += 1 #每循环一次,count+1 : count += 1 等同于coun ...

  7. LA 6538 Dinner Coming Soon DP

    题意: 给出一个有\(N\)个顶点\(M\)条有向边的图,起点为\(1\),终点为\(N\). 每条边有经过的时间,和经过这条边的花费.一开始你有\(R\)元钱,要在\(T\)时间内赶到终点去约会. ...

  8. RHEL6.X设置163yum源

    目录 RHEL6.X设置163yum源 卸载系统的yum 检查是否已经卸载完成 下载yum以及相关包 安装yum相关rpm包 清除原有缓存,建立yum列表 本地yum源设置 挂载本地光盘 修改配置文件 ...

  9. python - unitest - 实战题目

    '''题目要求 1:自己写一个工具类,完成数学的加减乘除以及平方积操作2:对每个方法写2个用例3:针对测试用例选用不同的方法去执行,然后生成测试报告''' '''实现: 3个文件: work_2018 ...

  10. Python socket套字节

    套接字socket标准:位于:应用层--(socket抽象层)--传输层 之间 #Servre import socket phone=socket.socket(socket.AF_INET,soc ...