MySQL实时性能监控工具doDBA tools

doDBA tools是什么？

doDBA tools是一个基于控制台的远程监控工具，它不需要在本地/远程系统上安装任何软件，它可以实时收集操作系统、MySQL、InnoDB的实时性能状态数据，并可以生成Doing日志文件，来帮助你快速了解/优化系统及MySQL数据库。

特点：

• golang语言开发。
• 可收集Linux、MySQL相关性能数据。
• 可本地或远程收集，可多台。
• 提供类似Linux top的mytop的功能。
• 基于并发生成Doing日志，还原现场。
• 可记录到日志文件。

doDBA tools工作原理

远程收集系统信息是通过ssh（需提供用户名和密码）的方式连接到远程服务器上收集，收集的方法都是通过读取Linux的proc下的等meminfo，diskstats，uptime，net，vmstat ，cpuinfo ，loadavg等文件，这和pmm，zabbix收集方式一致。

远程收集MySQL信息是通过 MySQL tcp连接到MySQL数据库上收集，只需要授予连接用户PROCESS、SELECT权限即可。

系统信息和MySQL信息的收集可以分离，如果只想收集系统信息，只需要提供系统用户名密码即可，如果只收集MySQL可以只提供MySQL连接信息，如果是rds用户，可以使用-rds参数，在使用mytop时会自动忽略系统信息的收集。

如何使用doDBA？

Github主页：https://github.com/dblucyne/dodba_tools

wget https://raw.githubusercontent.com/dblucyne/dodba_tools/master/doDBA --no-check-certificate
wget https://raw.githubusercontent.com/dblucyne/dodba_tools/master/doDBA.conf --no-check-certificate
chmod +x doDBA

下载下来就可以直接使用，不依赖于任何环境。但可以在doDBA.conf配置文件中先把需要设置的信息填写好。

 

{
  "Host":"",
  "Huser": "root",
  "Hport": "22",
  "Hpwd":  "",
  "Muser": "root",
  "Mpwd":  "123456",
  "Mport":"3306"
}

　　

使用帮助：

 

$ ./doDBA --help
Usage of ./doDBA:
 -c string
 configuration file. (default "doDBA.conf")
 -h string
 Connect to host/IP.
 -hP string
 Connect host port. (default "22")
 -help
 Display this help.
 -hp string
 Connect host password.
 -hu string
 Connect host user. (default "root")
 -i duration
 refresh interval in seconds. (default 1ns)
 -innodb
 Print innodb info.
 -log
 Print to file by day.
 -mP string
 Connect mysql port. (default "3306")
 -mp string
 Connect mysql password.
 -mu string
 Connect mysql user.
 -myall
 Print system and mysql info.
 -mysql
 Print mysql info.
 -mytop
 Print mysql prcesslist info , like top.
 -nocolor
 Print nocolor.
 -rds
 Ignore system info.
 -sys
 Print system info.
 -t int
 mysql trace on Threads_running. (default 50)

　　

使用实例

1. 收集Linux性能数据

$ ./doDBA -h=127.0.0.1 -sys

DoDBA tools on host 127.0.0.1
---------+----load--avg----+-----cpu-usage-----+--swap--+----net----+-----------IO-----------
time     |   1m    5m   10m| usr  sys  iow  ide|  si  so| recv  send|   r/s   w/s  rb/s  wb/s
---------+-----------------+-------------------+--------+-----------+------------------------
19:23:51 | 1.35  0.72  0.41| 4.2  3.0  3.2 89.6|   0   0|16384.0P16384.0P|    48  2396  768K 69.2M
19:23:52 | 1.35  0.72  0.41| 4.8  2.9  3.1 89.2|   0   0|16384.0P16384.0P|    68  2502  1.1M 71.1M

　　

2. 收集MySQL性能数据

$ ./doDBA -h=127.0.0.1 -mysql

DoDBA tools on host 127.0.0.1
---------+-------mysql-status-------+-----threads-----+-----slow-----+---bytes---+---------locks----------
time     |   QPS  TPS  ins  upd  del| run  con cre cac| sql  tmp Dtmp| recv  send| lockI lockW openT openF
---------+--------------------------+-----------------+--------------+-----------+------------------------
19:27:32 |    25   11    0   11    0|   3   99   0   6|   0    1    0|   5K   37K|    36     0   538    93
19:27:33 |    37  152   13    5  134|   3   99   0   6|   0    5    1|  35K  396K|   216     0   538    93
19:27:34 |    39   60    8    8   44|   4   99   0   6|   0    5    0|  26K  220K|   115     0   538    93

3. 收集InnoDB性能数据

$ ./doDBA -h=127.0.0.1 -innodb

DoDBA tools on host 127.0.0.1
---------+------innodb--rows-----+---------innodb--pages--------+-------innodb--data-------+--innodb-log--
time     |    read  ins  upd  del|    data    free   dirty flush|reads writes  read written|fsyncs written
---------+-----------------------+------------------------------+--------------------------+--------------
19:30:00 |    4741  458   32    0|  350602    8195   18869   125|    0    141    0K    4.0M|     1     66K
19:30:01 |     106  521    3    0|  350602    8195   18858   137|    0    151    0K    4.4M|     1     72K
19:30:02 |    7982  406   40    2|  350603    8194   18860   160|    0    202    0K    5.1M|     3     84K

　　

4. 收集MySQL及Linux性能数据

$ ./doDBA -h 127.0.0.1 -myall

5. mytop –like linux top

$ ./doDBA -h 127.0.0.1 -mytop

DoDBA tools -19:32:36 on host 127.0.0.1 UP 61 days  Load: 0.64 0.75 0.63
CPU: 1.99% user, 2.84% sys, 0.00% nice, 0.28% iowait, 94.89% idle
Mem:  23.3G total, 23.0G used, 317.6M free, 0K buffers
Swap:  24.0G total, 0K used, 24.0G free, 13.2G Cached
MySQL: 16 QPS, 20 TPS, 0 slowSQL, 2 run

         ID          USER      IP/HOST          DB     Time           State                            SQL
         --          ----      -------          --     ----           -----                            ---
    2495440        zabbix    127.0.0.1                    0            init          show full processlist

　　

6. 借助Shell收集多台

$ cat ip.txt
10.1.x.x1
10.1.x.x2

　　

Shell

$ cat ip.txt |
while read ip; do
 echo $ip;
 ./doDBA -h=$ip -mysql -log </dev/null &
done

7. 收集到日志文件

$ ./doDBA -h=127.0.0.1 -mysql -log

$ cat 127001_dodba_mysql_20161219.log
DoDBA tools on host 127.0.0.1
---------+-------mysql-status-------+-----threads-----+-----slow-----+---bytes---+---------locks----------
time     |   QPS  TPS  ins  upd  del| run  con cre cac| sql  tmp Dtmp| recv  send| lockI lockW openT openF
---------+--------------------------+-----------------+--------------+-----------+------------------------
19:35:30 |    23   15   10    5    0|   3   98   0   7|   0    2    1|   9K  8.0M|    43     0   538    95
19:35:31 |    53   19    5   14    0|   2   98   0   7|   0    3    0|  38K  1.7M|    86     0   538    93

　　

8. 开启Doing功能

使用【-t】参数可以基于Threads_running的数量设置阈值，设置后可记录「processlist，engine innodb status」信息到dodba.log日志中，–重现现场。

 

$ ./doDBA -h=127.0.0.1 -mysql -t=3

　　

9. 查看Doing日志

$ tail -f dodba.log
2016/12/19 19:51:52 ----------------processlist---------------
ID:2314306
User:zabbix
Host:localhost
DB:zabbix
Command:Query
Time:0
State:update
Info:insert into history_uint (itemid,clock,ns,value) values (35632,1482148312,240404292,274)