mysql基准测试与sysbench工具

一、基准测试简介 

1、什么是基准测试

数据库的基准测试是对数据库的性能指标进行定量的、可复现的、可对比的测试。

基准测试与压力测试

基准测试可以理解为针对系统的一种压力测试。但基准测试不关心业务逻辑,更加简单、直接、易于测试,数据可以由工具生成,不要求真实;而压力测试一般考虑业务逻辑(如购物车业务),要求真实的数据。

2、基准测试的作用

对于多数Web应用,整个系统的瓶颈在于数据库;原因很简单:Web应用中的其他因素,例如网络带宽、负载均衡节点、应用服务器(包括CPU、内存、硬盘灯、连接数等)、缓存,都很容易通过水平的扩展(俗称加机器)来实现性能的提高。而对于MySQL,由于数据一致性的要求,无法通过增加机器来分散向数据库写数据带来的压力;虽然可以通过前置缓存(Redis等)、读写分离、分库分表来减轻压力,但是与系统其它组件的水平扩展相比,受到了太多的限制。

而对数据库的基准测试的作用,就是分析在当前的配置下(包括硬件配置、OS、数据库设置等),数据库的性能表现,从而找出MySQL的性能阈值,并根据实际系统的要求调整配置。

3、基准测试的指标

常见的数据库指标包括:

• TPS/QPS:衡量吞吐量。
• 响应时间:包括平均响应时间、最小响应时间、最大响应时间、时间百分比等,其中时间百分比参考意义较大,如前95%的请求的最大响应时间。。
• 并发量:同时处理的查询请求的数量。

二、sysbench

1、sysbench安装（ubuntu系统）

curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.deb.sh |sudo bash
sudo apt -y install sysbench

2、oltp测试

find / -name oltp.lua
sysbench --test=tests/db/oltp.lua(根据具体位置填写) --mysql-host=$hostip --mysql-port= --mysql-user=$user --mysql-password=$password --mysql-db=$databasename --oltp-test-mode=complex --oltp-tables-count= --oltp-table-size= --rand-init=on  prepare
sysbench tests/db/oltp.lua(根据具体位置填写) --mysql-host=$hostip --mysql-port=3306 --mysql-user=$user --mysql-password=$password --mysql-db=$databasename --oltp_tables_count=10 --oltp-table-size=10000000 --num-threads=10 --oltp-read-only=off --report-interval=10 --rand-type=uniform --max-time=1800  --max-requests=0 --percentile=99 run >> /root/sysbench.log

参数详解：

--test=tests/db/oltp.lua 指定测试的脚本

--oltp-test-mode=complex 执行模式,包括simple、nontrx和complex,默认是complex，complex模式下测试最全面,会测试增删改查,而且会使用事务。可以根据自己的需要选择测试模式。

--oltp-tables-count=10 测试的表数量,根据实际情况选择

--oltp-table-size 测试的表的大小

--rand-init=on 表示每个测试表都是用随机数据来填充的

--max-time run多少时间

--max-requests=0 表示总请求数为 0，因为上面已经定义了总执行时长，所以总请求数可以设定为 0；也可以只设定总请求数，不设定最大执行时长

--percentile 表示设定采样比例，默认是 95%，即丢弃1%的长请求，在剩余的99%里取最大值，即：模拟 对10个表并发OLTP测试，每个表1000万行记录，持续压测时间为 1小时。

--oltp-read-only=off 表示不要进行只读测试，也就是会采用读写混合模式测试

--report-interval=10 表示每10秒输出一次测试进度报告

prepare、run和cleanup,顾名思义,prepare是为测试提前准备数据,run是执行正式的测试,cleanup是在测试完成后对数据库进行清理。

3、测试结果

sysbench 0.5:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads:
Report intermediate results every  second(s)
Random number generator seed is  and will be ignored

-- 线程启动
Threads started!

-- 每10秒钟报告一次测试结果，tps、每秒读、每秒写、%以上的响应时长统计
[  10s] threads: , tps: 524.19, reads/s: 7697.05, writes/s: 2143.56, response time: .46ms (%)
[  20s] threads: , tps: 96.50, reads/s: 1351.01, writes/s: 373.30, response time: .49ms (%)
[  30s] threads: , tps: 235.50, reads/s: 3297.01, writes/s: 946.90, response time: .47ms (%)
[  40s] threads: , tps: 115.50, reads/s: 1617.00, writes/s: 491.40, response time: .75ms (%)
[  50s] threads: , tps: 262.10, reads/s: 3669.41, writes/s: 1016.10, response time: .90ms (%)
[  60s] threads: , tps: 121.50, reads/s: 1701.00, writes/s: 499.10, response time: .03ms (%)
[  70s] threads: , tps: 201.40, reads/s: 2735.10, writes/s: 769.50, response time: .82ms (%)
[  80s] threads: , tps: 204.70, reads/s: 2950.29, writes/s: 838.10, response time: .99ms (%)
[  90s] threads: , tps: 118.40, reads/s: 1657.61, writes/s: 490.00, response time: .53ms (%)

OLTP test statistics:
    queries performed:
        read:                                -- 读总数
        write:                               -- 写总数
        other:                               -- 其他操作总数(SELECT、INSERT、UPDATE、DELETE之外的操作，例如COMMIT等)
        total:                               -- 全部总数 查询总数及qps
    transactions:                         (174.94 per sec.)    -- 总事务数(每秒事务数) 事务总数及tps
    deadlocks:                                 (0.00 per sec.)        -- 发生死锁总数
    read/write requests:                  (3148.86 per sec.)    -- 读写总数(每秒读写次数)
    other operations:                     (349.87 per sec.)    -- 其他操作总数(每秒其他操作次数)

General statistics:        -- 一些统计结果
    total time:                          .6152s    -- 总耗时
    total number of events:                      -- 共发生多少事务数
    total time taken by event execution: .7227s    -- 所有事务耗时相加(不考虑并行因素)
    response time:                    -- 响应时间
         min:                                  .52ms    -- 最小耗时
         avg:                               .78ms    -- 平均耗时
         max:                               .51ms    -- 最长耗时
         approx.   percentile:            .01ms    -- 超过99%平均耗时

Threads fairness:                -- 线程的稳定性
    events (avg/stddev):           2461.8320/34.60      -- 事件(平均值/偏差)
    execution time (avg/stddev):   3601.1239/0.63    -- 执行时间(平均值/偏差)

4、清理测试数据

sysbench --test=tests/db/oltp.lua(根据具体位置填写) --mysql-host=databasehost --mysql-port= --mysql-user=user --mysql-password=password --mysql-db=databasename --oltp-test-mode=complex --oltp-tables-count= --oltp-table-size= --rand-init=on  cleanup