一、前言

1、介绍

 vdbench是一个I/O工作负载生成器，通常用于验证数据完整性和度量直接附加（或网络连接）存储性能。它可以运行在windows、linux环境，可用于测试文件系统或块设备基准性能。

2、版本包获取

二、安装部署

1、Linux客户端

  • 部署jdk环境

 解压缩jdk安装包至/opt目录

  1. tar -zxvf jdk-8u251-linux-x64.tar.gz -C /opt/
  4.  
    • 1

 配置jdk环境变量

  1. echo 'JAVA_HOME=/opt/jdk1.8.0_251' >> /root/.bashrc
  2. echo 'PATH=$JAVA_HOME/bin:$PATH' >> /root/.bashrc
  3. echo 'CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' >> /root/.bashrc
  4. source /root/.bashrc
  7.  
    • 1
    • 2
    • 3
    • 4
  • 配置免秘钥

非必选项，如需要联机测试，则需要配置此项

 示例使用三个客户端联机测试，使用客户端node241作为主节点

客户端主机名 客户端IP
node241 66.66.66.241
node242 66.66.66.242
node243 66.66.66.243

 将每个节点IP和主机名的映射关系写入到/etc/hosts配置文件内

  1. echo '66.66.66.241 node241' >> /etc/hosts
  2. echo '66.66.66.242 node242' >> /etc/hosts
  3. echo '66.66.66.243 node243' >> /etc/hosts

 主节点生成公钥文件，并拷贝到其他从节点（配置主节点到从节点免秘钥登录）

  1. ssh-keygen
  2. ssh-copy-id node242
  3. ssh-copy-id node243
  • vdbench使用

 解压缩vdbench安装包至/root/vdbench50406目录内，切换到vdbench解压缩目录执行对应参数文件即可

  1. unzip vdbench50406.zip -d /root/vdbench50406

2、Windows客户端

  • 部署jdk环境
    直接安装jdk软件即可（环境变量在安装完成后会自动添加）

  • vdbench使用
    解压缩vdbench软件包，切换到vdbench解压缩目录执行对应参数文件即可

3、注意事项

  1. 在联机测试时，客户端的系统时间需保持一致，否则会出现时钟同步告警（this can lead to heartbeat issues）
  2. 客户端的防火墙要关闭(或者设置开放程序指定端口5570、5560访问)
  3. 关闭系统日志服务rsyslog，避免运行时出现其他日志文件打印信息
    参数文件添加messagescan=no可以过滤掉多余的系统日志

三、常用操作

1、常用操作命令

 检查vdbench环境

  1. ./vdbench -t

 运行测试模型

注：-f后接测试参数文件名，-o后接导出测试结果路径

  1. ./vdbench -f {filename} -o {exportpath}

 建立rsh通信

注：此命令是用于windows系统多主机联机跑vdbench时使用，因为windows操作系统不支持ssh，因此，vdbench提供了rsh的通信方式。在目标主机上执行此工具后，vdbench将会启动一个java socket用于vdbench slave与master之间通信

  1. ./vdbench rsh

四、参数说明

vdbench可用于文件系统及块设备基准性能测试，以下主要介绍文件系统及块存储的常用测试参数
vdbench所有测试参数都定义到一个参数文件内，在运行时按照顺序被读取执行相应操作，在参数文件定义时需要执行顺序进行定义

1、文件系统

 文件系统参数文件定义顺序为：HD、FSD、FWD、RD

1.1、HD（Host Define）

非必选项，单机运行时不需要配置HD参数，一般只有在多主机联机测试时才需要配置

  1. hd=default,vdbench=/root/vdbench50406,user=root,shell=ssh
  2. hd=hd1,system=node241
  3. hd=hd2,system=node242
  4. hd=hd3,system=node243
  • hd= 标识主机定义的名称，多主机运行时，可以使用hd1、hd2、hd3…区分
  • system= 主机IP地址或主机名
  • vdbench= vdbench执行文件存放路径，当多主机存放路径不同时，可在hd定义时单独指定
  • user= slave和master通信使用用户
  • shell= 可选值为rsh、ssh或vdbench，默认值为rsh，多主机联机测试时，mater和slave主机间通信方式
    当参数值为rsh时，需要配置master和slave主机rsh互信，考虑到rsh使用明文传输，安全级别不够，通常情况下不建议使用这种通信方式
    当参数值为ssh时，需要配置master和slave主机ssh互信，通常Linux主机联机时使用此通信方式
    当参数值为vdbench，需要在所有slave主机运行vdbench rsh启用vdbench本身的rsh守护进程，通常Window主机联机时使用此通信方式

1.2、FSD（File System Define）

  1. fsd=default,openflags=directio,depth=2,width=3,files=2,size=128k
  2. fsd=fsd1,anchor=/mnt/client1
  3. fsd=fsd2,anchor=/mnt/client2
  4. fsd=fsd3,anchor=/mnt/client3
  7.  
    • 1
    • 2
    • 3
    • 4
  • fsd= 标识文件系统定义的名称，多文件系统时（fsd1、fsd2、fsd3…），可以指定default（将相同的参数作为所有fsd的默认值）
  • openflags= 通过设置为o_direct或directio，以无缓冲缓存的方式进行读写操作
  • anchor= 文件写入目录，linux指定路径为/dir01；windows指定路径为E:\dir01；
  • depth= 创建目录层级数（即目录深度）
  • width= 每层文件夹的子文件夹数
  • files= 测试文件个数（vdbench测试过程中会生成多层级目录结构，实际只有最后一层目录会生成测试文件）
  • size= 每个测试文件大小
  • **distribution= ** 可选值为bottom或all，默认为bottom
    –当参数值为bottom时，程序只在最后一层目录写入测试文件
    –当参数值为all时，程序在每一层目录都写入测试文件
  • shared= 可选值为yes或no，默认值为no，一般只有在多主机联机测试时指定
    vdbench不允许不同的slave之间共享同一个目录结构下的所有文件，因为这样会带来很大的开销，但是它们允许共享同一个目录结构。加入设置了shared=yes，那么不同的slave可以平分一个目录下所有的文件来进行访问，相当于每个slave有各自等分的访问区域，因此不能测试多个客户的对同一个文件的读写
    –当多主机联机测试时，写入的根目录anchor为同一个路径时，需要指定参数值为yes
  1. hd=default,vdbench=/root/vdbench50406,user=root,shell=ssh
  2. hd=hd1,system=node1
  3. hd=hd2,system=node2
  4. hd=hd3,system=node3
  5. fsd=fsd1,anchor=/client/,depth=2,width=100,files=100,size=4k,shared=yes
  8.  
    • 1
    • 2
    • 3
    • 4
    • 5

 计算公式如下：
 最后一层生成文件夹个数=width^depth
 测试文件个数=（width^depth）*files

  1. fsd=fsd1,anchor=/dir1,depth=2,width=3,files=2,size=128k
  2. 以上述参数为例，生成目录结构及测试文件如下：
  3. 最后一层文件夹数=3^2=9 最后一层文件数=9*2=18
  4. /dir1/
  5. ├── no_dismount.txt
  6. ├── vdb.1_1.dir
  7. │   ├── vdb.2_1.dir
  8. │   │   ├── vdb_f0001.file
  9. │   │   └── vdb_f0002.file
  10. │   ├── vdb.2_2.dir
  11. │   │   ├── vdb_f0001.file
  12. │   │   └── vdb_f0002.file
  13. │   └── vdb.2_3.dir
  14. │       ├── vdb_f0001.file
  15. │       └── vdb_f0002.file
  16. ├── vdb.1_2.dir
  17. │   ├── vdb.2_1.dir
  18. │   │   ├── vdb_f0001.file
  19. │   │   └── vdb_f0002.file
  20. │   ├── vdb.2_2.dir
  21. │   │   ├── vdb_f0001.file
  22. │   │   └── vdb_f0002.file
  23. │   └── vdb.2_3.dir
  24. │       ├── vdb_f0001.file
  25. │       └── vdb_f0002.file
  26. ├── vdb.1_3.dir
  27. │   ├── vdb.2_1.dir
  28. │   │   ├── vdb_f0001.file
  29. │   │   └── vdb_f0002.file
  30. │   ├── vdb.2_2.dir
  31. │   │   ├── vdb_f0001.file
  32. │   │   └── vdb_f0002.file
  33. │   └── vdb.2_3.dir
  34. │       ├── vdb_f0001.file
  35. │       └── vdb_f0002.file
  36. └── vdb_control.file
  38. 12 directories, 20 files
1.3、FWD（FileSystem Workload Defile）
  1. fwd=default,operation=read,xfersize=4k,fileio=sequential,fileselect=random,threads=2
  2. fwd=fwd1,fsd=fsd1,host=hd1
  3. fwd=fwd2,fsd=fsd2,host=hd2
  4. fwd=fwd3,fsd=fsd3,host=hd3
  7.  
    • 1
    • 2
    • 3
    • 4
  • fwd= 标识文件系统工作负载定义的名称，多文件系统工作负载定义时，可以使用fwd1、fwd2、fwd3…区分
  • fsd= 标识此工作负载使用文件存储定义的名称
  • host= 标识此工作负载使用主机
  • operation= 可选值为read或write,文件操作方式
  • rdpct= 可选值为0~100，读操作占比百分比，一般混合读写时需要指定，当值为60时，则混合读写比为6：4
  • fileio= 可选值为random或sequential，标识文件 I/O 将执行的方式
  • fileselect= random或sequential，标识选择文件或目录的方式
  • xfersizes= 数据传输（读取和写入操作）处理的数据大小(即单次IO大小)
  • threads= 此工作负载的并发线程数量

注：
1、默认情况下，预填数据工作负载定义为threads=8,xfersize=128k，即预填数据使用8线程，IO大小为128K
如需更改默认预填数据工作负载定义，则需要增加参数指定线程数和IO大小（fwd=format,threads=nn,xfersize=nn）

1.4、RD（Run Define）
  1. rd=rd1,fwd=(fwd1-fwd3),fwdrate=max,format=restart,elapsed=604800,interval=10
  4.  
    • 1
  • rd= 标识文件系统运行定义的名称。
  • fwd= 标识文件系统工作负载定义的名称。
  • fwdrate= 每秒执行的文件系统操作数量。设置为max，表示不做任何限制，按照最大强度自适应
  • format= 可选值为no、yes、或restart，标识预处理目录和文件结构的方式
  • no：默认参数值，不执行format预处理操作，如测试目录不存在文件时，vdbench会由于无可用文件读写而异常退出
  • yes：表示删除测试目录已有文件结构，并且重新创建新的文件结构
  • restart：表示只创建未生成的目录或文件，并且增大未达到实际大小的文件
  • elapsed= 默认值为30，测试运行持续时间（单位为秒）
  • interval= 结果输出打印时间间隔（单位为秒）

2、块设备

 块设备参数文件定义顺序为：HD、SD、WD、RD

1.1、HD（Host Define）

非必选项，单机运行时不需要配置HD参数，一般只有在多主机联机测试时才需要配置

  1. hd=default,vdbench=/root/vdbench50406,user=root,shell=ssh
  2. hd=hd1,system=node241
  3. hd=hd2,system=node242
  4. hd=hd3,system=node243
  • hd= 标识主机定义的名称，多主机运行时，可以使用hd1、hd2、hd3…区分
  • system= 主机IP地址或主机名
  • vdbench= vdbench执行文件存放路径，当多主机存放路径不同时，可在hd定义时单独指定
  • user= slave和master通信使用用户
  • shell= 可选值为rsh、ssh或vdbench，默认值为rsh，多主机联机测试时，mater和slave主机间通信方式
    当参数值为rsh时，需要配置master和slave主机rsh互信，考虑到rsh使用明文传输，安全级别不够，通常情况下不建议使用这种通信方式
    当参数值为ssh时，需要配置master和slave主机ssh互信，通常Linux主机联机时使用此通信方式
    当参数值为vdbench，需要在所有slave主机运行vdbench rsh启用vdbench本身的rsh守护进程，通常Window主机联机时使用此通信方式
1.2、SD（Storage Define）
  1. sd=sd1,hd=hd1,lun=/dev/sdb,openflags=o_direct,threads=6
  2. sd=sd3,hd=hd2,lun=/dev/sdb,openflags=o_direct,threads=6
  3. sd=sd6,hd=hd3,lun=/dev/sdb,openflags=o_direct,threads=6
  • sd= 标识存储定义的名称
  • hd= 标识主机定义的名称
  • lun= 写入块设备，linux使用sdb盘，则指定路径为/dev/sdb；windows使用G盘，则指定路径为\\.\G:；
  • openflags= 通过设置为o_direct或directio，以无缓冲缓存的方式进行读写操作
  • threads= 对SD的最大并发I/O请求数量
1.3、WD（Workload Define）
  1. wd=wd1,sd=sd*,seekpct=100,rdpct=100,xfersize=8k,skew=40
  2. wd=wd2,sd=sd*,seekpct=100,rdpct=0,xfersize=8k,skew=10
  3. wd=wd3,sd=sd*,seekpct=100,rdpct=100,xfersize=1024k,skew=40
  4. wd=wd4,sd=sd*,seekpct=100,rdpct=0,xfersize=1024k,skew=10
  7.  
    • 1
    • 2
    • 3
    • 4
  • wd= 标识工作负载定义的名称
  • sd= 标识存储定义的名称
  • seekpct= 可选值为0或100(也可使用sequential或random表示)，默认值为100，随机寻道的百分比，设置为0时表示顺序，设置为100时表示随机。
  • rdpct= 读取请求占请求总数的百分比，设置为0时表示写，设置为100时表示读
  • xfersize= 要传输的数据大小。默认设置为4k
  • skew= 非必选项，一般在多个工作负载时需要指定，表示该工作负载占总工作量百分比（skew总和为100）
1.4、RD（Run Define）
  1. rd=rd1,wd=wd*,iorate=max,maxdata=400GB,warmup=30,elapse=604800,interval=5
  4.  
    • 1
  • rd= 标识运行定义的名称
  • wd= 标识工作负载定义的名称
  • iorate= 常用可选值为100、max，此工作负载的固定I/O速率
    –当参数值为100时，以每秒100个I/Os的速度运行工作负载，当参数值设置为一个低于最大速率的值时，可以达到限制读写速度的效果
    –当参数值为max时，以最大的I/O速率运行工作负载，一般测试读写最大性能时，该参数值均为max
  • warmup= 预热时间（单位为秒），默认情况下vdbench会将第一个时间间隔输出数据排除在外,程序在预热时间内的测试不纳入最终测试结果中（即预热结束后，才开始正式测试）
    –当interval为5、elapsed为600时，测试性能为2~elapsed/interval（avg_2-120）时间间隔内的平均性能
    –当interval为5、warmup为60、elapsed为600时，测试性能为1+（warmup/interval）~（warmup+elapsed）/interval(avg_13-132)时间间隔内的平均性能
  • maxdata= 读写数据大小，通常情况下，当运行elapsed时间后测试结束；当同时指定elapsed和maxdata参数值时，以最快运行完的参数为准（即maxdata测试时间小于elapsed时，程序写完elapsed数据量后结束）
    –当参数值为100以下时，表示读写数据量为总存储定义大小的倍数（如maxdata=2，2个存储定义（每个存储定义数据量为100G），则实际读写数据大小为400G）
    –当参数值为100以上时，表示数据量为实际读写数据量（可以使用单位M、G、T等）
  • elapsed= 默认值为30，测试运行持续时间（单位为秒）
  • interval= 报告时间间隔（单位为秒）

五、运行使用

1、单机运行

  • Linux
     示例如下，单节点针对裸盘测试，1M顺序写，测试时间600s，预热时间60s，报告时间间隔2s
  1. [root@node241 vdbench50406]# cat Single-RawDisk.html
  2. sd=sd1,lun=/dev/sdb,openflag=o_direct
  3. wd=wd1,sd=sd1,seekpct=0,rdpct=0,xfersize=1M
  4. rd=rd1,wd=wd1,iorate=max,warmup=60,elapsed=600,interval=2
  5. [root@node241 vdbench50406]#
  6. [root@node241 vdbench50406]# ./vdbench -f Single-RawDisk.html
  • Window
     示例如下，单节点针对文件系统测试，1M顺序写，目录深度为2，每层目录数为3，每个目录文件数为10，每个文件大小为200M，测试时间为600s，报告时间时间2s
  1. E:\vdbench50406>more "Single FileSystem.txt"
  2. fsd=fsd1,anchor=E:\Sigle-FileSystem,depth=2,width=3,files=10,size=200M
  3. fwd=fwd1,fsd=fsd1,operation=write,xfersize=1M,fileio=sequential,fileselect=rando
  4. m,threads=2
  5. rd=rd1,fwd=fwd1,fwdrate=max,format=yes,elapsed=600,interval=5
  6. E:\vdbench50406>
  7. E:\vdbench50406>vdbench -f "Single FileSystem.txt"

2、联机运行

  • Linux
    1、按照二、安装部署，配置多主机ssh互信
    2、master主机运行测试参数文件即可
    示例如下，三节点针对裸盘联机测试，1M顺序写，测试数据量为400G，预热时间30s，报告间隔5s
  1. [root@node241 vdbench50406]# cat Multi-RawDisk
  2. hd=default,vdbench=/root/vdbench50406,user=root,shell=ssh
  3. hd=hd1,system=node241
  4. hd=hd2,system=node242
  5. hd=hd3,system=node243
  6. sd=sd1,hd=hd1,lun=/dev/sdb,openflag=o_direct
  7. sd=sd2,hd=hd2,lun=/dev/sdb,openflag=o_direct
  8. sd=sd3,hd=hd3,lun=/dev/sdb,openflag=o_direct
  9. wd=wd1,sd=sd*,seekpct=0,rdpct=0,xfersize=1M
  10. rd=rd1,wd=wd1,iorate=max,maxdata=100M,elapsed=64800,warmup=30,interval=5
  11. [root@node241 vdbench50406]#
  12. [root@node241 vdbench50406]# ./vdbench -f Multi-RawDisk
  15.  
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
  • Window
    1、所有slave主机运行vdbench本身rsh守护进程
  1. E:\vdbench50406>vdbench rsh
  4.  
    • 1

2、master主机运行测试参数文件即可
示例如下，三节点针对文件系统联机测试，1M顺序写，目录深度为2，每层目录数为3，每个目录文件数为10000，每个文件大小为200M，测试时间为600s，报告间隔1s

  1. E:\vdbench50406>more "Multi FileSystem.txt"
  2. hd=default,vdbench=E:\vdbench50406,user=Micah,shell=vdbench
  3. hd=hd1,system=66.66.66.250
  4. hd=hd2,system=66.66.66.252
  5. fsd=fsd1,anchor=Z:\Sigle-FileSystem-01,depth=2,width=3,files=10000,size=200M
  6. fsd=fsd2,anchor=Z:\Sigle-FileSystem-02,depth=2,width=3,files=10000,size=200M
  7. fwd=default,operation=write,xfersize=1M,fileio=sequential,fileselect=random,threads=16
  8. fwd=fwd1,fsd=fsd1,host=hd1
  9. fwd=fwd2,fsd=fsd2,host=hd2
  10. rd=rd1,fwd=fwd*,fwdrate=max,format=yes,elapsed=600,interval=1
  11. E:\vdbench50406>
  12. E:\vdbench50406>vdbench -f "Multi FileSystem.txt"

六、结果分析

当vdbench运行完负载测试后，会在安装目录下生成output文件夹，里边包含测试结果文件

1、输出文件

  • errorlog.html
    当运行测试启用数据校验时，它可能会包含一些错误信息，如：

    • 无效的密钥读取
    • 无效的 lba 读取（一个扇区的逻辑字节地址）
    • 无效的 SD 或 FSD 名称读取
    • 数据损坏
    • 坏扇区
  • flatfile.html
    vdbench 生成的一种逐列的 ASCII 格式的信息，可以使用parseflat参数解析结果
  1.   ./vdbench parseflat -i <flatfile.html> -o output.csv [-c col1 col2 ..] [-a] [-f col1 value1 col2 value2..]
  2.     -i input flatfile, e.g. output/flatfile.html
  3.     -o output CSV file name (default stdout)
  4.     -c which column to write to CSV. Columns are written in the order specified
  5.     -f filters: 'if (colX == valueX) ... ...' (Alphabetic compare)
  6.     -a include only the 'avg' data. Default: include only non-avg data.
  7.     -i是表示待分析的文件，这里写vdbench输出目录里的flatfile.html这个文件，写其它文件不能正常解析；
  8.     -o是解析后的输出文件，可以手动指定存放目录。文件格式为CSV，此文件的列由-c参数指定，列的顺序为-c参数的顺序
  9.     -a是表示csv文件中只记录测试过程中的avg值
  11. 示例如下：

  12. .\vdbench.bat parseflat -i D:\vdbench50406\output\flatfile.html -c run rate MB/sec seekpct rdpct bytes/io threads resp -o d:\output.csv -a

  13. vdbench parseflat arguments:

  14. Argument 0: -i

  15. Argument 1: D:\vdbench50406\output\flatfile.html

  16. Argument 2: -c

  17. Argument 3: run

  18. Argument 4: rate

  19. Argument 5: MB/sec

  20. Argument 6: seekpct

  21. Argument 7: rdpct

  22. Argument 8: bytes/io

  23. Argument 9: threads

  24. Argument 10: resp

  25. Argument 11: -o

  26. Argument 12: D:\output.csv

  27. Argument 13: -a

  28. 14:12:49.265 ParseFlat completed successfully.
  • histogram.html
    一种包含报告柱状图的响应时间、文本格式的文件
  • logfile.html
    包含 Java 代码写入控制台窗口的每行信息的副本。logfile.html 主要用于调试用途
  • parmfile.html
    包含测试运行配置参数信息
  • summary.html
    记录全部数据信息，显示每个报告间隔内总体性能情况及工作负载情况，以及除第一个间隔外的所有间隔的加权平均值
  • totals.html
    记录全部数据计算之后的平均值，一般测试结果从该文件取值，除第一个间隔外所有间隔的加权平均值

2、结果分析

2.1、文件系统

  1. 测试参数如下：
  2. hd=default,vdbench=E:\vdbench50406,user=Micah,shell=vdbench
  3. hd=hd1,system=66.66.66.250
  4. hd=hd2,system=66.66.66.252
  5. fsd=fsd1,anchor=Z:\Sigle-FileSystem-01,depth=2,width=3,files=10,size=4M
  6. fsd=fsd2,anchor=Z:\Sigle-FileSystem-02,depth=2,width=3,files=10,size=4M
  7. fwd=default,operation=write,xfersize=1M,fileio=sequential,fileselect=random,threads=2
  8. fwd=fwd1,fsd=fsd1,host=hd1
  9. fwd=fwd2,fsd=fsd2,host=hd2
  10. rd=rd1,fwd=fwd*,fwdrate=max,format=yes,elapsed=600,interval=5
  12. 测试结果如下：

  13. 18:47:03.001 Starting RD=format_for_rd1
  15. 六月 04, 2020 .Interval. .ReqstdOps... ...cpu%...  read ....read..... ....write.... ..mb/sec... mb/sec .xfer.. ...mkdir.... ...rmdir.... ...create... ....open.... ...close.... ...delete...

  16. rate   resp total  sys   pct   rate   resp   rate   resp  read write  total    size  rate   resp  rate   resp  rate   resp  rate   resp  rate   resp  rate   resp

  17. 18:48:40.218   avg_2-20   57.6  6.244  13.4 2.99   0.0    0.0  0.000   57.6  6.244  0.00  7.20   7.20  131072   0.2 104.49   0.2 41.526   1.8 7527.0   1.8 192.01   1.8 7134.3   1.8 21.984
  19. 18:48:42.000 Starting RD=rd1; elapsed=600; fwdrate=max. For loops: None
  21. 18:58:42.205  avg_2-120    6.2  1.063  13.0 2.80   0.0    0.0  0.000    6.2  1.063  0.00  6.24   6.24 1048576   0.0  0.000   0.0  0.000   0.0  0.000   1.6 47.864   1.6 2401.1   0.0  0.000

 totals.html一般包括两个部分，第一部分为文件存储目录结构及数据填充的平均性能值，第二部分为执行测试过程中除第一个时间间隔外所有时间间隔平均性能值，主要看第二部分的内容

  • Interval
    报告间隔序号，测试结果一般为除第一个时间间隔外所有时间间隔加权平均值
    如elapsed=600,interval=5，则性能结果为第2个间隔到第120个间隔的平均值（avg_2-120）

  • ReqstdOps

    • rate
      每秒读写I/O个数（读写IOPS），可以通过rd运行定义参数fwdrate控制
      当fwdrate为max时，以最大I/O速率运行工作负载
      当fwdrate为低于最大I/0速率的一个数值时，可以限制读写速度，以固定I/O速率运行工作负载
    • resp
      读写请求响应时间（读写时延），单位为ms

  • cpu%

    • tatol
      总的cpu占用率
    • sys
      系统cpu占用率

  • read pct
    读取请求占总请求数百分比占比，当为0时表示写，当为100时表示读

  • read

    • rate
      每秒读I/O个数（读IOPS）
    • resp
      读请求响应时间（读时延），单位为ms

  • write

    • rate
      每秒写I/O个数（写IOPS）
    • resp
      写请求响应时间（写时延），单位为ms

  • mb/sec

    • read
      每秒读取速度
    • write
      每秒写入速度
    • total
      每秒读写速度总和

  • xfersize
    每个读写I/O传输数据量（即单个读写I/O大小），单位为字节B

2.2、块设备

  1. 测试参数如下：
  2. messagescan=no
  3. hd=default,vdbench=/root/vdbench50406,user=root,shell=ssh
  4. hd=hd1,system=node241
  5. hd=hd2,system=node242
  6. hd=hd3,system=node243
  7. sd=sd1,hd=hd1,lun=/dev/sdb,openflag=o_direct
  8. sd=sd2,hd=hd2,lun=/dev/sdb,openflag=o_direct
  9. sd=sd3,hd=hd3,lun=/dev/sdb,openflag=o_direct
  10. wd=wd1,sd=sd*,seekpct=0,rdpct=0,xfersize=1M
  11. rd=rd1,wd=wd1,iorate=max,elapsed=600,warmup=30,interval=5
  13. 测试结果如下：

  14. <a name="_1143839598"></a><i><b>19:02:15.001 Starting RD=rd1; I/O rate: Uncontrolled MAX; elapsed=600 warmup=30; For loops: None</b></i>
  16. Jun 04, 2020  interval        i/o   MB/sec   bytes   read     resp     read    write     resp     resp queue  cpu%  cpu%

  17. rate  1024**2     i/o    pct     time     resp     resp      max   stddev depth sys+u   sys

  18. 19:12:46.068 avg_7-126      82.74    82.74 1048576   0.00  289.158    0.000  289.158 2092.803  155.103  23.9  16.3  14.2
  21.  
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18

  • interval
    报告间隔序号，测试结果一般为除第一个时间时间外所有时间间隔加权平均值，如有设置预热时间，则这部分测试数据也需要排除在外
    如elapsed=600,warmup=30，interval=5，则性能测试结果为第7个间隔到第126个间隔的平均值（avg_7-126）

  • i/o rate
    每秒读写I/O个数（读写IOPS），可以通过rd运行定义参数iorate控制
    当iorate为max时，以最大I/O速率运行工作负载
    当iorate为低于最大I/0速率的一个数值时，可以限制读写速度，以固定I/O速率运行工作负载

  • MB/sec
    每秒读写速度（读写带宽）
    注：按官方手册说明，

  • bytes i/0
    每个读写I/O传输数据量（即单个读写I/O大小），单位为字节B，可以通过wd工作负载定义参数xfersize控制

  • read pct
    读取请求占请求总数的百分比，可以通过wd工作负载定义参数rdpct控制
    当rdpct为0时，表示测试模型为写
    当rdpct为100时，表示测试模型为读

  • resp time
    请求响应时间（读写时延），单位为毫秒ms

  • read resp
    读取请求响应时间，单位为毫秒ms

  • write resp
    写入请求响应时间，单位为毫秒ms

  • resp max
    最大请求响应时间，单位为毫秒ms

  • resp stddev
    请求响应时间标准偏差，单位为毫秒ms

  • queue depth
    读写I/0队列深度

  • cpu% sys+u
    内核态空间及用户态空间CPU占用率

  • cpu% sys
    内核态空间CPU占用率 2020年05月29日 16:00:16 Clear

七、测试说明

1、测试总结

  1. 线程数（thread）一般设置为客户端CPU线程数总大小 grep 'processor' /proc/cpuinfo | sort -u | wc -l
  2. 测试总数据量需要为客户端内存大小两倍
  3. 测试读模型时需要清理客户端缓存信息 sync；echo 3 > /proc/sys/vm/drop

2、常见测试参数

  • 4M顺序写
    目录深度2、单级目录数100、单个目录文件数100、单文件大小4M、IO块大小1M、顺序写
  1. hd=default,vdbench=/root/vdbench50406,user=root,shell=ssh
  2. hd=hd1,system=node21
  3. hd=hd2,system=node22
  4. hd=hd3,system=node23
  5. hd=hd4,system=node24
  6. hd=hd5,system=node25
  7. hd=hd6,system=node26
  8. fsd=fsd1,anchor=/client/test01,depth=2,width=100,files=100,size=4M,shared=yes
  9. fwd=format,threads=24,xfersize=1m
  10. fwd=default,xfersize=1m,fileio=sequential,fileselect=sequential,operation=write,threads=24
  11. fwd=fwd1,fsd=fsd1,host=hd1
  12. fwd=fwd2,fsd=fsd1,host=hd2
  13. fwd=fwd3,fsd=fsd1,host=hd3
  14. fwd=fwd4,fsd=fsd1,host=hd4
  15. fwd=fwd5,fsd=fsd1,host=hd5
  16. fwd=fwd6,fsd=fsd1,host=hd6
  17. rd=rd1,fwd=fwd*,fwdrate=max,format=restart,elapsed=600,interval=1
  • 4M顺序读
    目录深度2、单级目录数100、单个目录文件数100、单文件大小4M、IO块大小1M、顺序读
  1. hd=default,vdbench=/root/vdbench50406,user=root,shell=ssh
  2. hd=hd1,system=node21
  3. hd=hd2,system=node22
  4. hd=hd3,system=node23
  5. hd=hd4,system=node24
  6. hd=hd5,system=node25
  7. hd=hd6,system=node26
  8. fsd=fsd1,anchor=/client/test02,depth=2,width=100,files=100,size=4M,shared=yes
  9. fwd=format,threads=24,xfersize=1m
  10. fwd=default,xfersize=1m,fileio=sequential,fileselect=sequential,operation=read,threads=24
  11. fwd=fwd1,fsd=fsd1,host=hd1
  12. fwd=fwd2,fsd=fsd1,host=hd2
  13. fwd=fwd3,fsd=fsd1,host=hd3
  14. fwd=fwd4,fsd=fsd1,host=hd4
  15. fwd=fwd5,fsd=fsd1,host=hd5
  16. fwd=fwd6,fsd=fsd1,host=hd6
  17. rd=rd1,fwd=fwd*,fwdrate=max,format=restart,elapsed=600,interval=1
  • 8M混合读写
    目录深度2、单级目录数100、单个目录文件数100、单文件大小8M、IO块大小1M、混合读写（读写比为6:4）
  1. hd=default,vdbench=/root/vdbench50406,user=root,shell=ssh
  2. hd=hd1,system=node21
  3. hd=hd2,system=node22
  4. hd=hd3,system=node23
  5. hd=hd4,system=node24
  6. hd=hd5,system=node25
  7. hd=hd6,system=node26
  8. fsd=fsd1,anchor=/client/test03,depth=2,width=100,files=100,size=8M,shared=yes
  9. fwd=format,threads=24,xfersize=1m
  10. fwd=default,xfersize=1m,fileio=random,fileselect=random,rdpct=60,threads=24
  11. fwd=fwd1,fsd=fsd1,host=hd1
  12. fwd=fwd2,fsd=fsd1,host=hd2
  13. fwd=fwd3,fsd=fsd1,host=hd3
  14. fwd=fwd4,fsd=fsd1,host=hd4
  15. fwd=fwd5,fsd=fsd1,host=hd5
  16. fwd=fwd6,fsd=fsd1,host=hd6
  17. rd=rd1,fwd=fwd*,fwdrate=max,format=restart,elapsed=600,interval=1
  20.  

七、Q&A

1、open failed for xxx

- 问题描述：

使用vdbench测试过程中，测试中断，报错信息如下：

  1. 19:37:41.155 19:37:44.813 error: 20
  2. 19:37:41.155 19:37:44.813 file_open(), open /trash/64M/vdb.1_47.dir/vdb.2_24.dir/vdb_f0002.file failed
  3. 19:37:41.155 19:37:44.814 error: 20
  4. 19:37:41.155 19:37:44.814 file_open(), open /trash/64M/vdb.1_47.dir/vdb.2_24.dir/vdb_f0003.file failed
  5. 19:37:41.156 19:37:44.814 Maximum native memory allocation:    1,048,576; Current allocation:    1,048,576
  6. 19:37:41.156 19:37:44.814 Maximum native memory allocation:    1,048,576; Current allocation:    1,048,576
  7. 19:37:41.156 19:37:44.814 error: 20
  8. 19:37:41.156 19:37:44.814
  9. 19:37:41.156 19:37:44.814 open failed for /trash/64M/vdb.1_47.dir/vdb.2_24.dir/vdb_f0002.file
  10. 19:37:41.156 19:37:44.814
  11. 19:37:41.158 java.lang.RuntimeException: open failed for /trash/64M/vdb.1_47.dir/vdb.2_24.dir/vdb_f0002.file

- 原因分析：

默认vdbench限制了java内存使用量，测试期间java运行内存不足才导致测试异常中断。

- 处理措施：

增大vdbench运行脚本的java内存参数

  1. [root@node40 ~]# cat vdbench50406/vdbench
  2. if [ "$1" == "SlaveJvm" ]; then
  3.   $java -client -Xmx10240m -Xms128m -cp $cp Vdb.SlaveJvm $*
  4.   exit $?
  5. else
  6.   $java -client -Xmx10240m  -Xms64m  -cp $cp Vdb.Vdbmain $*
  7.   exit $?
  8. fi

注：Xmx表示jvm最大内存分配池，Xms表示初始内存分配池
进程初始以Xms内存大小启动，当空余堆内存小于40%时，jvm会增大内存至Xmx；当空余堆内存大于70%时，jvm会减少内存至Xms；为避免每次GC后JVM重新分配内存，可以将Xmx和Xms设置为相同的参数值

2、linux/aarch64.so does not exist

- 问题描述：

arm服务器运行vdbench，出现共享库不匹配问题linux/aarch64.so does not exist，提示需要手动编译

  1. [root@node163 vdbench50407]# ./vdbench -t
  3. 14:07:47.486 Created output directory '/root/vdbench50407/output'

  4. 14:07:47.737 input argument scanned: '-f/tmp/parmfile'

  5. 14:07:47.866 Starting slave: /root/vdbench50407/vdbench SlaveJvm -m localhost -n localhost-10-220209-14.07.47.444 -l localhost-0 -p 5570

  6. 14:07:47.890

  7. 14:07:47.890 File /root/vdbench50407/linux/aarch64.so does not exist.

  8. 14:07:47.891 This may be an OS that a shared library currently

  9. 14:07:47.891 is not available for. You may have to do your own compile.

  10. 14:07:47.891 t: java.lang.UnsatisfiedLinkError: Can't load library: /root/vdbench50407/linux/aarch64.so

  11. 14:07:47.892

  12. 14:07:47.892 Loading of shared library /root/vdbench50407/linux/aarch64.so failed.

  13. 14:07:47.892 There may be issues related to a cpu type not being

  14. 14:07:47.892 acceptable to Vdbench, e.g. MAC PPC vs. X86

  15. 14:07:47.893 Contact me at the Oracle Vdbench Forum for support.

  16. 14:07:47.893

  17. 14:07:48.395

  18. 14:07:48.396 Failure loading shared library

  19. 14:07:48.396

  20. java.lang.RuntimeException: Failure loading shared library

  21. at Vdb.common.failure(common.java:350)

  22. at Vdb.common.get_shared_lib(common.java:1103)

  23. at Vdb.Native.<clinit>(Native.java:31)

  24. at Vdb.common.signal_caller(common.java:737)

  25. at Vdb.ConnectSlaves.connectToSlaves(ConnectSlaves.java:98)

  26. at Vdb.Vdbmain.masterRun(Vdbmain.java:814)

  27. at Vdb.Vdbmain.main(Vdbmain.java:628)
  30.  

- 原因分析：

vdbench根目录动态库文件linux/linux64.so为基于x86编译的，需要基于aarch64重新编译linux/linux64.so动态库文件

  1. [root@node163 vdbench50407]# ls linux/
  2. config.sh  linux32.so  linux64.so  sparc64.so
  3. [root@node163 vdbench50407]# file linux/linux64.so
  4. linux/linux64.so: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), statically linked, BuildID[sha1]=34a31f32956f21153c372a95e73c02e84ddd29f8, not stripped

- 处理措施：

  • 下载vdbench50407源码包，下载地址：vdbench50407.src.zip
    解压缩源码包，创建linux目录
  1. mkdir vdbench50407-src
  2. unzip vdbench50407.src.zip -d vdbench50407-src/
  3. cd vdbench50407-src/src/
  4. mkdir linux
  • 进入Jni目录下，修改make.linux文件，主要修改如下：
    – 指定vdbench源码路径（vdb=xx）
    – 指定jdk路径（java=xx），通常在/usr/lib/jvm/路径下
    – 删除全文-m32和-m64字符
  1. cd Jni/
  2. sed -i 's#vdb=$mine/vdbench504#vdb=/root/vdbench50407-src/src#g' make.linux
  3. sed -i 's#java=/net/sbm-240a.us.oracle.com/export/swat/swat_java/linux/jdk1.5.0_22/#java=/usr/lib/jvm/java-1.8.0-openjdk/#g' make.linux
  4. sed -i 's/-m32//g' make.linux
  5. sed -i 's/-m64//g' make.linux
  • 执行源码编译操作./make.linux
    执行成功后会在../linux目录下生成linux32.so和linux64.so文件，将linux64.so文件拷贝到vdbench测试工具根目录linux/aarch64.so下，重新运行vdbench测试
  1. [root@node163 Jni]# ./make.linux
  2. target directory: /root/vdbench50407-src/src
  3. Compiling 32 bit
  4. Linking 32 bit
  6. Compiling 64 bit

  7. Linking 64 bit
  9. [root@node163 Jni]# ll ../linux/

  10. total 160

  11. -rwxrwxrwx 1 root root 78656 Feb  9 14:54 linux32.so

  12. -rwxrwxrwx 1 root root 78656 Feb  9 14:54 linux64.so
  14. [root@node163 Jni]# cp ../linux/linux64.so /root/vdbench50407/linux/aarch64.so

3、Raw device ‘sd=sd1,lun=\.\G:’ does not exist, or no permissions.

- 问题描述：

windows系统下使用vdbench测试裸盘性能，脚本运行失败，提示Raw device 'sd=sd1,lun=\\.\G:' does not exist, or no permissions.

  1. D:\vdbench50406>more raw-test.txt
  2. sd=sd1,lun=\\.\G:
  3. wd=wd1,sd=sd1,seekpct=0,rdpct=0,xfersize=1M
  4. rd=rd1,wd=wd1,iorate=max,maxdata=100M,elapsed=64800,warmup=30,interval=5
  6. D:\vdbench50406>vdbench.bat -f raw-test.txt

  7. Copyright (c) 2000, 2016, Oracle and/or its affiliates. All rights reserved.

  8. Vdbench distribution: vdbench50406 Wed July 20 15:49:52 MDT 2016

  9. For documentation, see 'vdbench.pdf'.
  11. 17:35:24.328 input argument scanned: '-fraw-test.txt'

  12. 17:35:24.375 Starting slave: D:\vdbench50406\vdbench SlaveJvm -m localhost -n localhost-10-220119-17.35.24.293 -l localhost-0 -p 5570

  13. 17:35:24.834 All slaves are now connected

  14. 17:35:25.263 Raw device 'sd=sd1,lun=\.\G:' does not exist, or no permissions.

  15. 17:35:25.764

  16. 17:35:25.764 Please check above failures

  17. 17:35:25.765

  18. java.lang.RuntimeException: Please check above failures

  19. at Vdb.common.failure(common.java:335)

  20. at Vdb.InfoFromHost.matchDataWithSds(InfoFromHost.java:674)

  21. at Vdb.InfoFromHost.receiveInfoFromHost(InfoFromHost.java:485)

  22. at Vdb.SlaveOnMaster.processSlave(SlaveOnMaster.java:151)

  23. at Vdb.SlaveOnMaster.run(SlaveOnMaster.java:42)
  26.  

- 处理措施：

1、检查裸盘路径是否正确，如测试G盘裸盘性能，则测试参数指定为lun=\\.\G:
2、检查是否有执行权限，cmd窗口需要以管理员身份运行

4、Minimum required Java version for Vdbench is 1.7.0

- 问题描述：

Linux下运行vdbench失败，提示Minimum required Java version for Vdbench is 1.7.0; Vdbench terminated.

  1. root@node65:/home/vdbench50406# ./vdbench -t
  3. Copyright (c) 2000, 2016, Oracle and/or its affiliates. All rights reserved.

  4. Vdbench distribution: vdbench50406 Wed July 20 15:49:52 MDT 2016

  5. For documentation, see 'vdbench.pdf'.
    • Minimum required Java version for Vdbench is 1.7.0;
    • You are currently running 11.0.9.1
    • Vdbench terminated.
  10. CTRL-C requested. vdbench terminating
  13.  

- 处理措施：

查看官方相关说明，vdbench50407以前的版本，存在java检测功能（vdbench50407版本已移除），在不变更现有环境java版本的情况下，可升级版本至vdbench50407版本解决

  1.    // Removed as per 50407 because of java 1.10.x
  2.     //checkJavaVersion();
  3. //....
  5.  private static void checkJavaVersion()
  7. {

  8. if (common.get_debug(common.USE_ANY_JAVA))

  9. return;

  10. if (!JVMCheck.isJREValid(System.getProperty("java.version"), 1, 7, 0))

  11. {

  12. System.out.print("\n\n\n");

  13. System.out.println(" Minimum required Java version for Vdbench is 1.7.0; \n" +

  14. "* You are currently running " + System.getProperty("java.version") +

  15. "\n* Vdbench terminated.");

  16. System.out.println("\n\n*\n");
  17.   System.exit(-99);
  18. }
  20. }

版本发布说明：# Vdbench 50407 is now available

  1. 50407rc29
  2. *   The check to make sure you are running java 1.7 or higher has been removed.

  1. </article>

[转帖]【存储测试】vdbench存储性能测试工具的更多相关文章

  1. 【测试设计】性能测试工具选择：wrk？jmeter？locust？还是LR？

    原文链接:http://www.51testing.com/html/49/n-3721249.html 前言 当你想做性能测试的时候,你会选择什么样的测试工具呢?是会选择wrk?jmeter?loc ...

  2. RGW/SWIFT对象存储性能测试工具--COSBench安装

    Cosbench是Intel的开源云存储性能测试软件,COSBench目前已经广泛使用与云存储测试,并作为云存储的基准测试工具使用 https://github.com/intel-cloud/cos ...

  3. 云存储性能测试工具--COSBench安装

    COSBench安装 Cosbench是Intel的开源云存储性能测试软件,COSBench目前已经广泛使用与云存储测试,并作为云存储的基准测试工具使用 1 环境 1.1 操作系统 COSBench可 ...

  4. 云计算&存储测试：FIO工具入门与实战

    一.关于FIO 1.1 简介 FIO是一个开源的I/O压力测试工具,主要是用来测试磁盘的IO性能,也可测试cpu,nic的IO性能.它可以支持13种不同的I/O引擎,包括:sync,mmap, lib ...

  5. 使用FIO工具测试块存储性能

    Linux实例和Windows实例都推荐使用FIO工具测试块存储性能.   说明 您也可以使用其他工具测试块存储性能,但不同工具测试出来的硬盘基准性能会有差异,如dd.sysbench.iometer ...

  6. Mysql多线程性能测试工具sysbench 安装、使用和测试

    From:http://www.cnblogs.com/zhoujinyi/archive/2013/04/19/3029134.html 摘要:      sysbench是一个开源的.模块化的.跨 ...

  7. [转帖]深度: NVMe SSD存储性能有哪些影响因素？

    深度: NVMe SSD存储性能有哪些影响因素? http://www.itpub.net/2019/07/17/2434/ 之前有一个误解 不明白NVME 到底如何在队列深度大的情况下来提高性能, ...

  8. postman之存储测试结果

    前言 在Jmeter的随笔中,我跟大家讲过利用Jmeter工具存储测试结果,那么,postman工具要该如何存储测试结果呢?下面一起来学习吧! 一:添加一个登录请求,填入接口参数点击send 二:点击 ...

  9. 安卓性能测试工具-GT,安测试

    GT: 是腾讯出品的一款APP的随身调测平台,它是直接运行在手机上的“集成调测环境”(IDTE,  Integrated  Debug&Test  Environment).利用GT,仅凭一部 ...

  10. Gatling新一代压力测试工具,新一代服务器性能测试工具Gatling

    Gatling新一代压力测试工具新一代服务器性能测试工具Gatlinghttp://www.infoq.com/cn/articles/new-generation-server-testing-to ...

随机推荐

  1. STM32CubeMX教程11 RTC 实时时钟 - 入侵检测和时间戳

    使用STM32CubeMX软件配置STM32F407开发板RTC实现入侵检测和时间戳功能,具体为周期唤醒回调中使用串口输出当前RTC时间,按键WK_UP存储当前RTC时间到备份寄存器,按键KEY_2从 ...

  2. C++篇：第一章_变量和常量_知识点大全

    C++篇为本人学C++时所做笔记(特别是疑难杂点),全是硬货,虽然看着枯燥但会让你收益颇丰,可用作学习C++的一大利器 注意:C++篇为本人手动将Word文档修改成Markdown格式(因为网上修改的 ...

  3. 构建万物互联，华为云IoT+鸿蒙重燃物体感知

    摘要:鸿蒙的出现,让硬件.软件行业面临着变革与重构的洪流,但激流勇进中,也潜藏着巨大机遇.物联网设备与鸿蒙结合成为必然趋势,本文将解读华为云IoT+鸿蒙如何强强联合,为物联网行业提供新的思路和方法. ...

  4. 云小课｜基于华为云WAF的日志运维分析，构筑设备安全的城墙

    阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说).深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云.更多精彩内容请单击此处. 摘要:云日志服务用于收集 ...

  5. 详解Native Memory Tracking 追踪区域分析

    摘要:本篇将介绍NMT追踪区域的部分内存类型--Java heap.Class.Thread.Code 以及 GC. 本文分享自华为云社区<Native Memory Tracking 详解(2 ...

  6. DevSecOps“内置安全保护”，让软件研发“天生健康”

    摘要:我们主要是围绕安全架构设计保证安全落地有法可依,进行威胁建模让安全落地有迹可循.做好隐私和敏感数据保护让安全落地在每一个细节和实处这几个方面进行阐述. 本文分享自华为云社区<DevSecO ...

  7. vue2升级vue3：webpack vue-loader 打包配置

    如果没有啥特别的需求还是推荐vue-cli! vite  vue3 TSX项目 虽然vite 很香,但是vite  rollup 动态加载,多页面 等问题比较难搞 vite的缺点 wepback  _ ...

  8. 火山引擎 DataTester 智能发布平台：智能化 A/B 实验，助力产品快速迭代

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 在互联网竞争炙热的红海时代,精益开发高效迭代越来越成为成为产品竞争的利器.产品迭代过程中,如何保障高效的功能迭代安 ...

  9. Axure 绘制表格添加删除

    1.添加按钮:白底黑框,80X30,文本和命名均为"添加"; 2.数据表格(表头):1行5列,灰底黑框的表格作为表头,从左到右每个格子的文字分别为:姓名.性别.年龄.电话和操作: ...

  10. FTP 被动模式配置

    总结:FTP 21端口,可以主动连接,防火墙配置一下21端口放行就OK了.非21端口,需要设成被动连接和端口范围.防火墙要做相应的配置 原理 https://www.cnblogs.com/zjoch ...