[转帖]SpecCPU2017 测试cpu性能

https://www.bbsmax.com/A/GBJrxP1Ed0/

SpecCPU介绍见：

https://blog.csdn.net/qq_36287943/article/details/103601539

官网：https://spec.org/

1、SpecCPU2017是一套CPU子系统测试工具，包括4大种类套件共43个基准测试。4大种类套件如下：

整数型：SPECrate 2017 Integer，对应用例编号为5xx

SPECspeed 2017 Integer，对应用例编号为6xx

浮点型：SPECrate 2017 Floating Point，对应用例编号为5xx

SPECspeed 2017 Floating Point，对应用例编号为6XX

SPEC基准广泛用于评估计算机系统的性能。SPEC CPU套件通过测量几个程序（例如编译器GCC，化学程序游戏和天气程序WRF等）的运行时间来测试CPU性能。

benchmark 基准如下：（安装目录内）

43个benchmark的使用场景如下表所示：（官网）

2、Spec2017测试有两种评估方式，分为speed和rate。speed是测试完成一项任务需要的时间，即速度测试；rate是测试单位时间内可以完成多少任务，即throughput(吞吐量测试)。speed和rate测试又有整数（Integer）和浮点（Floating Point）测试之分、base(基准测试)和peak(峰值测试)之分，如果是要生成报告的测试，要么是使用base，要么是base和peak一起用。可通过设置测试模式来实现：

--tune base 或者 --tune all 默认是base 可以选择base, peak, or all ，Report 首先是base,其次是peak.

speed与rate说明 （速度与吞吐量）

speed：包含10个整形测试和10个浮点测试。speed测试只运行一次测试题，测试分数高，说明单次运行时间短。

rate：包含10个整形测试和13个浮点测试，rate测试是运行多个相同的测试题，运行数量由测试者指定，分数高，代表更大的通量（固定时间处理问题的数量）

base与peak说明 (基准与峰值)

base：base是简单的标准的配置

peak：peak是可以提供更多个性化的配置编译选项

 

Spec2017 计算rate分值的公式：ratio=copies*(reference_time/test_time)

copies：指定相同问题的数量

reference_time：SPEC给出的参考时间

test_time：测试得出的时间

说明：公式含义为，参考时间与单份测试所用时间的比值。ratio越高表示相同时间可以处理更多的问题，即机器的通量高。本测试过程中设置copies，分别为对应cpu的核数。

 

Spec2017 计算speed分值算法公式：ratio=reference_time/test_time

reference_time：SPEC给出的参考时间

test_time：测试得出的时间

ratio越高表示完成同样的问题用时更少。

3、整数和浮点

cpu整数能力 （执行加法，减法，乘法）

cpu浮点能力（执行除法，也就是小数点的位移）

SpecCPU2017 工具安装步骤

1、下载软件（推荐使用1.0.5或更高版本的SPEC CPU 2017。本例中使用的版本为1.0.5）

a．SPEC官网下载SPEC CPU2017测试工具。

https://www.spec.org/cpu2017/? ####官网收费下载

 

b．百度网盘下载cpu2017-1.05.iso

链接：https://pan.baidu.com/share/init?surl=kMoMJ5Ufg5oZql4HjyacAg

提取码：5thr

2、安装测试工具

安装步骤参考文章：

https://support.huaweicloud.com/instance-evaluation-ecsie/ecsie_ipeg_0001.html

其中

a.在编译源码升级gcc时候mpc的包有点问题，需要重新官网下载源码包

https://mirrors.sjtug.sjtu.edu.cn/gnu/mpc/mpc-1.0.3.tar.gz

b.编译gcc时有个报错需要用到gcc-c++ ，故需要安装gcc-c++

3、测试步骤

a．Speccpu2017 安装完成需执行命令

source shrc

runcpu --config=spec17-opti-gcc7.3.cfg all --tune=all –reportable

runcpu --config=spec17-opti-gcc7.3.cfg all --threads 98 --copies=98 --tune=all –reportable

--threads 线程数（貌似指定后未生效仍是1）

-- copies参数的取值必须等于当前CPU核数

部分参数说明

runspec -config=xxx.cfg -size=ref -r 4 -tune=base -noreportable -o txt,screen,pdf -I -iterations=3 all

 

a）配置文件：--config spec17-opti-gcc7.3.cfg，配置文件中可以包含上述命令的所有信息，但是runspec命令的优先级高。此文件在spec的解压目录下，由上述文章中已有可直接使用。

b）测试规模： --size ref（测试规模有test,ref,train其中test最小跑的时间最短，如果测试编译器正确性的时候可以用test规模，但是想测试性能时候用ref）

c）测试次数：iterations=3次（编译器性能稳定时候测一次就行），也可以写成n 3;

tips：如果想得到加权统计的结果，也就是常说的cpu的spec分数，需要设置iterations大于等于3。

d）测试范围: all 表示进行fp和int测试（将all替换成intrate 或 fprate 进行定点和浮点的测试；将all替换成456/444等文件编号，表示对某一测试项进行单独测试）可选 'fprate', 'fpspeed', 'intrate', 'intspeed' or 'all'.

对于CPU的SPEC测试，默认这一项是all，但是对于其中的某一项测试分数不满意，可通过指定此测试项的编号，进行单独测试。测试也会得到一个分数，做单项的性能调优时候，可以用得到。

e）输出格式：-o text,screen,pdf 表示测试完成，生成报告的格式，依次分别是txt,屏幕显示和pdf格式，保存目录在spec解压目录result中。

f）noreportable && reportable : 表示检测/不检测生成的二进制文件是否修改过。

--reportable 如果原来生成的二进制文件被修改了，则运行时会自动重新编译生成二进制文件，确保运行的程序是原始的程序。

g）测试核数：-r 设置测试的CPU核心数目；

h）测试模式：-tune = base 基准测试；-tune = peak 峰值测试；-tune默认是base 可以选择base, peak, or all ，Report 首先是base,其次是peak.

i）-I : 表示测试中，如遇报错，略过错误继续测试；

正确运行结果如下：

运行过程

Runcpu 运行时间会很长，大概3天以上

运行结果汇总在安装目录下的result目录下

在运行过程中，需要查看执行完哪些用例可以查看

cat cat CPU2017.001.log.debug | grep -i success

参考资料

[1] https://blog.csdn.net/qq_36287943/article/details/103601539

[2]https://support.huaweicloud.com/instance-evaluation-ecsie/ecsie_ipeg_0001.html

[3]https://www.spec.org/cpu2017/Docs/quick-start.html

[4]https://www.spec.org/cpu2017/Docs/runcpu.html

[5]https://www.spec.org/cpu2017/Docs/overview.html

 

问题1：

测试Intel（Intel(R) Xeon(R) Gold 5220 CPU @ 2.20GHz 共72C） cpu时候执行命令报错

runcpu --config=spec17-opti-gcc7.3.cfg fprate –threads 72 --tune=all –reportable

查看top 服务器的负载到80%+，查看执行过程中发现

未能发现有用信息，结合服务器cpu负载为80%+，cpu使用率搭99%，判断可能是cpu超负载运行，从而把程序kill 掉，继续查看执行的步骤发现 copies 指定为 96(配置文件内被写死了) 而服务器为72核

修改执行命令加上参数

runcpu --config=spec17-opti-gcc7.3.cfg fprate –threads 72 —copies=72 --tune=all –reportable

之后 copies 显示为72，用例可以继续执行下去

问题2：执行命令指定的线程数未生效，暂未找到原因

其他参数见：

https://www.spec.org/cpu2017/Docs/runcpu.html