JMeter轻松实现大数据量AI图像识别接口测试

******************************************************************************

本文主要介绍利用Jmeter进行AI图像识别接口测试

　　1.测试需求关键点分析

　　2.测试准备工作

　　3.测试过程与测试结果统计

******************************************************************************

一、测试需求关键点分析

1）AI图片稽查算法模型优化功能需求：

　*  照片是否面部完整、五官清晰可辨，正面免冠

　*  照片是否为现场拍摄的办理人真实本人

　*  用户头像部分占比是否小于照片的三分之一（头顶至下巴高度占照片高度比例、半身照面积占整个照片面积比例，两个标准满足其一即可）

2）转化为测试需求：

　*  测试AI图片稽查接口功能是否满足功能需求

　*  测试升级版本较基础版本算法模型准确率是否得到了明显提升

　*  测试升级版本较基础版本算法模型性能是否更好了

二、测试准备工作（摘自测试计划关键步骤）

1）根据需求点准备测试数据：图片正常、非免冠、占比不合理、遮挡、非人脸

　　注意：要与算法工程师讨论测试数据种类与模型评估方法，不同项目测试侧重点不同，灵活运用

2）测试工具：JMeter 或 写python脚本 或 Postman

3）测试环境：千兆网络带宽 、1个GPU 2个flask进程 、2个CPU（24核数）

4）测试方法：

　*  功能测试：传入不同种类图片数据对接口进行请求，验证返回结果是否符合功能需求

　*  模型评估：传入不同种类图片数据集对接口进行请求，对返回结果进行统计，计算模型准确率来判定模型的是否符合标准

　*  性能测试：不同并发数对接口进行性能测试，观察服务器内存、硬盘、GPU的使用情况，记录TPS与响应时间

5）JMeter脚本设计关键点：
      问题一：接口参数为图片流，如何解决几百个图片流文件的参数化？

　　解决办法：

　　　　A、Beanshell 读取图片流存放文件的目录，设置参数引用Beanshell图片流变量   --- 不可行
　　　　B、利用CSV参数化图片流目录  --- 不可行
　　　　C、换个思路，利用Beanshell前置处理器读取图片并进行转流后参数化   --- 解决

　　问题二：Response返回值为json嵌套格式，如何取到json嵌套的data列表值并断言多个预期值？

　　 解决办法：

　　　　A、利用正交法把所有返回值的用响应断言做判断  --- 没有试，比较不灵活且容易遗漏返回值
　　　　B、利用正则表达式提取器+Beanshell断言方式，正则提取json嵌套data列表，beanshell断言遍历列表判断满足条件的值   --- 解决

三、测试过程与测试结果统计：

1）模型功能测试与模型评估测试

　*  利用JMeter工具创建测试计划，根据API文档添加测试请求，消息体数据利用Beanshell参数化

　*  利用while控制器与Beanshell前置处理器结合的方式对每一个图片进行稽查，while控制器控制图片的数量，Beanshell前置处理器负责加载图片、转码图片、以变量的方式对参数进行赋值

　*  利用正则表达式提取器与BeanShell断言的方式对返回的json结果进行分类断言，统计聚合报告的成功请求数

　*  利用excel表格统计算法模型的准确率，对比不同版本的测试结果，升级模型准确率明显提升10%左右。如图：

2）性能测试过程参考之前博客：

　　Linxu下JMeter进行接口压力测试：https://www.cnblogs.com/xjx767361314/p/11322039.html

　　总结：在内存、GPU、网络正常的情况下，TPS变化不大，说明已经到达处理瓶颈了，增加并发造成线程等待，所以响应时间不断增加，如图：