JMeter轻松实现大数据量AI图像识别接口测试
******************************************************************************
本文主要介绍利用Jmeter进行AI图像识别接口测试
1.测试需求关键点分析
2.测试准备工作
3.测试过程与测试结果统计
******************************************************************************
一、测试需求关键点分析
1)AI图片稽查算法模型优化功能需求:
* 照片是否面部完整、五官清晰可辨,正面免冠
* 照片是否为现场拍摄的办理人真实本人
* 用户头像部分占比是否小于照片的三分之一(头顶至下巴高度占照片高度比例、半身照面积占整个照片面积比例,两个标准满足其一即可)
2)转化为测试需求:
* 测试AI图片稽查接口功能是否满足功能需求
* 测试升级版本较基础版本算法模型准确率是否得到了明显提升
* 测试升级版本较基础版本算法模型性能是否更好了
二、测试准备工作(摘自测试计划关键步骤)
1)根据需求点准备测试数据:图片正常、非免冠、占比不合理、遮挡、非人脸
注意:要与算法工程师讨论测试数据种类与模型评估方法,不同项目测试侧重点不同,灵活运用
2)测试工具:JMeter 或 写python脚本 或 Postman
3)测试环境:千兆网络带宽 、1个GPU 2个flask进程 、2个CPU(24核数)
4)测试方法:
* 功能测试:传入不同种类图片数据对接口进行请求,验证返回结果是否符合功能需求
* 模型评估:传入不同种类图片数据集对接口进行请求,对返回结果进行统计,计算模型准确率来判定模型的是否符合标准
* 性能测试:不同并发数对接口进行性能测试,观察服务器内存、硬盘、GPU的使用情况,记录TPS与响应时间
5)JMeter脚本设计关键点:
问题一:接口参数为图片流,如何解决几百个图片流文件的参数化?
解决办法:
A、Beanshell 读取图片流存放文件的目录,设置参数引用Beanshell图片流变量 --- 不可行
B、利用CSV参数化图片流目录 --- 不可行
C、换个思路,利用Beanshell前置处理器读取图片并进行转流后参数化 --- 解决
问题二:Response返回值为json嵌套格式,如何取到json嵌套的data列表值并断言多个预期值?
解决办法:
A、利用正交法把所有返回值的用响应断言做判断 --- 没有试,比较不灵活且容易遗漏返回值
B、利用正则表达式提取器+Beanshell断言方式,正则提取json嵌套data列表,beanshell断言遍历列表判断满足条件的值 --- 解决
三、测试过程与测试结果统计:
1)模型功能测试与模型评估测试
* 利用JMeter工具创建测试计划,根据API文档添加测试请求,消息体数据利用Beanshell参数化
* 利用while控制器与Beanshell前置处理器结合的方式对每一个图片进行稽查,while控制器控制图片的数量,Beanshell前置处理器负责加载图片、转码图片、以变量的方式对参数进行赋值
* 利用正则表达式提取器与BeanShell断言的方式对返回的json结果进行分类断言,统计聚合报告的成功请求数
* 利用excel表格统计算法模型的准确率,对比不同版本的测试结果,升级模型准确率明显提升10%左右。如图:
2)性能测试过程参考之前博客:
Linxu下JMeter进行接口压力测试:https://www.cnblogs.com/xjx767361314/p/11322039.html
总结:在内存、GPU、网络正常的情况下,TPS变化不大,说明已经到达处理瓶颈了,增加并发造成线程等待,所以响应时间不断增加,如图:
JMeter轻松实现大数据量AI图像识别接口测试的更多相关文章
- 智慧金融时代,大数据和AI如何为业务赋能
前言:宜信技术人物专访是宜信技术学院推出的系列性专题,我们邀请软件研发行业的优秀技术人,分享自己在软件研发领域的实践经验和前瞻性观点. 第一期专访我们邀请到宜信科技中心AI中台负责人王东老师,从大数据 ...
- 大数据和AI怎么与现代教育相结合?
大数据和AI怎么与现代教育相结合? 比尔·盖茨曾预言,"5年以后,你将可以在网上免费获取世界上最好的课程,而且这些课程比任何一个单独大学提供的课程都要好." 现在看来,虽然并不是每 ...
- MySQL数据库如何解决大数据量存储问题
利用MySQL数据库如何解决大数据量存储问题? 各位高手您们好,我最近接手公司里一个比较棘手的问题,关于如何利用MySQL存储大数据量的问题,主要是数据库中的两张历史数据表,一张模拟量历史数据和一张开 ...
- java大数据量调优
从总体上来看,对于大型网站,比如门户网站,在面对大量用户访问.高并发请求方面,基本的解决方案集中在这样几个环节:1.首先需要解决网络带宽和Web请求的高并发,需要合理的加大服务器和带宽的投入,并且需要 ...
- 服务端、实时、大数据、AI计算
服务端.实时.大数据.AI计算,各种各样的计算,计算机本质是什么,计算机的本质是 利用compute的计算速度为人提供更优的计算结果. 所以实时也好,准实时.离线.AI本质上是两个维度,实时准实时强调 ...
- 利用MySQL数据库如何解决大数据量存储问题?
提问:如何设计或优化千万级别的大表?此外无其他信息,个人觉得这个话题有点范,就只好简单说下该如何做,对于一个存储设计,必须考虑业务特点,收集的信息如下:1.数据的容量:1-3年内会大概多少条数据,每条 ...
- MySQL数据库解决大数据量存储问题
转载自:https://www.cnblogs.com/ryanzheng/p/8334915.html 提问:如何设计或优化千万级别的大表?此外无其他信息,个人觉得这个话题有点范,就只好简单说下该如 ...
- 大数据量冲击下Windows网卡异常分析定位
背景 mqtt的服务端ActiveMQ在windows上,多台PC机客户端不停地向MQ发送消息. 现象 观察MQ自己的日志data/activemq.log里显示,TCP链接皆异常断开.此时尝试从服务 ...
- POI3.8解决导出大数据量excel文件时内存溢出的问题
POI3.8的SXSSF包是XSSF的一个扩展版本,支持流处理,在生成大数据量的电子表格且堆空间有限时使用.SXSSF通过限制内存中可访问的记录行数来实现其低内存利用,当达到限定值时,新一行数据的加入 ...
随机推荐
- Spring Boot 报错记录
Spring Boot 报错记录 由于新建的项目没有配置数据库连接启动报错,可以通过取消自动数据源自动配置来解决 解决方案1: @SpringBootApplication(exclude = Dat ...
- Kafka启动报错
文章目录 问题 解决 问题 通过 ./kafka-server-start.sh ../config/server.properties 启动kafka 之前在server.properties中修改 ...
- 04 循环结构概述和for语句的格式及其使用
04.01_Java语言基础(循环结构概述和for语句的格式及其使用) A:循环结构的分类 for,while,do…while B:循环结构for语句的格式: for(初始化表达式;条件表达式;循环 ...
- Struts1.3——Struts标签
1.struts标签的介绍 Struts框架提供了一组非常丰富的框架组件,同时也提供了一组标签库用于和这些组件交互,主要介绍以下三类: html标签 bean标签 logic标签 2.Html标签库 ...
- 2019 ACM-ICPC 南京 现场赛 H. Prince and Princess
题意 王子想要娶公主,但是需要完成一个挑战:在一些房间中找出公主在哪. 每个房间有一个人,他们彼此知道谁在哪个房间.可以问他们三种问题: 你是谁? 在某个房间是谁? 公主在哪个房间? 有三类人,一类一 ...
- centos7.3 安装gitlab
系统自带ruby版本太低,需要手动编译2.4版本
- 使用org-mode写cnblogs博客
使用org-mode写cnblogs博客 */--> pre.src {background-color: #002b36; color: #839496;} pre.src {backgrou ...
- python之模块导入方法总结
模块在python编程中的地位举足轻重,熟练运用模块可以大大减少代码量,以最少的代码实现复杂的功能. 下面介绍一下在python编程中如何导入模块: (1)import 模块名:直接导入,这里导入模块 ...
- aiohttp上报405: Method Not Allowed
请求方式不对,修改为“POST”或者“GET” 可参考:https://blog.csdn.net/yiifaa/article/details/80928487
- sql server 事务隔离性 snapshot 、read committed说明
一. --该 read committed 默认事务隔离级别 在 systemuser修改事务未完成时 select * from [SystemUser] where id=62; 该语句是不可读取 ...