1. 前言

大家好,我是安果!

最近有小伙伴后台给我留言,说自己用 Django 写了一个大文件上传的 Api 接口,现在想本地检验一下接口并发的稳定性,问我有没有好的方案

本篇文章以文件上传为例,聊聊 Jmeter 并发执行 Python 脚本的完整流程

2. Python 实现文件上传

大文件上传包含 3 个步骤,分别是:

  • 获取文件信息及切片数目

  • 分段切片,并上传 - API

  • 文件合并 - API

  • 文件路径参数化

2-1  获取文件信息及切片数目

首先,获取文件的大小

然后,利用预设的切片大小获取分段总数

最后,获取文件名及 md5 值

import os
import math
import hashlib def get_file_md5(self, file_path):
"""获取文件的md5值"""
with open(file_path, 'rb') as f:
data = f.read()
return hashlib.md5(data).hexdigest() def get_filename(self, filepath):
"""获取文件原始名称"""
# 文件名带后缀
filename_with_suffix = os.path.basename(filepath)
# 文件名
filename = filename_with_suffix.split('.')[0]
# 后缀名
suffix = filename_with_suffix.split('.')[-1]
return filename_with_suffix, filename, suffix def get_chunk_info(self, file_path):
"""获取分段信息"""
# 获取文件总大小(字节)
file_total_size = os.path.getsize(file_path)
print(file_total_size) # 分段总数
total_chunks_num = math.ceil(file_total_size / self.chunk_size)
# 文件名(带后缀)
filename = self.get_filename(file_path)[0]
# 文件的md5值
file_md5 = self.get_file_md5(file_path)
return file_total_size, total_chunks_num, filename, file_md5

2-2  切片及分段上传

利用分段总数和分段大小,对文件进行切片,调用分段文件上传接口

import requests

def do_chunk_and_upload(self, file_path):
​ """将文件分段处理,并上传"""
file_total_size, total_chunks_num, filename, file_md5 = self.get_chunk_info(file_path) # 遍历
for index in range(total_chunks_num):
print('第{}次文件上传'.format(index + 1))
if index + 1 == total_chunks_num:
partSize = file_total_size % chunk_size
else:
partSize = chunk_size # 文件偏移量
offset = index * chunk_size # 生成分片id,从1开始
chunk_id = index + 1 print('开始准备上传文件')
print("分片id:", chunk_id, "文件偏移量:", offset, ",当前分片大小:", partSize, ) # 分段上传文件
self.__upload(offset, chunk_id, file_path, file_md5, filename, partSize, total_chunks_num) def __upload(self, offset, chunk_id, file_path, file_md5, filename, partSize, total):
"""分次上传文件"""
url = 'http://**/file/brust/upload'
params = {'chunk': chunk_id,
'fileMD5': file_md5,
'fileName': filename,
'partSize': partSize,
'total': total
}
# 根据文件路径及偏移量,读取文件二进制数据
current_file = open(file_path, 'rb')
current_file.seek(offset) files = {'file': current_file.read(partSize)}
resp = requests.post(url, params=params, files=files).text
print(resp)

2-3  合并文件

最后调用合并文件的接口,将分段小文件合成大文件

def merge_file(self, filepath):
"""合并"""
url = 'http://**/file/brust/merge'
file_total_size, total_chunks_num, filename, file_md5 = self.get_chunk_info(filepath)
​ payload = json.dumps(
{
"fileMD5": file_md5,
"chunkTotal": total_chunks_num,
"fileName": filename
}
)
print(payload)
headers = {
"Content-Type": "application/json"
}
resp = requests.post(url, headers=headers, data=payload).text
print(resp)

2-4  文件路径参数化

为了并发执行,将文件上传路径参数化

# fileupload.py
...
if __name__ == '__main__':
filepath = sys.argv[1] # 每一段切片的大小(MB)
chunk_size = 2 * 1024 * 1024 fileApi = FileApi(chunk_size)
# 分段上传
fileApi.do_chunk_and_upload(filepath) # 合并
fileApi.merge_file(filepath)

3. Jmeter 并发执行

在使用 Jmeter 创建并发流程前,我们需要编写批处理脚本

其中,执行批处理脚本时,需要跟上文件路径一起执行

# cmd.bat

@echo off
set filepath=%1 python C:\Users\xingag\Desktop\rpc_demo\fileupload.py %*

然后,在本地新建一个 CSV 文件,写入多个文件路径

# 准备多个文件路径(csv)
C:\\Users\\xingag\\Desktop\\charles-proxy-4.6.1-win64.msi
C:\\Users\\xingag\\Desktop\\V2.0.pdf
C:\\Users\\xingag\\Desktop\\HBuilder1.zip
C:\\Users\\xingag\\Desktop\\HBuilder2.zip

接着,就可以使用 Jmeter 创建并发流程了

完整步骤如下:

  • 创建一个测试计划,下面添加一个线程组

    这里线程组数目与上面文件数目保持一致即可

  • 线程组下,添加「 同步定时器 」

    同步定时器中的「 模拟用户组的数量 」和上面参数数量保持一致

  • 添加 CSV 数据文件设置

    指向上面准备的 csv 数据文件,设置文件格式为 UTF-8,变量名称设置为 file_path,最后将线程共享模式设置为「 当前线程组 」

  • 添加调试取样器,方便调试

  • 添加 OS 进程取样器

    选择上面创建的批处理文件,命令行参数设置为「 ${file_path} 」

  • 添加查看结果数

4. 最后

运行上面创建的 Jmeter 并发流程,在结果数中可以查看并发上传文件的结果

当然,我们可以增加并发数量去模拟真实的使用场景,只需要修改 CSV 数据源及 Jmeter 参数即可

如果你觉得文章还不错,请大家 点赞、分享、留言 下,因为这将是我持续输出更多优质文章的最强动力!

聊聊 Jmeter 如何并发执行 Python 脚本的更多相关文章

  1. jmeter 执行python脚本的方法 。(亲测ok)

    jmeter 执行python脚本   jmeter 可以通过Jython 执:行python代码 1.下载Jython jar包:http://www.jython.org/downloads.ht ...

  2. inotify+rsync实现实时同步(附解决crontab中无法执行python脚本的问题)

    1.准备环境 # 系统支持的话,下面的目录就会存在 ls /proc/sys/fs/inotify/ rpm -qa inotify-tools yum -y install inotify-tool ...

  3. 使用sae定时执行Python脚本

    使用sae定时执行Python脚本 使用sae定时执行Python脚本 12,May,2014 | 57 Views 毕设压力略大,必须是桂林游的锅.去之前放松了几天,回来又休闲了几天,加上桂林的一周 ...

  4. mac上使用crontab周期性执行python脚本

    这个月买了本书<Linux系统命令及Shell脚本实践指南>, 看到了一个周期性执行任务cron.顿时产生一个想法: mac上有这种机制么? 加上自己也在15年下半年也学了点python脚 ...

  5. linux下设置计划任务执行python脚本

    linux下设置计划任务执行python脚本 简介 crontab命令被用来提交和管理用户的需要周期性执行的任务,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自 ...

  6. 怎样在windows上定时执行python脚本

    作为一个需要在电脑上工作和学习的人,一件十分困扰我的事情就是怎样不受互联网中其他内容的干扰而专注于自己想要做的事情,有的时候真的是沉浸于微博上的消息,忘了自己本来想要做的事.不过我有一件神器,自己爱豆 ...

  7. Windows 任务调度程序定时执行Python脚本

    Windows 任务调度程序(Task Scheduler)可以定时执行程序,本文分享使用Task Scheduler定时执行Python脚本的两种方法. 在控制面版->管理员工具中打开 Tas ...

  8. windows 10 如何设定计划任务自动执行 python 脚本?

    我用 python 写了一些脚本,有一些是爬虫脚本,比如爬取知乎特定话题的热门问题,有一些是定期的统计分析脚本,输出统计结果到文档中.之前我都是手动执行这些脚本,现在我希望如何这些脚本能自动定时执行. ...

  9. shell脚本中执行python脚本并接收其返回值的例子

    1.在shell脚本执行python脚本时,需要通过python脚本的返回值来判断后面程序要执行的命令 例:有两个py程序  hello.py 复制代码代码如下: def main():    pri ...

随机推荐

  1. C/C++入门

    C:面向过程-函数 C++:面向对象-类:向下兼容C 程序包含头文件+主函数 简单数据类型 long long型赋超过int型范围的初值,需要在初值后面加上LL,否则可能会编译错误 不要使用float ...

  2. Python中print()函数的用法

    print()函数用于打印输出 1.函数语法: print(values,sep=' ',end='\n') sep和end是print()函数常用参数 参数sep是一次打印多个元素时的间隔符号,默认 ...

  3. 【动画消消乐|CSS】083.纯CSS实现卡通齿轮效果

    前言 Hello!小伙伴! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出-   自我介绍 ଘ(੭ˊᵕˋ)੭ 昵称:海轰 标签:程序猿|C++选手|学生 简介:因C语言结识编程,随后转入计 ...

  4. STM32启动文件详解及SystemInit函数分析(转)

    ;先在RAM中分配系统使用的栈,RAM的起始地址为0x2000_0000 ;然后在RAM中分配变量使用的堆 ;然后在CODE区(flash)分配中断向量表,flash的起始地址为0x0800_0000 ...

  5. Qt列表等控件实现平滑滚动&deepin启动器存在的问题

    Qt列表等控件实现平滑滚动 Qt自带的的列表控件是不能平滑滚动的,但如果滚动速度快的话很容易引起视线丢失,体验效果很差.本篇主要讲述如何在Qt中对列表控件加入平滑滚动.文中以QScrollArea控件 ...

  6. CobaltStrike去除流量特征

    CobaltStrike去除流量特征 ​普通CS没有做流量混淆会被防火墙拦住流量,所以偶尔会看到CS上线了机器但是进行任何操作都没有反应.这里尝试一下做流量混淆.参考网上的文章,大部分是两种方法,一种 ...

  7. Emlog V6.0.0代码审计笔记

    前言 emlog是一套基于PHP和MySQL的博客及CMS建站系统. emlog v6.0.0存在后台SQL注入漏洞. 分析 官网下载emlog最新版v6.0.0,本地搭建. 前台功能不多,参数基本都 ...

  8. Windows Go 开发环境下载、安装并配置

    前言 对于我们Windows用户而言,Go提供两种环境安装方式(源码安装除外): 1.MSI安装(MSI文件是Windows Installer的数据包,它实际上是一个数据库,包含安装一种产品所需要的 ...

  9. NOIP 模拟 $29\; \rm 最近公共祖先$

    题解 \(by\;zj\varphi\) 首先考虑,如果将一个点修改成了黑点,那么它能够造成多少贡献. 它先会对自己的子树中的答案造成 \(w_x\) 的贡献. 考虑祖先时,它会对不包括自己的子树造成 ...

  10. Ubuntu完全卸载Docker步骤

    Ubuntu完全卸载Docker步骤:https://www.jianshu.com/p/c03044dbeaaf