Pytest（15）pytest分布式执行用例

前言

• 平常我们功能测试用例非常多时，比如有1千条用例，假设每个用例执行需要1分钟，如果单个测试人员执行需要1000分钟才能跑完
• 当项目非常紧急时，会需要协调多个测试资源来把任务分成两部分，于是执行时间缩短一半，如果有10个小伙伴，那么执行时间就会变成十分之一，大大节省了测试时间
• 为了节省项目测试时间，10个测试同时并行测试，这就是一种分布式场景
• 同样道理，当我们自动化测试用例排常多的时候， 一条条按顺序执行会非常慢（虽然接口很快），pytest-xdist的出现就是为了让自动化测试用例可以分布式执行，从而节省自动化测试时间
• pytest-xdist是属于进程级别的并发

安装

pip3 install pytest-xdist

pytest-xdist插件扩展了一些独特的测试执行模式pytest：

• 测试运行并行化：如果有多个CPU或主机，则可以将它们用于组合测试运行。会加快运行速度

• --looponfail：在子进程中重复运行测试。每次运行之后，pytest会等待，直到项目中的文件发生更改，然后重新运行以前失败的测试。重复此过程直到所有测试通过，之后再次执行完整运行。

• 多平台覆盖：您可以指定不同的Python解释器或不同的平台，并在所有平台上并行运行测试。

在远程运行测试之前，pytest有效地将您的程序源代码“rsyncs”到远程位置。报告所有测试结果并显示给您的本地终端。您可以指定不同的Python版本和解释器。

并行测试

多cpu并行执行用例，直接加个-n参数即可，后面num参数就是并行数量，比如num设置为3

pytest -n 3

运行以下代码，项目结构如下

web_xdist是项目工程名称
│  conftest.py
│  __init__.py
│
├─baidu
│  │  conftest.py
│  │  test_1_baidu.py
│  │  test_2.py
│  │  __init__.py
│
├─blog
│  │  conftest.py
│  │  test_2_blog.py
│  │  __init__.py

具体代码

# web_conf_py/conftest.py
import pytest

@pytest.fixture(scope="session")
def start():
    print("\n打开首页")
    return "jkc"

# web_xdist/baidu/conftest.py
import pytest

@pytest.fixture(scope="session")
def open_baidu():
    print("打开百度页面_session")

# web_xdist/baidu/test_1_baidu.py
import pytest
import time

def test_01(start, open_baidu):
    print("测试用例test_01")
    time.sleep(1)
    assert start == "jkc"

def test_02(start, open_baidu):
    print("测试用例test_02")
    time.sleep(1)
    assert start == "jkc"

if __name__ == "__main__":
    pytest.main(["-s", "test_1_baidu.py"])

# web_xdist/baidu/test_2.py
import pytest
import time

def test_06(start, open_baidu):
    print("测试用例test_01")
    time.sleep(1)
    assert start == "jkc"
def test_07(start, open_baidu):
    print("测试用例test_02")
    time.sleep(1)
    assert start == "jkc"

if __name__ == "__main__":
    pytest.main(["-s", "test_2.py"])

# web_xdist/blog/conftest.py
import pytest

@pytest.fixture(scope="function")
def open_blog():
    print("打开blog页面_function")

# web_xdist/blog/test_2_blog.py

import pytest
import time
def test_03(start, open_blog):
    print("测试用例test_03")
    time.sleep(1)
    assert start == "jkc"

def test_04(start, open_blog):
    print("测试用例test_04")
    time.sleep(1)
    assert start == "jkc"

def test_05(start, open_blog):
    '''跨模块调用baidu模块下的conftest'''
    print("测试用例test_05,跨模块调用baidu")
    time.sleep(1)
    assert start == "jkc"

if __name__ == "__main__":
    pytest.main(["-s", "test_2_blog.py"])

不使用分布式测试的命令和所需执行时间：7.09s

collecting ...
 web_xdist/baidu/test_1_baidu.py ✓✓                                                                                                                                                                       29% ██▉
 web_xdist/baidu/test_2.py ✓✓                                                                                                                                                                             57% █████▊
 web_xdist/blog/test_2_blog.py ✓✓✓                                                                                                                                                                       100% ██████████

Results (7.09s):
       7 passed

使用分布式测试的命令和所需执行时间：2.77s

pytest -n auto

测试结果

gw0 [7] / gw1 [7] / gw2 [7] / gw3 [7] / gw4 [7] / gw5 [7] / gw6 [7] / gw7 [7] / gw8 [7] / gw9 [7] / gw10 [7] / gw11 [7]

 web_xdist/baidu/test_2.py ✓✓                                                                                                                                                                            100% ██████████
 web_xdist/baidu/test_1_baidu.py ✓✓                                                                                                                                                                       71% ███████▎
 web_xdist/blog/test_2_blog.py ✓✓✓                                                                                                                                                                        86% ████████▋ 

Results (2.77s):
       7 passed

知识点

• 可以看到，最终运行时间只需要2.77s，我的电脑是真6核，假12核
• -n auto：可以自动检测到系统的CPU核数；从测试结果来看，检测到的是逻辑处理器的数量，即假12核
• 使用auto等于利用了所有CPU来跑用例，此时CPU占用率会特别高