Python测试框架对比

如有任何学习问题，可以添加作者微信：lockingfree
更多学习资料请加QQ群: 822601020获取

unittest, pytest, nose, robot framework对比

什么是框架？

框架(Framework)是整个或部分系统的可重用设计，
框架是用来解决代码的组织及运行控制问题的。

在我们编写自动化脚本的时候，经常需要读取配置文件，读取数据文件，发送请求，记录日志，连接并对比数据库数据。每个脚本里都重写一遍各种方法不仅工作量大而且易错。所以我们需要把公共的方法提取出来，封装成单独的模块，放到公用方法包里。另外配置文件，数据文件，日志等我们也需要分类存到不同的文件夹下。这种对公共方法的封装及对脚本及配置文件怎么组织的设计就叫做框架。

同时，一般框架除了完成对代码及配置文件的组织之外还要提供运行的控制功能。比如批量执行，分模块执行，生成报告，异常处理等等。

总结为以下3点：

• 封装公共方法
• 代码及配置文件的组织
• 执行控制

什么是测试框架？

一个完整的测试脚本（用例）一般包含以下几个步骤：

• 环境准备或检查
• 执行业务操作
• 断言结果
• 清理环境

而测试框架一般还要完成用例加载，批量执行，异常控制，结果输出等功能。基础的测试框架一般只提供执行控制方面的功能。

测试框架应具有的特点

• 易用性：编写用例，执行用例，生成报告及定位问题方便
• 健壮性：稳定，比如timeout机制等
• 扩展性：插件
• 灵活性：用例组织或执行的灵活性，Fixture功能（不同范围的setUp和tearDown）等
• 定制性：二次开发方便

unittest,pytest,nose,robot framework简介

• unittest: Python自带，最基础的单元测试框架
• nose: 基于unittest开发，易用性好，有许多插件
• pytest: 同样基于unittest开发，易用性好，信息更详细，插件众多
• robot framework：一款基于Python语言的关键字驱动测试框架，有界面，功能完善，自带报告及log清晰美观

项目	unittest	nose	pytest	robot framework
用例编写	继承unittest.TestCase类需要组织各种testSuite断言种类繁多	test开头的方法即可	test开头的方法即	可 robot格式，文本文件
执行器	自己写run_all_tests+discover+CommandParser+...	nosetests ...	py.test ...	pybot ...
用例发现Discover	支持	支持	支持	支持
跳过用例	unittest.skip()unittest.skipIf()raise uniitest.SkipTest	from nose.plugins.skip import SkipTestraise SkipTest	@pytest.mark.skipif( condition)@pytest.mark.xfail	-
Fixtures	setUp/tearDown@classmethodsetUpClass...	支持	@pytest.fixture(session="session", autouse=True)fixture的作用域：function、module、session ，autouse=True使得函数将默认执行	[Setup]    ...[Teardown]    ...
用例标签tags	借助unittest.skip()+comandParser实现	attrib标签from nose.plugins.attrib import attr@attr(speed='slow')def test_big_download(): pass$ nosetests -a speed=slow	@pytest.mark.webtest自定义一个mark，如下，然后 py.test -v -m webtest 只运行标记了webtest的函数， py.test -v -m "not webtest"  来运行未标记webtest的	[Tags]    test    level1pybot -i/--include tagName C:\TF-Testpybot -e/--exculde level1 *.robot排除
超时机制Timeout	自己实现	from nose.tools import timedimport time@timed(1)def test_lean_5():time.sleep(2)pass	pip install pytest-timeout@pytest.mark.timeout(60)或 pytest --timeout=300	[Timeout]    3 seconds
参数化	结合ddt使用	结合ddt使用	@pytest.mark.parametrize("a,b,expected", testdata)def test_timedistance_v0(a, b, expected):diff = a - bassert diff == expected	[Template]    1 2 3
报告	HTMLTestRunner	pip install nose-htmloutput--with-html --html-file=	pip install -U pytest-htmlpy.test --html=./report.html	支持，默认自动生成
日志log	自己实现	--nologcapture 不使用log--logging-format=FORMAT使用自定义的格式显示日志--logging-datefmt=FORMAT 和上面类类似，多了日期格式--logging-filter=FILTER日志过滤，一般很少用，可以不关注--logging-clear-handlers 也可以不关注--logging-level=DEFAULT log的等级定义	pytest test_add.py --resultlog=./log.txtpytest test_add.py --pastebin=all	支持，默认自动生成
只列出用例collect-only	无	nosetests  --collect-onlynosetests -v --with-id	--collect-only -v	-
失败用例重跑rerun failures	无	nosetests -v --failed	pip install -U pytest-rerunfailures@pytest.mark.flaky(reruns=5)py.test --rerun=3	robot --rerunfailed
baseline对比	无	无	无	无
并发	改造unittest使用协程并发，或使用线程池+Beautiful Report	命令行并发	pytest-xdist：分发到不用的cpu或机器上	命令行并发
xml报告	无	--with-xunit	--xunit-file=... /pytest+Allure	--junit-xml=
Selenium支持	无	无	pytest-selenium	robotframework-seleniumlibraryrobotframwork-selenium2library

总结：总体来说，unittest比较基础，二次开发方便，适合高手使用；pytest/nose更加方便快捷，效率更高，适合小白及追求效率的公司；robot framework由于有界面及美观的报告，易用性更好，灵活性及可定制性略差。

参考框架设计方案

unittest

888米兔: python+requests接口自动化测试框架实例详解教程

上海一悠悠: selenium+python自动化91-unittest多线程生成报告（BeautifulReport）

严北: Python - 用协程并发执行测试用例

pytest

晶莹的营: pytest学习笔记（一）
晶莹的营: pytest学习笔记（二）
晶莹的营: pytest学习笔记（三）

liuchunming033: 用Pytest+Allure生成漂亮的HTML图形化测试报告