0. 前言

简介

Allure 框架是一个灵活的、轻量级的、支持多语言的测试报告工具，它不仅以 Web 的方式展示了简介的测试结果，而且允许参与开发过程的每个人可以从日常执行的测试中，最大限度地提取有用信息。

Allure 是由 Java 语言开发的，支持 Pytest，JaveScript、PHP、Ruby 等。

  • 从 DEV/QA 的角度来看，Allure 提供了详尽的测试报告，比如简化了常见缺陷的统计；失败的测试可以分为 bug 和被中断的测试；还可以配置日志、步骤、fixture、附件、计时、执行历史；以及与 TMS、BUG 管理系统、Jenkins 集成等。所以，通过以上配置，所有负责的开发人员和测试人员可以尽可能地掌握测试信息。
  • 从管理者的角度来看，Allure 提供了一个清晰的“大图”，即 High Level 的统计报告，其中包括已覆盖的特性、缺陷聚集的位置、执行时间轴的外观以及许多其他方便的事情。Allure 的模块化和可扩展性保证了你总是能够对某些东西进行微调，使得 Allure 更适合你。

那么下面就来说说如何使报告更加详细的显示我们需要的信息，以及 Allure 与 Jenkins 的集成。

安装

（Windows/Mac 通用安装方法）

下载地址：https://github.com/allure-framework/allure2/releases，下载所需版本的 zip 包。

安装：

  1. 解压 —> 进入 bin 目录 —> 运行 allure.bat
  2. 把 bin 目录加入 Path 环境变量
  3. 配合 pytest，使用 allure2 生成更加精美的测试报告：pip install allure-pytest

运行方法

在测试执行期间收集结果

pytest [测试文件] -s -q --alluredir=./result/ --clean-alluredir
  • -s：表示将执行成功的案例日志打印出来
  • -q：若跟文件执行路径则代表只需要执行的文件
  • --alluredir：指定存储测试结果的路径（若目录不存在则会新建）
  • --clean-alluredir：清除历史结果数据

查看测试报告

方式一：用于在本地渲染后对外展示结果

allure serve ./result/

方式二：用于在本地渲染和查看结果

# 生成报告

allure generate ./result/ -o ./report/ --clean  # 注意：覆盖路径加 --clean

# 打开报告

allure open -h 127.0.0.1 -p 8883 ./report/

注意：/report/ 目录中的 index.html 就是最终的结果页面，但直接通过浏览器打开这个文件是看不到实际报告内容的，这是因为实际报告内容需要 allure 进行渲染后才能看到。

2. Allure 常用特性

场景：

  • 希望在报告中看到测试功能，子功能或场景，测试步骤，包括测试附加信息。

解决：

  • import allure
  • @allure.feature('功能名称')
  • @allure.story('子功能名称')
  • @allure.title('测试用例名称')
  • @allure.step('步骤细节')
  • @allure.description('测试用例描述')
  • @allure.attach('具体文本信息')：需要附加的信息，可以是数据，文本，图片，视频，网页
  • 如果只测试登录功能运行的时候可以加限制过滤，如：pytest 文件名 --allure_features '购物车功能' --allure_stories '加入购物车'

@alllure.feature() 与 @allure.store() 的关系

feature 相当于一个大的功能或模块。将 case 分类到某个 feature 中，并在报告中的 behaviors 中显示，相当于 testsuite。

story 相当于分支功能/模块，属于 feature 之下的结构，并在报告中的 features 中显示，相当于 testcase。

feature 与 story 类似于父子关系。

@allure.step() 与 with allure.step() 的区别

  • 测试过程中每个步骤，一般放在具体逻辑方法中。
  • 可以放在关键步骤中，在报告中显示。
  • 在 App、Web 自动化测试当中，建议每切换到一个新的页面当做一个 step。
  • 用法：
    • @allure.step()：只能以装饰器的形式放在类或者方法上。
    • with allure.step()：可以放在测试用例方法里面，但测试步骤的代码需要被该语句包含。

给测试用例划分优先级

场景：

通常测试有冒烟测试、回归测试、线上验证测试等，那么就需要按照重要性级别来分别执行，比如上线时要把主流程和重要模块都跑一遍。

解决：

  • 通过附加 pytest.mark 标记描述
  • 通过 allure.feature、allure.story 标记描述
  • 通过 allure.severity 直接标记用例级别

根据测试用例的重要性划分测试用例等级，如果没指定等级，默认为 NORMAL 级别：

  • BLOCKER：阻塞缺陷（功能未实现，无法下一步）
  • CRITICAL：严重缺陷（功能点缺失）
  • NORMAL：一般缺陷（边界情况，格式错误）
  • MINOR：次要缺陷（界面错误与ui需求不符）
  • TRIVIAL：轻微缺陷（必须项无提示，或者提示不规范）

步骤：

  1. 在方法、函数和类上面加：@allure.severity(allure.severity_level.TRIVIAL)
  2. 指定执行对应级别的用例：pytest -s -v 文件名 --allure-severities normal, critical

给 Allure 测试报告添加内容（图片、附件、文本、截图、HTML 等）

场景：

  • 前端自动化测试经常需要附加图片或 html，比如在适当的地方、适当的时机截图等。

解决：

  • @allure.attach() 显示许多不同类型的提供的附件，可以补充测试、步骤或测试结果。

步骤：

  • 在测试报告里附加网页：

    • 格式：allure.attach(body(内容), name, attachment_typeextension)
    • 示例：allure.attach('<head>/head><body>首页</body>', '这是错误页的结果信息', allure.attachment_type.HTML)
  • 在测试报告里附加图片：
    • 格式：allure.attach.file(source, name, attachment_type, extension)
    • 示例：allure.attach.file("./result/b.png", attachment_type=allure.attachment_type.PNG)

集成测试管理系统

@allure.link()、@allure.issue()、@allure.testcase() 主要是为了将 Allure 报告和测试管理系统集成，可以更快速地跳转到公司内部地址。

先看看三个装饰器的源码：

def link(url, link_type=LinkType.LINK, name=None):

    return safely(plugin_manager.hook.decorate_as_link(url=url, link_type=link_type, name=name))

def issue(url, name=None):

    return link(url, link_type=LinkType.ISSUE, name=name)

def testcase(url, name=None):

    return link(url, link_type=LinkType.TEST_CASE, name=name)

小结

  • issue() 和 testcase() 其实调用的也是 link()，只是 link_type 不一样。
  • 必传参数 url：跳转的链接。
  • 可选参数 name：显示在 Allure 报告的名字，如果不传就是显示完整的链接（建议传，不然可读性不高）。
  • 可以理解成：三个方法是一样的，我们都提供跳转链接和名字，只是链接的 type 不一样，最终显示出来的样式不一样而已（type 不一样，样式不一样）。
  • 如果你喜欢，只用 @allure.link() 也可以。
  • 而出现三个装饰器的原因是为了更好地将链接进行分类（访问链接、Bug 链接、测试用例链接）。

代码示例

import allure

TEST_CASE_LINK = 'https://github.com/qameta/allure-integrations/issues/8#issuecomment-268313637'

@allure.link('https://www.youtube.com/watch?v=4YYzUTYZRMU')

def test_with_link():

    pass

@allure.link('https://www.youtube.com/watch?v=Su5p2TqZxKU', name='点击我看一看youtube吧')

def test_with_named_link():

    pass

@allure.issue('140', 'bug issue链接')

def test_with_issue_link():

    pass

@allure.testcase(TEST_CASE_LINK, '测试用例地址')

def test_with_testcase_link():

    pass

运行结果，查看 Allure 报告

1）@allure.link() 不传 name 参数时的样式

如下图所示，不传 name 时，当链接很长，可读性就比较差啦。

2）@allure.link() 传了 name 参数时的样式

3）@allure.testcase() 的样式

如下图所示，和 link() 传了 name 参数时一样：

4）@allure.issue() 的样式

如下图所示，多了个虫子样式：

Pytest+Allure 示例的更多相关文章

  1. Pytest+Allure定制报告

    前言: 最近在研究接口自动化的框架,好的测试报告在整个测试框架起到至关重要的部分.终于被我发现一个超好用的报告框架,不仅报告美观,而且方便CI集成. 就是它,就是它:Allure Test Repor ...

  2. appium+pytest+allure+jenkins 如何实现多台手机连接

    使用appium可以实现app自动化测试,我们之前是连接一台手机去运行,如何同时连接多台手机呢?很多人可能想到的是多线程(threading).今天分享一种比多线程更简单的方法,虽然不是多台手机同时运 ...

  3. pytest使用笔记（三）——pytest+allure+jenkins配置使用

    按照pytest使用笔记(二)把pytest+allure配置好后,现在在jenkins配置好,先实现手动构建(立个小目标) 一,安装jenkins插件 首页->系统管理->插件管理,从“ ...

  4. pytest + allure + jenkins 生成漂亮的测试报告

    pytest我在上一篇文章初始pytest中已有介绍,是一个很理想的Python测试框架.Allure是一款非常轻量级并且非常灵活的开源测试报告生成框架. 它支持绝大多数测试框架, 例如TestNG. ...

  5. pytest+allure测试框架搭建

    https://blog.csdn.net/wust_lh/article/details/86685912 https://www.jianshu.com/p/9673b2aeb0d3 定制化展示数 ...

  6. pytest+allure(allure-pytest基于这个插件)设计定制化报告

    一:环境准备 1.python3.6 2.windows环境 3.pycharm 4.allure-pytest 5.allure2.8.0 6.java1.8 allure-pytest快速安装 在 ...

  7. pytest+allure(pytest-allure-adaptor基于这个插件)设计定制化报告

    一:环境准备 1.python3.6 2.windows环境 3.pycharm 4.pytest-allure-adaptor 5.allure2.8.0 6.java1.8 pytest-allu ...

  8. Pytest单元测试框架——Pytest+Allure+Jenkins的应用

    一.简介 pytest+allure+jenkins进行接口测试.生成测试报告.结合jenkins进行集成. pytest是python的一种单元测试框架,与python自带的unittest测试框架 ...

  9. Python+Pytest+Allure+Git+Jenkins接口自动化框架

    Python+Pytest+Allure+Git+Jenkins接口自动化框架 一.接口基础 接口测试是对系统和组件之间的接口进行测试,主要是效验数据的交换,传递和控制管理过程,以及相互逻辑依赖关系. ...

随机推荐

  1. APP 抓包（应用层）

    0x01 前言: app抓包是逆向协议的前提,也是一个爬虫工程师的基本要求,最近发现这块知识非常欠缺就抓紧补补了(我太菜了) 然后接下来是通过vpn将流量导出到抓包软件的方式,而不是通过wifi设置代 ...

  2. 桌面Linux系统的先驱者慕尼黑现在正在考虑切换回Windows

    From: http://arstechnica.com/business/2014/08/linux-on-the-desktop-pioneer-munich-now-considering-a- ...

  3. IDA Pro 6.0使用Qt 框架实现了跨平台的UI

    IDA Pro 6.0使用Qt 框架实现了跨平台的UI.它的好处是插件编写者还可以直接使用 Qt 开发跨平台 UI.但是编剧呢? 在这篇博文中,我们将说明如何使用PySide使用IDAPython为 ...

  4. java基础---枚举类与注解

    一.枚举类 类的对象只有有限个,确定的.我们称此类为枚举类 如果枚举类中只有一个对象,则可以作为单例模式的实现方式. 定义枚举类 方式一:jdk5.0之前,自定义枚举类 public class Se ...

  5. 卧槽，原来不需要FQ就可以构建海外镜像

    一. 背景 使用docker或者k8s的过程中,我们可能遇到镜像无法下载的情况,例如:kubernetes的kube-apiserver镜像,这是因为其仓库在海外,我们的网络被墙,我发获取到该资源,使 ...

  6. Blazor 数据绑定开发指南

    翻译自 Waqas Anwar 2021年3月21日的文章 <A Developer's Guide to Blazor Data Binding> [1] 现如今,大多数 Web 应用程 ...

  7. python使用笔记10--os，sy模块

    os操作文件,可以输入绝对路径,也可以输入相对路径 windows使用路径用\连接 Linux使用路径用/连接 但是我的电脑是windows 用/也没问题 1.os常用方法 1 import os 2 ...

  8. react应用(基于react脚手架)

    使用create-react-app创建react应用 react脚手架 1) xxx脚手架: 用来帮助程序员快速创建一个基于xxx库的模板项目 a. 包含了所有需要的配置 b. 指定好了所有的依赖 ...

  9. Hive——简介

    Hive--简介 Hive 是基于 Hadoop 构建的一套数据仓库分析系统,它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据, 可以将结构化的数据文件映射为一张数据 ...

  10. Java 将Word转为Tiff

    本文以Java代码示例展示如何将Word文档转换为Tiff格式.代码方法比较简单,加载Word文档,并通过saveToTiff(tiffFilename)方法直接保存为tiff格式即可. 1.Java ...