ExtentReports 结合 TestNg 生成自动化 html 报告 (支持多 suite)

转载：https://testerhome.com/topics/8134

重要说明：报告监听器源码修复一些bug，不再此处更新代码，最新代码可以到github查看最新报告监听器源码

前几天分享了http (s) 接口自动化测试框架 (基于 java)，用的是ReportNg来生成报告，@532589730 同学推荐了下extentreport，这几天看了下了解下，做个分享，准备引入到框架中，废话不多说，开始。

说明

官网地址

1. 使用TestNg的Report监听器，不嵌入具体执行代码，仅需在配置文件中新增监听器即可。
2. 报告文件生成路径为test-output/index.html。（可在代码中修改）
3. 一个suite且一个test配置的情况下，会将执行的用例(method)作为一级节点生成报告。
4. 一个suite且多个test配置的情况下，会将每个test配置作为一级节点，执行用例(method)为对应的子节点
5. 多个suite的情况下，将suite作为一级节点，test配置为二级节点，执行用例(method)为对应的三级节点。（如果suite下只有一个test配置，则不会生成二级节点，直接把执行的用例(method)生成在第二节点中）
6. 代码中使用Report.log("xxx")会将log展示在报告中对应的执行用例(method)中。
7. 自动将suite以及test配置的名字作为执行用例(method)的标签。
8. 如果用例(method)有参数，则会将调用参数的toString()方法作为用例(method)的名字在报告中显示。
9. 已经对执行用例进行按时间排序。（但是多个suite按时间的排序不知道咋处理，求指教。）

代码

pom引用：

<dependency>
   <groupId>com.aventstack</groupId>
  <artifactId>extentreports</artifactId>
  <version>3.0.3</version>
</dependency>

创建TestNg的Report监听器：

import com.aventstack.extentreports.ExtentReports;
import com.aventstack.extentreports.ExtentTest;
import com.aventstack.extentreports.Status;
import com.aventstack.extentreports.model.TestAttribute;
import com.aventstack.extentreports.reporter.ExtentHtmlReporter;
import com.aventstack.extentreports.reporter.configuration.ChartLocation;
import com.aventstack.extentreports.reporter.configuration.Theme;
import org.testng.*;
import org.testng.xml.XmlSuite;

import java.io.File;
import java.util.*;

/**
 * Created by chenwx on 17/3/24.
 */
public class ExtentTestNGIReporterListener implements IReporter {
    //生成的路径以及文件名
    private static final String OUTPUT_FOLDER = "test-output/";
    private static final String FILE_NAME = "index.html";

    private ExtentReports extent;

    @Override
    public void generateReport(List<XmlSuite>  xmlSuites, List<ISuite> suites, String outputDirectory) {
        init();
        boolean createSuiteNode = false;
        if(suites.size()>1){
            createSuiteNode=true;
        }
        for (ISuite suite : suites) {
            Map<String, ISuiteResult>  result = suite.getResults();
            //如果suite里面没有任何用例，直接跳过，不在报告里生成
            if(result.size()==0){
                continue;
            }
            //统计suite下的成功、失败、跳过的总用例数
            int suiteFailSize=0;
            int suitePassSize=0;
            int suiteSkipSize=0;
            ExtentTest suiteTest=null;
            //存在多个suite的情况下，在报告中将同一个一个suite的测试结果归为一类，创建一级节点。
            if(createSuiteNode){
                suiteTest = extent.createTest(suite.getName()).assignCategory(suite.getName());
            }
            boolean createSuiteResultNode = false;
            if(result.size()>1){
                createSuiteResultNode=true;
            }
            for (ISuiteResult r : result.values()) {
                ExtentTest resultNode;
                ITestContext context = r.getTestContext();
                if(createSuiteResultNode){
                    //没有创建suite的情况下，将在SuiteResult的创建为一级节点，否则创建为suite的一个子节点。
                    if( null == suiteTest){
                        resultNode = extent.createTest(r.getTestContext().getName());
                    }else{
                        resultNode = suiteTest.createNode(r.getTestContext().getName());
                    }
                }else{
                    resultNode = suiteTest;
                }
                if(resultNode != null){
                    resultNode.getModel().setName(suite.getName()+" : "+r.getTestContext().getName());
                    if(resultNode.getModel().hasCategory()){
                        resultNode.assignCategory(r.getTestContext().getName());
                    }else{
                        resultNode.assignCategory(suite.getName(),r.getTestContext().getName());
                    }
                    resultNode.getModel().setStartTime(r.getTestContext().getStartDate());
                    resultNode.getModel().setEndTime(r.getTestContext().getEndDate());
                    //统计SuiteResult下的数据
                    int passSize = r.getTestContext().getPassedTests().size();
                    int failSize = r.getTestContext().getFailedTests().size();
                    int skipSize = r.getTestContext().getSkippedTests().size();
                    suitePassSize += passSize;
                    suiteFailSize += failSize;
                    suiteSkipSize += skipSize;
                    if(failSize>0){
                        resultNode.getModel().setStatus(Status.FAIL);
                    }
                    resultNode.getModel().setDescription(String.format("Pass: %s ; Fail: %s ; Skip: %s ;",passSize,failSize,skipSize));
                }
                buildTestNodes(resultNode,context.getFailedTests(), Status.FAIL);
                buildTestNodes(resultNode,context.getSkippedTests(), Status.SKIP);
                buildTestNodes(resultNode,context.getPassedTests(), Status.PASS);
            }
            if(suiteTest!= null){
                suiteTest.getModel().setDescription(String.format("Pass: %s ; Fail: %s ; Skip: %s ;",suitePassSize,suiteFailSize,suiteSkipSize));
                if(suiteFailSize>0){
                    suiteTest.getModel().setStatus(Status.FAIL);
                }
            }

        }
//        for (String s : Reporter.getOutput()) {
//            extent.setTestRunnerOutput(s);
//        }

        extent.flush();
    }

    private void init() {
        //文件夹不存在的话进行创建
        File reportDir= new File(OUTPUT_FOLDER);
        if(!reportDir.exists()&& !reportDir .isDirectory()){
            reportDir.mkdir();
        }
        ExtentHtmlReporter htmlReporter = new ExtentHtmlReporter(OUTPUT_FOLDER + FILE_NAME);
        htmlReporter.config().setDocumentTitle("api自动化测试报告");
        htmlReporter.config().setReportName("api自动化测试报告");
        htmlReporter.config().setChartVisibilityOnOpen(true);
        htmlReporter.config().setTestViewChartLocation(ChartLocation.TOP);
        htmlReporter.config().setTheme(Theme.STANDARD);
        htmlReporter.config().setCSS(".node.level-1  ul{ display:none;} .node.level-1.active ul{display:block;}");
        extent = new ExtentReports();
        extent.attachReporter(htmlReporter);
        extent.setReportUsesManualConfiguration(true);
    }

    private void buildTestNodes(ExtentTest extenttest,IResultMap tests, Status status) {
        //存在父节点时，获取父节点的标签
        String[] categories=new String[0];
        if(extenttest != null ){
            List<TestAttribute> categoryList = extenttest.getModel().getCategoryContext().getAll();
            categories = new String[categoryList.size()];
            for(int index=0;index<categoryList.size();index++){
                categories[index] = categoryList.get(index).getName();
            }
        }

        ExtentTest test;

        if (tests.size() > 0) {
            //调整用例排序，按时间排序
            Set<ITestResult> treeSet = new TreeSet<ITestResult>(new Comparator<ITestResult>() {
                @Override
                public int compare(ITestResult o1, ITestResult o2) {
                    return o1.getStartMillis()<o2.getStartMillis()?-1:1;
                }
            });
            treeSet.addAll(tests.getAllResults());
            for (ITestResult result : treeSet) {
                Object[] parameters = result.getParameters();
                String name="";
                //如果有参数，则使用参数的toString组合代替报告中的name
                for(Object param:parameters){
                    name+=param.toString();
                }
                if(name.length()>0){
                    if(name.length()>50){
                        name= name.substring(0,49)+"...";
                    }
                }else{
                    name = result.getMethod().getMethodName();
                }
                if(extenttest==null){
                    test = extent.createTest(name);
                }else{
                    //作为子节点进行创建时，设置同父节点的标签一致，便于报告检索。
                    test = extenttest.createNode(name).assignCategory(categories);
                }
                //test.getModel().setDescription(description.toString());
                //test = extent.createTest(result.getMethod().getMethodName());
                for (String group : result.getMethod().getGroups())
                    test.assignCategory(group);

                List<String> outputList = Reporter.getOutput(result);
                for(String output:outputList){
                    //将用例的log输出报告中
                    test.debug(output);
                }
                if (result.getThrowable() != null) {
                    test.log(status, result.getThrowable());
                }
                else {
                    test.log(status, "Test " + status.toString().toLowerCase() + "ed");
                }

                test.getModel().setStartTime(getTime(result.getStartMillis()));
                test.getModel().setEndTime(getTime(result.getEndMillis()));
            }
        }
    }

    private Date getTime(long millis) {
        Calendar calendar = Calendar.getInstance();
        calendar.setTimeInMillis(millis);
        return calendar.getTime();
    }
}

testng配置文件新增监听器：

<listeners>
  <!-- class-name的值填写为时间创建的监听器的路径 -->
  <listener class-name="test.sen.example.ExtentTestNGIReporterListener"></listener>
</listeners>

例子：

测试代码：

package test.sen.example;

import org.testng.Assert;
import org.testng.Reporter;
import org.testng.annotations.BeforeSuite;
import org.testng.annotations.DataProvider;
import org.testng.annotations.Test;

import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

/**
 * Created by chenwx on 17/3/22.
 */
public class ReportTest {

    @DataProvider(name = "createData")
    public Iterator<Object[]> createData(){
        List<Object[]> dataProvider = new ArrayList<Object[]>();
        for (int i=0;i<2;i++){
            String[] s = {String.format("我是第（%s）个参数",i)};
            dataProvider.add(s);
        }
        return  dataProvider.iterator();
    }

    @Test(dataProvider = "createData")
    public void dataProviderTest(String s){
        //输出log会在报告中提现
        Reporter.log("获取到参数："+s,true);
        Assert.assertTrue(s.length()>2," 成功？失败？");
    }

    @Test
    public void testTrue() {
        Assert.assertTrue(true,"成功咯!");
    }

    @Test
    public void testFail() {
        Assert.fail("失败咯!");
    }
}

testng-suite1.xml:单suite多test

<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" >
<suite name="suite1下有多test" verbose="1" preserve-order="true" parallel="false">
    <test name="有参数的用例的test">
        <classes>
            <class name="test.sen.example.ReportTest">
                <methods>
                    <include name="dataProviderTest"></include>
                </methods>
            </class>
        </classes>
    </test>
    <test name="成功的test">
        <classes>
            <class name="test.sen.example.ReportTest">
                <methods>
                    <include name="testTrue"></include>
                </methods>
            </class>
        </classes>
    </test>
    <listeners>
        <listener class-name="test.sen.example.ExtentTestNGIReporterListener"></listener>
        <!--<listener class-name="test.sen.example.ExtentTestNGITestListener"></listener>-->
    </listeners>
</suite>

执行结果：

 

testng-suite2.xml:单suite单test

<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" >
<suite name="suite2只有一个test" verbose="1" preserve-order="true" parallel="false">
    <test name="失败用例">
        <classes>
            <class name="test.sen.example.ReportTest">
                <methods>
                    <include name="testFail"></include>
                </methods>
            </class>
        </classes>
    </test>
    <listeners>
        <listener class-name="test.sen.example.ExtentTestNGIReporterListener"></listener>
        <!--<listener class-name="test.sen.example.ExtentTestNGITestListener"></listener>-->
    </listeners>
</suite>

执行结果：

 

testng.xml:多suite多test

<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" >
<suite name="多个suite测试" verbose="1" preserve-order="true" parallel="false">
    <suite-files>
        <suite-file path="testng-suite1.xml"></suite-file>
        <suite-file path="testng-suite2.xml"></suite-file>
    </suite-files>
    <listeners>
        <listener class-name="test.sen.example.ExtentTestNGIReporterListener"></listener>
        <!--<listener class-name="test.sen.example.ExtentTestNGITestListener"></listener>-->
    </listeners>
</suite>

执行结果：