JMH测试工具

参考：https://blog.csdn.net/agonie201218/article/details/122333354

1 简介

　　JMH即Java Microbenchmark Harness，JMH(Java Microbenchmark Harness)是用于代码微基准测试的工具套件，主要是基于方法层面的基准测试，精度可以达到纳秒级。

　　该工具是由 Oracle 内部实现 JIT 的大牛们编写的，他们应该比任何人都了解 JIT 以及 JVM 对于基准测试的影响，测试结果可信度高。

　　官网：https://openjdk.org/projects/code-tools/jmh/

2 应用场景

　　当你定位到热点方法，希望进一步优化方法性能的时候，就可以使用 JMH 对优化的结果进行量化的分析。

　　1）想准确地知道某个方法需要执行多长时间，以及执行时间和输入之间的相关性

　　2）对比接口不同实现在给定条件下的吞吐量

　　3）查看多少百分比的请求在多长时间内完成

3 基本使用

3.1 IDEA添加JMH插件

3.2 添加JMH依赖

<!--JMH-->
        <dependency>
            <groupId>org.openjdk.jmh</groupId>
            <artifactId>jmh-core</artifactId>
            <version>1.23</version>
        </dependency>

        <dependency>
            <groupId>org.openjdk.jmh</groupId>
            <artifactId>jmh-generator-annprocess</artifactId>
            <version>1.23</version>
        </dependency>

3.3 准备一个要测试的方法

public class JMHSample_01 {

    static List<Integer> nums = new ArrayList<>();
    static {
        Random r = new Random();
        for (int i = 0; i < 10000; i++) nums.add(1000000 + r.nextInt(1000000));
    }

    public static void foreach() {
        nums.forEach(v->isPrime(v));
    }

    public static boolean isPrime(int num) {
        for(int i=2; i<=num/2; i++) {
            if(num % i == 0) return false;
        }
        return true;
    }

}

3.4 在test下测试

public class JMHSample_01_test {

    @BenchmarkMode(Mode.AverageTime) // 指定mode为Mode.AverageTime
    @Benchmark
    @Warmup(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)
    @Measurement(iterations = 10, time = 1, timeUnit = TimeUnit.SECONDS)
    @Fork(2)
    public  void t(){
        JMHSample_01.foreach();
    }

}

3.5 右键执行

3.5.1 可能出现的错误

打开Run-Edit Configuration → Environment Variables → include system environment viables

3.5.2 执行结果

4 相关注解介绍

4.1 @Benchmark

@Benchmark

　　声明一个public方法为基准测试方法

4.2 @BenchmarkMode

@BenchmarkMode(Mode.AverageTime)

　　通过JMH我们可以轻松的测试出某个接口的吞吐量、平均执行时间等指标的数据。

　　假设我想测试平均耗时，那么可以使用@BenchmarkMode注解指定测试维度为Mode.AverageTime

　　有一下几种模式：

　　　　1）Throughput： 整体吞吐量，比如 QPS，单位时间内的调用量等；

　　　　2）AverageTime： 平均耗时，指的是每次执行的平均时间。如果这个值很小不好辨认，可以把统计的单位时间调小一点；

　　　　3）SampleTime： 随机取样，这和我们在第一课时里聊到的 TP 值是一个概念；

　　　　4）SingleShotTime： 如果你想要测试仅仅一次的性能，比如第一次初始化花了多长时间，就可以使用这个参数，其实和传统的 main 方法没有什么区别；

　　　　5）All： 所有的指标，都算一遍，你可以设置成这个参数看下效果。

4.3 @Measurement

@Measurement(iterations = 10, time = 1, timeUnit = TimeUnit.SECONDS)

　　iterations：测试次数，注意，测试次数不是执行被测试方法的次数，每次测试会执行N次被测试方法

　　time：每次测量的持续时间，timeUnit指定时间单位，本例中：每次测量持续1秒，1秒内执行的被测试方法的次数是不固定的，由方法执行耗时和time决定

4.4 @Warmup

@Warmup(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)

　　为了数据准确，我们可能需要让被测试方法做下热身运动。jvm使用JIT即时编译器，一定的预热次数可让JIT对testGson方法的调用链路完成编译，去掉解释执行对测试结果的影响

　　iterations：预热次数；

　　time与timeUnit：每次预热的持续时间，timeUnit指定时间单位。

4.5 @Fork

@Fork(1)

　　@Fork用于指定fork出多少个子进程来执行同一基准测试方法。

　　fork 的值一般设置成 1，表示只使用一个进程进行测试；如果这个数字大于 1，表示会启用新的进程进行测试；但如果设置成 0，程序依然会运行，不过是这样是在用户的 JVM 进程上运行的，不推荐这么做

4.6 @Threads

@Threads(2)

　　@Threads注解用于指定使用多少个线程来执行基准测试方法，如果使用@Threads指定线程数为2，那么每次测量都会创建两个线程来执行基准测试方法。

　　如果@Measurement注解指定time为1s，基准测试方法的执行耗时为1s，那么如果只使用单个线程，一次测量只会执行一次基准测试方法，如果使用10个线程，一次测量就能执行10次基准测试方法。

4.7 @OutputTimeUnit

@OutputTimeUnit(TimeUnit.NANOSECONDS)

　　OutputTimeUnit注解用于指定输出的方法执行耗时的单位。如果方法执行耗时为秒级别，为了便于 观察结果，我们可以使用@OutputTimeUnit指定输出的耗时时间单位为秒；如果方法执行耗时为毫秒级别，为了便于观察结果，我们可以使用@OutputTimeUnit指定输出的耗时时间单位为毫秒，否则使用默认的秒做单位，会输出10的负几次方这样的数字，不太直观。

4.8 @Group
　　@Group 注解只能加在方法上，用来把测试方法进行归类。如果你单个测试文件中方法比较多，或者需要将其归类，则可以使用这个注解。

　　与之关联的 @GroupThreads 注解，会在这个归类的基础上，再进行一些线程方面的设置。这两个注解都很少使用，除非是非常大的性能测试案例。

4.9 @State
　　@State 指定了在类中变量的作用范围，用于声明某个类是一个“状态”，可以用 Scope 参数用来表示该状态的共享范围。这个注解必须加在类上，否则提示无法运行。

　　Scope 有如下三种值：

　　1）Benchmark ：表示变量的作用范围是某个基准测试类。

　　2）Thread ：每个线程一份副本，如果配置了 Threads 注解，则每个 Thread 都拥有一份变量，它们互不影响。

　　3）Group ：联系上面的 @Group 注解，在同一个 Group 里，将会共享同一个变量实例

　　在官方demo：JMHSample04DefaultState 测试文件中，演示了@Group的使用

4.10 @Setup 和 @TearDown

　　和单元测试框架 JUnit 类似，@Setup 用于基准测试前的初始化动作，@TearDown 用于基准测试后的动作，来做一些全局的配置。

　　这两个注解，同样有一个 Level 值，标明了方法运行的时机，它有三个取值。

　　1）Trial ：默认的级别，也就是 Benchmark 级别。

　　2）Iteration ：每次迭代都会运行。

　　3）Invocation ：每次方法调用都会运行，这个是粒度最细的。

　　如果你的初始化操作，是和方法相关的，那最好使用 Invocation 级别。但大多数场景是一些全局的资源，比如一个 Spring 的 DAO，那么就使用默认的 Trial，只初始化一次就可以。

4.11 @Param
　　@Param 注解只能修饰字段，用来测试不同的参数，对程序性能的影响。配合 @State注解，可以同时制定这些参数的执行范围。

4.12 @CompilerControl

　　这可以说是一个非常有用的功能了。

　　Java 中方法调用的开销是比较大的，尤其是在调用量非常大的情况下。拿简单的getter/setter 方法来说，这种方法在 Java 代码中大量存在。我们在访问的时候，就需要创建相应的栈帧，访问到需要的字段后，再弹出栈帧，恢复原程序的执行。

　　如果能够把这些对象的访问和操作，纳入目标方法的调用范围之内，就少了一次方法调用，速度就能得到提升，这就是方法内联的概念。如下图所示，代码经过 JIT 编译之后，效率会有大的提升

这个注解可以用在类或者方法上，能够控制方法的编译行为，常用的有 3 种模式：

强制使用内联（INLINE），禁止使用内联（DONT_INLINE），甚至是禁止方法编译（EXCLUDE）等。

5 官方demo

http://hg.openjdk.java.net/code-tools/jmh/file/tip/jmh-samples/src/main/java/org/openjdk/jmh/samples/

把官方demo的注解翻译后的demo

https://github.com/Childe-Chen/goodGoodStudy/tree/master/src/main/java/com/cxd/benchmark

6 结果输出形式

　　使用 JMH 测试的结果，可以二次加工，进行图形化展示。结合图表数据，更加直观。通过运行时，指定输出的格式文件，即可获得相应格式的性能测试结果。

　　比如下面这行代码，就是指定输出 JSON 格式的数据

Options opt = new OptionsBuilder()
    .resultFormat(ResultFormatType.JSON)
    .build();

　　JMH 支持 5 种格式结果

　　1）TEXT 导出文本文件。

　　2）CSV 导出 csv 格式文件。

　　3）SCSV 导出 scsv 等格式的文件。

　　4）JSON 导出成 json 文件。

　　5）LATEX 导出到 latex，一种基于 ΤΕΧ 的排版系统。