Prometheus自定义指标

1.  自定义指标

为了注册自定义指标，请将MeterRegistry注入到组件中，例如：

public class Dictionary {

    private final List<String> words = new CopyOnWriteArrayList<>();

    Dictionary(MeterRegistry registry) {
        registry.gaugeCollectionSize("dictionary.size", Tags.empty(), this.words);
    }

    // ...

}

如果你的指标依赖于其它bean，那么推荐使用MeterBinder注册这些指标，例如：

@Bean
MeterBinder queueSize(Queue queue) {
    return (registry) -> Gauge.builder("queueSize", queue::size).register(registry);
}

使用MeterBinder可以确保设置正确的依赖关系，并且在检索指标的值时bean是可用的。默认情况下，来自所有MeterBinder bean的指标将自动绑定到Spring管理的MeterRegistry。如果您发现在组件或应用程序之间重复检测一个指标，那么MeterBinder实现也会很有用。

文档参见

https://docs.spring.io/spring-boot/docs/current/reference/html/production-ready-features.html#production-ready-metrics-export-prometheus

https://docs.spring.io/spring-boot/docs/current/reference/html/production-ready-features.html#production-ready-metrics-custom

接下来，还是用之前的prometheus-example那个例子，我们来自定义业务指标

重新回顾一下

依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
    <groupId>io.micrometer</groupId>
    <artifactId>micrometer-registry-prometheus</artifactId>
    <scope>runtime</scope>
</dependency>

application.yml

spring:
  application:
    name: prometheus-example
management:
  endpoints:
    web:
      exposure:
        include: "*"
  metrics:
    tags:
      application: ${spring.application.name}

prometheus.yml

scrape_configs:
  - job_name: 'springboot-prometheus'
    metrics_path: '/actuator/prometheus'
    static_configs:
      - targets: ['192.168.100.93:8080','192.168.100.16:8080']

启动项目

# 启动Prometheus
./prometheus --config.file=prometheus.yml

# 启动Grafana
bin/grafana-server web

下面改造一下，新增一个AOP来模拟记录订单相关指标

package com.cjs.example.aop;

import com.cjs.example.domain.OrderVO;
import io.micrometer.core.instrument.Counter;
import io.micrometer.core.instrument.DistributionSummary;
import io.micrometer.core.instrument.MeterRegistry;
import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Pointcut;
import org.springframework.stereotype.Component;

import javax.annotation.PostConstruct;

/**
 * @author ChengJianSheng
 * @since 2021/3/8
 */
@Aspect
@Component
public class OrderAspect {

    private Counter orderCounter;

    private DistributionSummary orderSummary;

    public OrderAspect(MeterRegistry registry) {
        orderCounter = registry.counter("order_quantity_total", "status", "success");
        orderSummary = registry.summary("order_amount_total", "status", "success");
    }

//    @PostConstruct
//    public void init() {
//
//    }

    @Pointcut("execution(public * com.cjs.example.controller.OrderController.createOrder(..))")
    public void pointcut() {

    }

    @Around("pointcut()")
    public Object doAround(ProceedingJoinPoint pjp) throws Throwable {
        Object result = pjp.proceed();
        OrderVO orderVO = (OrderVO) result;

        orderCounter.increment();
        orderSummary.record(orderVO.getAmount().doubleValue());

        return result;
    }

} 

项目结构如图

用postman造几条数据

为了好看，我们在Grafana上创建一个dashboard，其中包含4个面板，对应四个指标

输入指标、设置名称、选择视图、设置属性

最后，记得保存。现在，我们有三个仪表盘了

2.  自动发现抓取目标

在实际项目中，我们不可能一个一个手动的配置要抓取的目标，每次都去修改prometheus.yml文件，然后再重启服务，想都不要想，不可能这么做。

为此，我们需要动态发现目标。Prometheus支持很多的服务发现配置，比如：zookeeper、eureka、kubernetes等等

详见 https://prometheus.io/docs/prometheus/latest/configuration/configuration/#scrape_config

这里以Eureka为例，看看Prometheus如何从eureka中动态发现服务

https://prometheus.io/docs/prometheus/latest/configuration/configuration/#eureka_sd_config

https://prometheus.io/docs/prometheus/latest/configuration/configuration/#relabel_config

首先，我们创建一个项目当Eureka Server，并启动它

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.4.3</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.example</groupId>
    <artifactId>eureka-server</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>eureka-server</name>
    <properties>
        <java.version>1.8</java.version>
        <spring-cloud.version>2020.0.1</spring-cloud.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-netflix-eureka-server</artifactId>
        </dependency>
    </dependencies>
    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-dependencies</artifactId>
                <version>${spring-cloud.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

application.yml

server:
  port: 8761

eureka:
  instance:
    hostname: localhost
  client:
    registerWithEureka: false
fetchRegistry: false
serviceUrl:
      defaultZone: http://${eureka.instance.hostname}:${server.port}/eureka/ 

启动类上加@EnableEurekaServer

eureka server 启动以后，接下来，我们改造一下刚才的项目prometheus-example

首先引入eureka client，这样的话完成的pom.xml就变成这样了

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.4.3</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.cjs.example</groupId>
    <artifactId>prometheus-example</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>prometheus-example</name>
    <description>Demo project for Spring Boot</description>
    <properties>
        <java.version>1.8</java.version>
        <spring-cloud.version>2020.0.1</spring-cloud.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
        </dependency>

        <dependency>
            <groupId>io.micrometer</groupId>
            <artifactId>micrometer-registry-prometheus</artifactId>
            <scope>runtime</scope>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.aspectj</groupId>
            <artifactId>aspectjweaver</artifactId>
            <version>1.9.6</version>
        </dependency>
    </dependencies>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-dependencies</artifactId>
                <version>${spring-cloud.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

修改application.yml

这里有个地方要注意，原来我们没有加上下文路径（server.servlet.context-path）,但是一般项目是会设置的，所以这次我们也加上。

完整的配置如下：

server:
  port: 8080
  servlet:
    context-path: /hello

spring:
  application:
    name: prometheus-example

management:
  endpoints:
    web:
      exposure:
        include: "*"
  metrics:
    tags:
      application: ${spring.application.name}

eureka:
  client:
    serviceUrl:
      defaultZone: http://192.168.100.93:8761/eureka/
  instance:
    metadata-map:
      "prometheus.scrape": "true"
      "prometheus.path": "${server.servlet.context-path}/actuator/prometheus"
      "prometheus.port": "${server.port}" 

注意：

1、加了server.servlet.context-path以后，抓取的路径就不再是 http://192.168.100.93:8080/actuator/prometheus了，而是变成了 http://192.168.100.93:8080/hello/actuator/prometheus了。之前我们prometheus.yml文件里静态配置抓取目标的metrics_path是/actuator/prometheus，但是现在不能这样写了，因为加了应用上下文路径，而且每个服务都不一样。

2、为了能够根据各服务动态自定义指标路径（metrics_path）,最最重要的是下面这三行

eureka:
  instance:
    metadata-map:
      "prometheus.scrape": "true"
      "prometheus.path": "${server.servlet.context-path}/actuator/prometheus"
      "prometheus.port": "${server.port}" 

prometheus是通过eureka发现服务的，因此只有将服务的指标路径（抓取地址）写到eureka里，prometheus才能拿到

换言之，只有服务在注册的时候，将自己暴露的端点（endpoint）以元数据的方式写到eureka中prometheus才能正确的从目标抓取数据

修改prometheus.yml，改为通过eureka获取抓取目标

scrape_configs:
  - job_name: 'eureka-prometheus'
    eureka_sd_configs:
      - server: http://192.168.100.93:8761/eureka
    relabel_configs:
      - source_labels: [__meta_eureka_app_instance_metadata_prometheus_path]
        action: replace
        target_label: __metrics_path__
        regex: (.+)

https://github.com/prometheus/prometheus/blob/release-2.25/documentation/examples/prometheus-eureka.yml

https://github.com/prometheus/prometheus/blob/main/documentation/examples/prometheus-eureka.yml

https://github.com/prometheus/prometheus/tree/main/documentation/examples

这里不得不提的是relabel_configs

Relabeling（重新标记）是一种强大的工具，可以在抓取目标之前动态重写目标的标签集。每个抓取配置可以配置多个重新标记步骤。 它们按照在配置文件中出现的顺序应用于每个目标的标签集。

Relabeling是在抓取(scraping)前修改target和它的labels

3.  补充：Prometheus存储

Prometheus自带一个本地磁盘时间序列数据库，但也可以选择与远程存储系统集成。

本地存储

Prometheus的本地时间序列数据库在本地存储上以定制的、高效的格式存储数据。

注意，本地存储的一个限制是它没有集群或副本。因此，在驱动器或节点中断时，它不是任意可伸缩或持久的，应该像任何其他单节点数据库一样进行管理。建议使用RAID来提高存储可用性，建议使用快照作为备份。使用适当的架构，可以在本地存储中保留多年的数据。也可以采用外部存储。

TSDB （时间序列数据库，简称时序数据库）

Prometheus具有几个用于配置本地存储的参数。 最重要的是：

• --storage.tsdb.path: Prometheus写入数据库的位置，默认是data/
• --storage.tsdb.retention.time: 什么时候删除旧数据，默认是15天
• --storage.tsdb.retention.size: 要保留的最大存储块字节数。最旧的数据将首先被删除。默认为0或禁用。这个标志是实验性的，在未来的版本中可能会改变。支持的单位:B、KB、MB、GB、TB、PB、EB。例如:“512 mb”

Prometheus平均每个样本仅存储1~2个字节.因此，要规划Prometheus服务器的容量，可以使用以下公式粗略计算：

needed_disk_space = retention_time_seconds * ingested_samples_per_second * bytes_per_sample

Prometheus通过以下三种方式与远程存储系统集成：

• Prometheus可以将其提取的样本以标准格式写入远程URL
• Prometheus可以以标准格式从其他Prometheus服务器接收样本
• Prometheus可以以标准格式从远程URL读取样本数据