黑盒监控blackbox_exporter

前边介绍有很多exporter可以直接将metrics暴露给Prometheus进行监控,这些称为“白盒监控”,那些exporter无法监控到的指标呢?或者未暴露Metrics给Prometheus的一些服务怎么办?这时就要用到 blackbox_exporte “黑盒监控”。
blackbox_exporte支持用户通过:HTTP、HTTPS、DNS、TCP和ICMP的方式对网络进行探测,还可以探测SSL证书过期时间。

部署及使用blackbox_exporter

部署blackbox_exporter

这里以linux二进制部署为例:
  1. 下载安装包
  1. curl -LO https://github.com/prometheus/blackbox_exporter/releases/download/v0.22.0/blackbox_exporter-0.22.0.linux-amd64.tar.gz
  1. 展开程序包:
  1. tar xf blackbox_exporter-0.22.0.linux-amd64.tar.gz -C /usr/local/
  2. ln -sv /usr/local/blackbox_exporter-0.22.0.linux-amd64 /usr/local/blackbox_exporter
  1. 创建用户,或prometheus用户已经存在,可略过该步骤:
  1. useradd -r prometheus
  1. 创建Systemd Unitfile,保存于/usr/lib/systemd/system/blackbox_exporter.service文件中:
  1. [Unit]
  2. Description=blackbox_exporter
  3. After=network.target
  4.  
  5. [Service]
  6. Type=simple
  7. User=root
  8. Group=root
  9. ExecStart=/usr/local/blackbox_exporter/blackbox_exporter \
  10. --config.file=/usr/local/blackbox_exporter/blackbox.yml \
  11. --web.listen-address=:9115
  12. Restart=on-failure
  13.  
  14. [Install]
  15. WantedBy=multi-user.target
  1. 启动服务:
  1. systemctl daemon-reload
  2. systemctl start blackbox_exporter.service
  3. systemctl enable blackbox_exporter.service
  1. 验证监听的端口,并测试访问其暴露的指标
  1. ss -tnlp | grep '9115'
  2. curl localhost:9115/metrics
随后即可访问Blackbox Exporter的Web UI,其使用的URL如下,其中的<host_ip>要替换为节点的实际地址:http://<host_ip>:9115/

icmp监控,监控主机存活状态

prometheus 添加相关监控,Blackbox 使用默认配置启动即可
vi /usr/local/prometheus/prometheus.yml
  1. - job_name: "icmp_ping"
  2. metrics_path: /probe
  3. params:
  4. module: [icmp] # 使用icmp模块
  5. file_sd_configs:
  6. - refresh_interval: 10s #检测时间间隔
  7. files:
  8. - "ping/ping_status*.yml" #具体的配置文件路径
  9. relabel_configs:
  10. - source_labels: [__address__]
  11. regex: (.*)(:80)?
  12. target_label: __param_target
  13. replacement: ${1}
  14. - source_labels: [__param_target]
  15. target_label: instance
  16. - source_labels: [__param_target]
  17. regex: (.*)
  18. target_label: ping
  19. replacement: ${1}
  20. - source_labels: []
  21. regex: .*
  22. target_label: __address__
  23. replacement: 127.0.0.1:9115

这里有很多relabel的操作,下篇博客会详细讲解

创建对应的ping目录
  1. cd /usr/local/prometheus/
  2. mkdir ping
  3. cd ping
vi ping_status.yml
  1. - targets: ['monitor.example.com']
  2. labels:
  3. group: '跳板机'
  4. - targets: ['10.xx.xx.xx','10.xx.xx.xx','10.xx.xx.xx']
  5. labels:
  6. group: 'k8s cluster'
  7. - targets: ['www.baidu.com']
  8. labels:
  9. group: '百度'
配置完成后,可以检查配置文件语法,并让Prometheus重载配置。
  1. ./promtool check config prometheus.yml
  2. curl -XPOST monitor.example.com:9090/-/reload
打开Prometheus web UI,可以看到,已经监控到了主机icmp情况:

http监控

编辑prometheus的主配置文件prometheus.yml,添加类似如下内容,即可用户对目标站点的探测。
  1. # Blackbox Exporter
  2. - job_name: 'http_get_status'
  3. metrics_path: /probe
  4. params:
  5. module: [http_2xx] # Look for a HTTP 200 response.
  6. file_sd_configs:
  7. - refresh_interval: 2m
  8. files:
  9. - "httpget/http_get*.yml" #具体的配置文件
  10. relabel_configs:
  11. - source_labels: [__address__]
  12. target_label: __param_target
  13. - source_labels: [__param_target]
  14. target_label: instance
  15. - target_label: __address__
  16. replacement: "monitor.example.com:9115" # 指向实际的Blackbox exporter.
  17. - target_label: region
  18. replacement: "local"
vi httpget/http_get.yml
  1. static_configs:
  2. - targets:
  3. - "https://monitor.example.com"
  4. - "http://monitor.example.com:8080"
  5. - "www.google.com"
  6. refresh_interval: 2m
重新加载Prometheus
  1. curl -XPOST monitor.example.com:9090/-/reload
展示:
这里要注意,blackbox下并不是prometheus中State状态为UP就认为是正常状态,其实并不然,这里我们随便写一个不存在的域名,例如:http://www.buzhida2222o.com,这里看也是UP状态:
但实际看其的metrics指标并不正常,探活的指标是失败,这里不确定是BUG还是怎样。

tcp端口监控

大体的步骤都是一致的,这里就直接上配置:
  1. - job_name: 'tcp_port_status'
  2. metrics_path: /probe
  3. params:
  4. module: [tcp_connect]
  5. static_configs:
  6. - targets: ['monitor.example.com:80','monitor.example.com:8080','monitor.example.com:443']
  7. labels:
  8. instance: 'port_status'
  9. group: 'tcp'
  10. relabel_configs:
  11. - source_labels: [__address__]
  12. target_label: __param_target
  13. - source_labels: [__param_target]
  14. target_label: instance
  15. - target_label: __address__
  16. replacement: monitor.example.com:9115
成功监控:
至此,黑盒监控中常用的一些功能介绍完毕,监控项配置完毕后,可以通过导入dashboard到grafana来更直观的查看监控数据。

自定义blackbox.yml

blackbox的默认监控配置也可以进行自定义修改,例如http GET添加一些headers,设置boby_size_limit值或判断一些response body是否符合预期,还有一些TLS的设置等等,我们可以参考官网文档中给出的example来进行自定义:
  1. # github地址
  2. https://github.com/prometheus/blackbox_exporter
  3.  
  4. # github中blackbox.yml各配置项解析
  5. blackbox_exporter/CONFIGURATION.md at master · prometheus/blackbox_exporter · GitHub
  6.  
  7. # github中example文件
  8. blackbox_exporter/example.yml at master · prometheus/blackbox_exporter · GitHub
这里我们做一个演示https及私有TLS证书的演示,监控证书过期时间。
首先需要更改默认的vim blackbox.yml
  1. modules:
  2. http_2xx:
  3. prober: http
  4. http:
  5. preferred_ip_protocol: "ip4"
  6. valid_http_versions: ["HTTP/1.1", "HTTP/2"]
  7. valid_status_codes: [200,301,302,303]
  8. tls_config:
  9. insecure_skip_verify: true
  10. http_ca_example:
  11. prober: http
  12. http:
  13. method: GET
  14. preferred_ip_protocol: "ip4"
  15. valid_http_versions: ["HTTP/1.1", "HTTP/2"]
  16. fail_if_ssl: false
  17. fail_if_not_ssl: true
  18. tls_config:
  19. insecure_skip_verify: false
  20. ca_file: /usr/local/blackbox_exporter/certs/ca.crt
  21. cert_file: /usr/local/blackbox_exporter/certs/server.crt
  22. key_file: /usr/local/blackbox_exporter/certs/server.key
http_2xx:
在此模块的基础上添加了请求状态码的校验,并设置了tls校验直接跳过,这种就比较省事,可以直接跳过证书的校验。
http_ca_example:
此模块为新增,主要配置了tls证书的一些配置,添加ca、证书和私钥的文件位置,使blackbox请求时带着证书。
配置完成后,重启blackbox服务:
  1. systemctl restart blackbox_exporter.service
然后配置prometheus.yml添加对应模块的使用:
  1. - job_name: 'http_get_status'
  2. metrics_path: /probe
  3. params:
  4. module: [http_2xx] # Look for a HTTP 200 response.
  5. file_sd_configs:
  6. - refresh_interval: 2m
  7. files:
  8. - "httpget/http_get*.yml" #具体的配置文件
  9. relabel_configs:
  10. - source_labels: [__address__]
  11. target_label: __param_target
  12. - source_labels: [__param_target]
  13. target_label: instance
  14. - target_label: __address__
  15. replacement: "monitor.example.com:9115" # 指向实际的Blackbox exporter.
  16. - target_label: region
  17. replacement: "local"
  18.  
  19. - job_name: 'http_get_ca_status'
  20. metrics_path: /probe
  21. params:
  22. module: [http_ca_example]
  23. file_sd_configs:
  24. - refresh_interval: 2m
  25. files:
  26. - "httpget/http_ca.yml"
  27. relabel_configs:
  28. - source_labels: [__address__]
  29. target_label: __param_target
  30. - source_labels: [__param_target]
  31. target_label: instance
  32. - target_label: __address__
  33. replacement: "monitor.example.com:9115" # 指向实际的Blackbox exporter.
  34. - target_label: region
  35. replacement: "beijing"
在对应的发现文件中,配置主机并重新加载prometheus配置,并查看监控状态:
  1. curl -XPOST monitor.example.com:9090/-/reload
搜索指标
  1. probe_http_duration_seconds{phase="tls"}

证书过期时间已经获取成功,这个时候可以导入ID为13230的Dashboard到Grafana,然后再设置一个告警rule,就可以完成TLS证书过期监控啦。
最终效果:
 
 

Prometheus-2:blackbox_exporter黑盒监控的更多相关文章

  1. Prometheus 监控之 Blackbox_exporter黑盒监测

    Prometheus 监控之 Blackbox_exporter黑盒监测 1.blackbox_exporter概述 1.1 Blackbox_exporter 应用场景 2.blackbox_exp ...

  2. prometheus 配置容器 cadvisor监控节点

    安装cadvisor docker run \ --volume=/:/roofs:ro \ --volume=/var/run:/var/run:rw \ --volume=/sys:/sys:ro ...

  3. 理解OpenShift(7):基于 Prometheus 的集群监控

    理解OpenShift(1):网络之 Router 和 Route 理解OpenShift(2):网络之 DNS(域名服务) 理解OpenShift(3):网络之 SDN 理解OpenShift(4) ...

  4. prometheus + grafana部署RabbitMQ监控

    prometheus + grafana部署RabbitMQ监控 1.grafana导入dashboards https://grafana.com/dashboards/2121   2.expor ...

  5. 基于Prometheus和Grafana的监控平台 - 运维告警

    通过前面几篇文章我们搭建好了监控环境并且监控了服务器.数据库.应用,运维人员可以实时了解当前被监控对象的运行情况,但是他们不可能时时坐在电脑边上盯着DashBoard,这就需要一个告警功能,当服务器或 ...

  6. Centos7.X 搭建Prometheus+node_exporter+Grafana实时监控平台

    Prometheus简介 什么是 Prometheus Prometheus是一个开源监控报警系统和时序列数据库 主要功能 多维数据模型(时序由 metric 名字和 k/v 的 labels 构成) ...

  7. Prometheus+Grafana通过kafka_exporter监控kafka

    Prometheus+Grafana通过kafka_exporter监控kafka 一.暴露 kafka-metric 方式 二.jmx_exporter方式 2.1 下载jmx_prometheus ...

  8. Docker监控平台prometheus和grafana,监控redis,mysql,docker,服务器信息

    Docker监控平台prometheus和grafana,监控redis,mysql,docker,服务器信息 一.通过redis_exporter监控redis 1.1 下载镜像 1.2 运行服务 ...

  9. Grafana+Prometheus 搭建 JuiceFS 可视化监控系统

    作为承载海量数据存储的分布式文件系统,用户通常需要直观地了解整个系统的容量.文件数量.CPU 负载.磁盘 IO.缓存等指标的变化. JuiceFS 没有重复造轮子,而是通过 Prometheus 兼容 ...

  10. 【Prometheus+Grafana系列】监控MySQL服务

    前言 前面的一篇文章已经介绍了 docker-compose 搭建 Prometheus + Grafana 服务.当时实现了监控服务器指标数据,是通过 node_exporter.Prometheu ...

随机推荐

  1. golang 必会之 pprof 监控系列(5) —— cpu 占用率 统计原理

    golang pprof 监控系列(5) -- cpu 占用率 统计原理 大家好,我是蓝胖子. 经过前面的几节对pprof的介绍,对pprof统计的原理算是掌握了七八十了,我们对memory,bloc ...

  2. oss/obs对象存储上传图片,在浏览器输入地址却是下载图片。不能直接在浏览器上查看。

    1.问题oss/obs对象存储上传图片获取链接地址后,在浏览器输入地址却是下载.不能直接在浏览器上面浏览图片信息.2.解决上传文件的时候需要设置:content-type类型,需要指示浏览器这是什么类 ...

  3. Mysql查询执行报错Packet for query is too large (6,831,159 > 4,194,304)

    根据意思可以看出 mysql执行的报文过大.需要我们设置允许的最大报文max_allowed_packet: org.springframework.dao.TransientDataAccessRe ...

  4. Linux驱动开发环境-Kernel源码安装

    开如学习LDD3这本书. 我是在Fedora18上学习的,但我安装的这个版本,/usr/src/下面没有相应的源代码. 自己从KERNEL网站下载相应版本源码(安装驱动有问题) 于是从kernel的网 ...

  5. Ajax 以及 Ajax基于Promise封装

    AJAX - 创建 XMLHttpRequest 对象 var xmlhttp = new XMLHttpRequest(); 通过打印实例对象我们发现,我们打印的是 xmlhttp 对象,里面所有的 ...

  6. [双目视差] 单双目MATLAB 相机标定(一)单目摄像机标定

    文章目录 单双目MATLAB 相机标定(一)单目摄像机标定 一.环境准备 二.标定过程 单双目MATLAB 相机标定(一)单目摄像机标定 一.环境准备 MATLAB R2014a+windows7 6 ...

  7. drf重写authenticate方法实现多条件登录(源码分析)

    drf重写authenticate方法实现多条件登录(源码分析) 1. 思路 JWT拓展的登录视图中, 在接受到用户名和密码时, 调用的也是Django的认证系统中提供的authenticate()来 ...

  8. 2023-04-22:给你两个正整数数组 nums 和 target ,两个数组长度相等。 在一次操作中,你可以选择两个 不同 的下标 i 和 j , 其中 0 <= i, j < nums.leng

    2023-04-22:给你两个正整数数组 nums 和 target ,两个数组长度相等. 在一次操作中,你可以选择两个 不同 的下标 i 和 j , 其中 0 <= i, j < num ...

  9. .NET6 + EF Core + MySQL 创建实体和数据库、EFCore 数据迁移

    前言 接上期文章<.NET6项目连接数据库方式方法>,有人问了我几个问题,现在就这几个问题,拓展延申一下创建实体类.数据库.把ORM框架和数据迁移都写进去. 安装ORM框架,这里我们采用E ...

  10. 计算机网络 VRRP和DHCP

    目录 一.vrrp概念 二.vrrp工作过程 三.vrrp优先级 四.vrrp实验 五.DHCP概念 六.DHCP工作过程 七.DHCP实验 一.vrrp概念 概念:称虚拟路由器冗余协议,当网关路由器 ...