这期的分享是监控实战,其实不想写这篇的,因为网上相关的文章也挺多的,但是出于光说不练都是假把式,而且也想告诉你:当帅气的普罗米修斯(Prometheus)遇到高颜值的格拉法纳(Grafana)究竟会擦出什么样的火花?所以忍不住还是想分享啊。

为了实战,我们再次请出架构图,请注意图中红色圈 1 的部分,主要分两条线去实战。

第一条战线:Prometheus 如何监控机器?

采用标准的PGOne技术组件Prometheus Server + Grafana + node_exporter完成对机器的性能监控。

第二条战线:Prometheus 如何监控 flink?

采用技术组件client lib(flink-metrics-prometheus_x.jar) + PushGateway + Prometheus Server + Grafana完成对 flink 的监控。

1. Prometheus 如何监控机器?

工欲善其事必先利其器,先下载相关组件包。prometheus 提供了两种下载方式,第一种是二进制压缩包的方式,第二种是 docker 镜像的方式。

#方式1:二进制压缩包下载链接
https://prometheus.io/download/ #方式2:docker镜像链接
https://hub.docker.com/u/prom

本次实战均采用 docker 镜像下载。

docker pull prom/node-exporter
docker pull prom/prometheus
docker pull grafana/grafana

  

下载完成成, 输入命令 docker images 列出本地主机上的镜像(由于pushgateway镜像之前在本机已经下载过,你如果第一次跟着做,应该看不到这个,后面操作会进行下载)。

做好准备工作。

#创建 grafana 数据存储目录
mkdir /opt/grafana-storage
#因为 grafana 会在这个目录写入文件,赋权限。
chmod 777 -R /opt/grafana-storage
#创建 prometheus 配置文件存放目录
mkdir /opt/prometheus/
#在 prometheus 配置文件目录下,创建prometheus.yml文件
vi /opt/prometheus/prometheus.yml
# prometheus.yml中配置静态监控对象 targets,输入如下配置内容(请注意修改 IP 为你的真实 IP):
global:
scrape_interval: 60s
evaluation_interval: 60s scrape_configs:
- job_name: prometheus
static_configs:
- targets: ['localhost:9090']
labels:
instance: 'prometheus' - job_name: linux
static_configs:
- targets: ['IP:9100']
labels:
instance: 'linux'

  

准备就绪,逐个启动组件。

# 启动 node-exporter
docker run -d -p 9100:9100 -v "/proc:/host/proc:ro" -v "/sys:/host/sys:ro" -v "/:/rootfs:ro" --net="host" prom/node-exporter
# 启动 prometheus
docker run -d -p 9090:9090 -v /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus
# 启动 grafana
docker run -d -p 3000:3000 --name=grafana -v /opt/grafana-storage:/var/lib/grafana grafana/grafana

  

确认一下是否都启动了,输入 docker ps -a 一探究竟。

再次确认一下服务是否都 OK 了, 逐个访问一下。

  • node_exporter 访问输入 http://YOUR_CONF_IP:9100/metrics,效果如下

  • Prometheus 访问输入 http://YOUR_CONF_IP:9090/targets,效果如下

  • Grafana 访问输入 http://YOUR_CONF_IP:3000,效果如下

默认用户名密码 : admin/admin

点击 Add data source,选择 Prometheus。

配置url 输入Prometheus的 ip + 端口,然后点击 Save&Test 按钮,会提示Data source is working。

回到首页,点击 New dashboard --> Add Query。

Panel Title 下拉菜单选择 edit,输入指标会自动提示呦。

效果所见即所得。

到这儿,采用 Prometheus Server + Grafana + node_exporter 对机器性能指标监控的实战,就算演示操作完毕,点到为止,接下来看看 flink 监控如何集成。

2. Prometheus 如何监控 flink?

第一步:下载 pushgateway 镜像,并完成启动。

# 下载 pushgateway 镜像
docker pull prom/pushgateway # 启动 pushgateway
docker run -d -p 9091:9091 prom/pushgateway

  

第二步:在 prometheus.yml 中添加 pushgateway 的配置,用于告诉 Prometheus 监控 pushgateway,并重新启动 prometheus。

global:
scrape_interval: 60s
evaluation_interval: 60s scrape_configs:
- job_name: prometheus
static_configs:
- targets: ['localhost:9090']
labels:
instance: 'prometheus' - job_name: linux
static_configs:
- targets: ['IP:9100']
labels:
instance: 'linux'
- job_name: 'pushgateway'
static_configs:
- targets: ['IP:9091']
labels:
instance: 'pushgateway'

  

第三步:针对 flink 添加监控集成包,直接把 flink-1.8.1/opt 目录下的 flink-metrics-prometheus-1.8.1.jar 包复制一份到 flink-1.8.1/lib 目录下即可。

第四步:然后在 flink 配置文件 flink-conf.yml 中添加如下内容(注意修改IP),启动 flink 即可。

##metrics
metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
metrics.reporter.promgateway.host: YOUR_CONF_IP
metrics.reporter.promgateway.port: 9091
metrics.reporter.promgateway.jobName: myJob
metrics.reporter.promgateway.randomJobNameSuffix: true
metrics.reporter.promgateway.deleteOnShutdown: false

  

第五步:回到 Grafana 首页,点击 New dashboard,创建一个新的 dashboard,选择 flink(注意如果没有出现 flink,那说明 flink 没有启动)。

选择并添加相关指标看一看。

好了,到这 Prometheus 监控 flink 也就完毕了,后续就是监控指标如何展示的更好的问题,不再赘述。

3. 有钟意的 dashboard,Grafana 如何让她变成自己的?

网站 https://grafana.com/grafana/dashboards 提供了一系列的模板,可供使用,那该如何导入到自己的 Grafana 下呢?

第一步:选择钟意的 dashboard,获取对应的 dashboard 编号。

第二步:回到自己的 Grafana 首页,选择"+" --> Import

然后输入 Copy 的 dashboard 编号,点击 load。

效果所见即所得,高端大气上档次。

好了,帅气的 Prometheus 与高颜值的 Grafana 擦出的烟火就放到这儿吧。不过在结束之前,还是归拢一下本次演示遇到的问题吧,以供你参考。

4. 问题集锦

问题一:Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

linux解决方案
systemctl daemon-reload
systemctl restart docker.service mac下直接启动 docker 服务就行了。

  

问题二:Get http://localhost:9100/metrics: dial tcp [::1]:9100: connect: connection refused

解决方案:修改 prometheus.yml 文件中 targets: ['localhost:PORT'] 中的 localhost:PORT 修改为真实 IP:PORT 就行了。

问题三:启动 grafana 时始终失败。

mkdir: cannot create directory '/var/lib/grafana/plugins': Permission denied
GF_PATHS_DATA='/var/lib/grafana' is not writable.
You may have issues with file permissions, more information here: http://docs.grafana.org/installation/docker/#migration-from-a-previous-version-of-the-docker-container-to-5-1-or-later

解决方案:chmod 777 /opt/grafana-storage

问题四:Prometheus 监控 flink 时,始终找不到 PrometheusPushGatewayReporter。

java.lang.ClassNotFoundException: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter

解决方案:直接把 flink-1.8.1/opt 目录下的 flink-metrics-prometheus-1.8.1.jar 包复制一份到 flink-1.8.1/lib 目录下即可。

5. 命令集锦

docker pull prom/node-exporter  //拉取镜像
docker images //查看本机所有镜像
docker run ... //创建一个新的容器
docker stop $(docker ps -a -q) //停止所有容器
docker rm $(docker ps -a -q) //删除所有容器
docker logs -f --tail=10 CONTAINER_ID //查看容器的最后10行的日志

  

好了,每天进步一点点, 一年后你的进步将远远超乎你的想象。如果感觉文章有点意思,请多多分享转发吧。

监控实战Prometheus+Grafana的更多相关文章

  1. Spring Boot Metrics监控之Prometheus&Grafana(转)

    欢迎来到Spring Boot Actuator教程系列的第二部分.在第一部分中,你学习到了spring-boot-actuator模块做了什么,如何配置spring boot应用以及如何与各样的ac ...

  2. 机房ping监控 smokeping+prometheus+grafana

    一.前言 1.本监控方案主要由smokeping+promethues+grafana组成.smokeping主要数据采集,promethues作为数据存储,grafana数据展示 2.其实smoke ...

  3. 机房ping监控 smokeping+prometheus+grafana(续) 自动获取各省省会可用IP

    一.前言 1.之前的文章中介绍了如何使用smokeping监控全国各省的网络情况:https://www.cnblogs.com/MrVolleyball/p/10062231.html 2.由于之前 ...

  4. 【k8s 硬盘监控】prometheus grafana

    设置监控哪块盘: https://www.bountysource.com/issues/50160777-disk-space-usage-depcited-in-grafana-correct h ...

  5. 实战 Prometheus 搭建监控系统

    实战 Prometheus 搭建监控系统 Prometheus 是一款基于时序数据库的开源监控告警系统,说起 Prometheus 则不得不提 SoundCloud,这是一个在线音乐分享的平台,类似于 ...

  6. Prometheus(一):Prometheus+Grafana 安装配置

    一.基础环境 系统 IP 监控主机 CentOS 7 192.168.56.200 被监控主机 CentOS 7 192.168.56.201 二.Prometheus服务端安装 以下操作皆在监控主机 ...

  7. k8s实战之部署Prometheus+Grafana可视化监控告警平台

    写在前面 之前部署web网站的时候,架构图中有一环节是监控部分,并且搭建一套有效的监控平台对于运维来说非常之重要,只有这样才能更有效率的保证我们的服务器和服务的稳定运行,常见的开源监控软件有好几种,如 ...

  8. Prometheus Grafana监控全方位实践

    这次就不用 docker 部署服务了,这样大家会更容易接受.欢迎阅读. 引言 Prometheus 是一个监控系统,也是一个时间序列数据库,用Go语言开发的,官方文档.通过从某些特定的目标如主机,My ...

  9. K8S的Kafka监控(Prometheus+Grafana)

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...

随机推荐

  1. sentinel 规则持久化到nacos

    问题描述 Sentinel Dashboard中添加的规则是存储在内存中的,只要项目一重启规则就丢失了 此处将规则持久化到nacos中,在nacos中添加规则,然后同步到dashboard中: 后面研 ...

  2. 智慧港口——基于二三维一体化GIS的港口可视化监管平台

    “智慧港口”是以现代化基础设施设备为基础,以云计算.大数据.物联网.移动互联网.智能控制等新一代信息技术与港口运输业务深度融合为核心,以港口运输组织服务创新为动力,以完善的体制机制.法律法规.标准规范 ...

  3. 【设计思想】MVC模式

    MVC 模式 MVC 模式(三层架构模式) MVC模式(Model-View-Controller, MVC): 是软件工程中的一种软件架构模式,把软件系统分为三个基本部分:模型(Model).视图( ...

  4. Elasticsearch数据建模笔记

    数据建模 数据建模是创建数据模型的过程 数据模型是对真实世界进行抽象描述的一种工具和方法,实现对现实世界的映射 三个过程:概念模型=>逻辑模型=>数据模型 数据模型:结合具体的数据库,在满 ...

  5. JAVA设计模式之-模板方法+(钩子函数)

    1.定义 允许子类对父类的一个或多个步骤进行重写.例如聚合支付场景中有很多共同的步骤,比如验签.四要素验证.风控等等,但是在支付的时候走不同的渠道可能在调用和参数上有很大的不同,比如有的是xml,有的 ...

  6. Java 内存模型都不会,就敢在简历上写熟悉并发编程吗

    从 PC 内存架构到 Java 内存模型 你知道 Java 内存模型 JMM 吗?那你知道它的三大特性吗? Java 是如何解决指令重排问题的? 既然CPU有缓存一致性协议(MESI),为什么 JMM ...

  7. 利用JDBC工具类添加和查询数据-Java(新手)

    JDBC工具类: 1 package cn.lxr.jdbclx; 2 3 import java.sql.*; 4 5 public class JDBCUtils { 6 private stat ...

  8. 基于.NetCore3.1搭建项目系列 —— 使用Swagger做Api文档 (下篇)

    前言 回顾上一篇文章<使用Swagger做Api文档 >,文中介绍了在.net core 3.1中,利用Swagger轻量级框架,如何引入程序包,配置服务,注册中间件,一步一步的实现,最终 ...

  9. 物联网时代-新基建-ThingsBoard调试环境搭建

    前言 2020开年之际,科比不幸离世.疫情当道.经济受到了严重的损失.人们都不幸的感慨: 2020年真是太不真实的一年,可以重新来过就好了!国家和政府出台了拯救经济和加速建设的利好消息.3月份最热的词 ...

  10. 【ES】Java High Level REST Client 使用示例(增加修改)

    ES提供了多种编程语言的链接方式,有Java API,PHP API,.NET API 官网可以详细了解 https://www.elastic.co/guide/en/elasticsearch/c ...