搭建基于Grafana+Prometheus+Nvidia_gpu_exporter的GPU监控平台

搭建基于Grafana+Prometheus+Nvidia_gpu_exporter的GPU监控平台

在现代数据科学和机器学习领域，GPU已成为不可或缺的硬件资源。为了高效管理和监控GPU的使用情况，构建一个实时、直观的监控系统变得尤为重要。本文将详细介绍如何使用Grafana、Prometheus以及Nvidia_gpu_exploter来构建GPU性能监控系统。

一、平台组件概述

1.Nvidia_gpu_exploter

Nvidia_gpu_exploter是一个专为Prometheus设计的Exporter，用于获取NVIDIA GPU的实时状态信息。它通过nvidia-smi命令抓取GPU的利用率、显存使用情况等数据，并将这些数据转换为Prometheus可以处理的标准格式。

2.Prometheus

Prometheus是一个开源的监控和警报工具，负责从配置的目标（如Nvidia_gpu_exploter）中抓取度量指标数据，并将其存储在自己的时间序列数据库中。在性能监控平台中，Prometheus作为数据收集、存储和查询的中心，与Grafana等可视化工具协同工作，提供全面的系统监控能力。

3.Grafana

Grafana是一个开源的监控和数据分析平台，支持多种数据源，并提供了丰富的图表和可视化选项。通过Grafana，我们可以轻松地将Prometheus中的性能测试数据以图表形式展示出来，实现实时监控和数据分析。

二、平台搭建步骤

1. 安装并启动Nvidia_gpu_exploter

Nvidia_gpu_exploter项目GitHub主页：https://github.com/utkuozdemir/nvidia_gpu_exporter?tab=readme-ov-file

有多种安装方式，这里选择下载压缩包

# 进入创建的文件夹
cd /opt/performance

# 下载 nvidia_gpu_exploter, ${VERSION}修改为当前版本, 例如:1.1.0
wget https://github.com/utkuozdemir/nvidia_gpu_exporter/releases/download/v${VERSION}/nvidia_gpu_exporter_${VERSION}_linux_x86_64.tar.gz

# 解压
tar xvfz nvidia_gpu_exporter_1.1.0_linux_x86_64.tar.gz

# nvidia_gpu_exporter服务默认运行端口为9835
nohup ./nvidia_gpu_exporter &

# 若9835端口被占用，使用以下命令指定端口运行服务
nohup ./nvidia_gpu_exporter --web.listen-address=:9102 &

我们浏览器访问被监控服务器的9835端口，出现该页面，说明成功

2. 安装和配置Prometheus

Prometheus官网下载地址：https://prometheus.io/download/#/prometheus

# 进入创建的文件夹
cd /opt/performance

# 下载 Prometheus
wget https://github.com/prometheus/prometheus/releases/download/v3.0.0-beta.0/prometheus-3.0.0-beta.0.linux-amd64.tar.gz

# 解压
tar -zxvf prometheus-3.0.0-beta.0.linux-amd64.tar.gz

# 进入文件夹
cd prometheus-3.0.0-beta.0.linux-amd64/

# 启动prometheus
nohup ./prometheus --config.file=prometheus.yml &

我们浏览器访问9090端口，出现该页面，说明安装成功

将Nvidia_gpu_exploter输出配置到Prometheus中

vim prometheus.yml

• job_name: 任意字符串，可以理解为一个标识符
• targets: node_exporter服务列表(ip + 端口号)，可以多个
  
  

重启Prometheus服务

# 查找 Prometheus 进程ID
ps aux | grep prometheus

# 强制停止Prometheus进程
kill -9 [PID]

# 重新启动Prometheus服务
nohup ./prometheus --config.file=prometheus.yml &

我们浏览器再次访问9090端口，并如下图点击目录，该页面中出现我们配置好的nvidia_gpu_exploter，说明配置成功

3. 安装和配置Grafana

Grafana 官网下载地址：https://grafana.com/grafana/download

# 进入创建的文件夹
cd /opt/performance

# 下载 grafana
wget https://dl.grafana.com/enterprise/release/grafana-enterprise-11.1.3.linux-amd64.tar.gz

# 解压
tar -zxvf grafana-enterprise-11.1.3.linux-amd64.tar.gz

# 进入文件夹
cd grafana-v11.1.3

# 修改配置文件，如下图修改启用端口为8990
vim conf/defaults.ini

# 启动服务
./bin/grafana-server &

访问页面，成功显示。用户名 & 密码 均为 admin

4. 创建仪表板和分析视图

I. 添加数据源

点击 Configuration -> Data sources 进入数据源界面，再点击 Add data source 进入新增数据源界面。

点击 Prometheus，创建Prometheus数据源。

根据下面的图片提示，填写表单：

点击 Save & test

II. 创建仪表盘

点击 Dashboards -> Browse 进入仪表盘界面，再点击 New - > import 进入导入仪表盘界面。

仪表盘模板大全：https://grafana.com/grafana/dashboards/

可根据关键字查询想要的一些模板

点击详情可获取id或获取json文件，若配置环境无网络情况下选择json文件。

我这里的仪表盘是根据仪表盘14574的模板文件进行改版的，点击下载。

选择刚刚配置好的数据源，点击 Import 导入仪表盘。

点击 Import 后，展示如下页面。

三、平台应用与优势

• 应用场景
  • 实时监控：通过Grafana的仪表板，可以实时监控应用的性能指标，及时发现潜在的性能问题。
  • 历史数据分析：利用Prometheus存储的历史数据，可以进行更深入的性能分析，找出性能瓶颈和趋势。
  • 性能调优：基于监控和分析结果，对应用进行性能调优，提升用户体验。
• 优势
  • 开源免费：Nvidia_gpu_exploter、Prometheus和Grafana都是开源软件，可以免费使用，降低了成本。
  • 灵活可扩展：平台支持自定义测试脚本和查询语句，可以根据实际需求进行灵活配置和扩展。
  • 可视化效果好：Grafana提供了丰富的图表和可视化选项，能够直观地展示性能测试数据。

注：安装方法不唯一，且各个教程安装版本也不相同