一、背景

有些时候，我们想看每天系统的登录人数、或者系统中订单的数据，比如：成功的订单、异常的订单等等。这些数据都在我们的数据库中，通过sql_exporter我们可以将这些数据接入到prometheus中，进行监控告警。

二、sql-exporter的使用

1、下载

1、访问下载地址：https://github.com/free/sql_exporter/releases

# 下载

wget https://github.com/free/sql_exporter/releases/download/0.5/sql_exporter-0.5.darwin-amd64.tar.gz

# 解压

tar -zxvf sql_exporter-0.5.darwin-amd64.tar.gz

2、配置文件

1、sql_exporter.yml

# 全局配置

global:

  # 可以理解为执行sql语句的超时时间，这个值需要比prometheus的 `scrape_timeout` 值要小。如果配置了下方的 scrape_timeout_offset 值，那么最终的超时时间为， min(scrape_timeout, X-Prometheus-Scrape-Timeout-Seconds - scrape_timeout_offset)

  # X-Prometheus-Scrape-Timeout-Seconds 为 prometheus 的超时时间，从请求头中获取的

  scrape_timeout: 10s

  # 从 prometheus 的超时时间中减去一个偏移量，防止 prometheus 先超时。

  scrape_timeout_offset: 500ms

  # 各个sql收集器之间运行间隔的秒数

  min_interval: 0s

  # 允许获取到的数据库最大的连接数， <=0 表示不限制。

  max_connections: 3

  # 允许空闲连接数的个数，<=0 不做限制

  max_idle_connections: 3

# 配置监控的数据库和抓取信息

target:

  # 配置数据库链接信息

  # mysql://root(用户名):root(密码)@tcp(localhost:3306)/temp_work(库名)

  data_source_name: 'mysql://root:root@tcp(localhost:3306)/temp_work'

  # 收集器的名字, 对应者下方 collector_files 中具体的文件的 collector_name 的值

  collectors: [collector_user,collector_payment_orders]

collector_files:

  - "collectors/*.collector.yml"

2、collectors 目录中的配置文件

1、collector_user的配置

cat  collectors/collector_user.collector.yml

统计的是某个字段的值，该行只有一个单个的值，比如注册数等等，对应sql 类似 select count(*) from table

# 收集器的名字

collector_name: collector_user

metrics:

  - metric_name: every_day_register_users # 指标的名字

    type: counter # 类型

    help: '统计每天的注册人数.' # 描述

    values: [register_users] # 值

    query: |

      select count(*) register_users from t_users where create_date between concat(curdate(),' 00:00:00') and concat(curdate(),' 23:59:59')

2、collector_payment_orders的配置

cat collectors/collector_payment_orders.collector.yml

1、统计的是一行只有一个值。比如统计每个用户(需要有一个指标名称) 的订单数量（值）对应sql 类似 select count(1), user_name from table group by user_name 。
2、统计的是一行可以有多个值。比如统计每个用户(需要有指标名称) 的订单数量(指标名称和值)或订单金额（指标名称和值）对应sql 类似 select user_name,count(1),sum(1) from table group by user_name。



# 收集器的名字

collector_name: collector_payment_orders

metrics:

  - metric_name: every_day_order_cnt

    type: gauge

    help: '每个人每天的订单数量和订单数量.'

    key_labels:

    - user_name # 会存在 {"user_name"="列user_name的值"}的标签

    values:

    - order_cnt # 指标的值是 order_cnt 的值

    query: |

      select user_name as user_name,

       count(*) as order_cnt,

       sum(amount) as order_amount from payment_order

      where create_date between concat(curdate(),' 00:00:00') and concat(curdate(),' 23:59:59')

      group by user_name

  - metric_name: user_order_cnt_or_amount

    type: counter

    help: '统计每个人(user_name)在每种订单状态(order_status)下的下单数量(order_cnt)或下单金额(order_amount)'

    key_labels: ["user_name","order_status"] # 每一行数据上会增加 {"user_name"="列user_name的值","order_status"="列order_status的值"} 标签

    value_label: 'operation' # 随便取一个名字，比如operation ,那么根据下方的 values 会存在 {"operation"="order_cnt"}或者{"operation"="order_amount"} 标签

    values: ["order_cnt","order_amount"]

    query: |

      select user_name as user_name,

       status as order_status,

       count(*) as order_cnt,

       sum(amount) as order_amount from payment_order

      group by user_name,status

3、集成到prometheus中

scrape_configs:

  - job_name: 'sql-exporter'

    static_configs:

    - targets: ['localhost:9089']

      labels:

        nodename: 'sql-exporter'

4、启动

#!/usr/bin

nohup /Users/huan/soft/prometheus/sql_exporter/sql_exporter \

--config.file="/Users/huan/soft/prometheus/sql_exporter/sql_exporter.yml" \

--web.listen-address="0.0.0.0:9089" \

> logs/sql_exporter.out 2>&1 &

5、访问看是否有指标数据抓取

我的一个简单的理解：
1、every_day_register_users 5 就是查询出来一个值

2、every_day_order_cnt {user_name=“lisi”} 2 多了一个自定义的label，它的值是values指定的值。

3、user_order_cnt_or_amount{operation=“order_amount”,order_status=“2”,user_name=“lisi”} 3
user_order_cnt_or_amount{operation=“order_amount”,order_status=“2”,user_name=“wangwu”} 4
user_order_cnt_or_amount{operation=“order_cnt”,order_status=“1”,user_name=“lisi”} 1 可以看到每个多了 user_name和order_status和operation 这3个label,该时间序列的是 operation标签对应的列的值。

三、建表语句

CREATE TABLE `t_users` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `create_date` datetime DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `payment_order` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `status` tinyint(4) DEFAULT NULL,

  `create_date` datetime DEFAULT NULL,

  `user_name` varchar(30) DEFAULT NULL,

  `amount` int(11) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO temp_work.t_users (id, create_date) VALUES (1, '2021-03-13 10:11:35');

INSERT INTO temp_work.t_users (id, create_date) VALUES (2, '2021-03-13 10:11:39');

INSERT INTO temp_work.t_users (id, create_date) VALUES (3, '2021-03-13 10:11:41');

INSERT INTO temp_work.t_users (id, create_date) VALUES (4, '2021-03-13 10:11:44');

INSERT INTO temp_work.t_users (id, create_date) VALUES (5, '2021-03-13 10:11:45');

INSERT INTO temp_work.payment_order (id, status, create_date, user_name, amount) VALUES (1, 1, '2021-03-13 10:12:49', 'zhangsan', 1);

INSERT INTO temp_work.payment_order (id, status, create_date, user_name, amount) VALUES (2, 1, '2021-03-13 10:12:51', 'zhangsan', 2);

INSERT INTO temp_work.payment_order (id, status, create_date, user_name, amount) VALUES (3, 2, '2021-03-13 10:12:53', 'lisi', 3);

INSERT INTO temp_work.payment_order (id, status, create_date, user_name, amount) VALUES (4, 2, '2021-03-13 10:12:54', 'wangwu', 4);

INSERT INTO temp_work.payment_order (id, status, create_date, user_name, amount) VALUES (5, 1, '2021-03-13 10:12:55', 'lisi', 5);

四、参考链接

1、sql-exporter下载链接
2、sql_exporter默认的配置文件

sql_exporter的使用的更多相关文章

Prometheus+Grafana+Altermanager搭建监控系统
基本概念 Prometheus 时间序列化数据库,我的理解就是将数据打上标签,以时间维度存储.后面有机会在深入研究. Prometheus架构如下: Grafana Prometheus中存储的数据, ...
mysqld_exporter的源码分析和定制化（单个mysqld_exporter监控多个数据库实例）
mysqld_exporter是prometheus官方提供的用于监控mysql运行状态的exporter.其相关信息可以参考:https://github.com/prometheus/mysqld ...

随机推荐

python库--flashtext--大规模数据清洗利器
flashtext.keyword (flashtext) 类/方法返回值参数说明 .KeywordProcessor() 对象kp case_sensitive=False 是否区分大小写添 ...
RocketMQ详解（三）启动运行原理
专题目录 RocketMQ详解(一)原理概览 RocketMQ详解(二)安装使用详解 RocketMQ详解(三)启动运行原理 RocketMQ详解(四)核心设计原理 RocketMQ详解(五)总结提高 ...
谈谈raft fig8 —— 迷惑的提交条件和选举条件
谈谈raft fig8 -- 迷惑的提交条件和选举条件前言这篇文章的思路其实在两个月前就已经成型了,但由于实习太累了,一直没来得及写出来.大概一个月前在群里和群友争论fig8的一些问题时,发现很多 ...
自己实现一个Controller——终极型
经过前两篇的学习与实操,也大致掌握了一个k8s资源的Controller写法了,如有不熟,可回顾自己实现一个Controller--标准型自己实现一个Controller--精简型但是目前也只能 ...
TP6生成url
和TP5生成url方式有区别, 在控制器里需要加上 ->build(), 如 url('index/arc/list')->build(); 如果是多域名还需要指定域名,如不想加域名可以 ...
win10 移动端 android 测试环境搭建
一.移动端自动化测试的基础环境配置1:安装Java环境关于安装Java环境以及相关环境变量的配置在我之前的博文分享中已有详细介绍,有需要的可以直接查找翻阅,这里就不再一一介绍. 二.移动端自动化测试 ...
关于Python中的深浅拷贝
之前一直认为浅拷贝是拷贝内容的第一层,但是不开辟内存,只是增加新的指向原来的内容:深拷贝是拷贝是拷贝每一层并开辟内存. 其实这个是不严谨的不正确的. 从以上可以看出,浅拷贝中当时可变类型的时候,内存是 ...
Python读取ini配置文件（接口自动测试必备）
前言大家应该接触过.ini格式的配置文件.配置文件就是把一些配置相关信息提取出去来进行单独管理,如果以后有变动只需改配置文件,无需修改代码. 特别是后续做自动化的测试,代码和数据分享,进行管理.比如 ...
isnull与ifnull适用数据库
根据业务流程去查询某个数据表的某个字段的最大值: 直接用的select max(code) from base_area; 大多数情况没有问题,有个特殊点:如果数据表里边没有数据,且返回类型时int时 ...
一款简单实用的串口通讯框架（SerialIo）
前言大龄程序员失业状态,前几天面试了一家与医疗设备为主的公司并录取:因该单位涉及串口通讯方面技术,自己曾做过通讯相关的一些项目,涉及Socket的较多,也使用SuperSocket做过一些项目,入职 ...

sql_exporter的使用