Prometheus时序数据库-报警的计算 在前面的文章中,笔者详细的阐述了Prometheus的数据插入存储查询等过程.但作为一个监控神器,报警计算功能是必不可少的.自然的Prometheus也提供了灵活强大的报警规则可以让我们自由去发挥.在本篇文章里,笔者就带读者去看下Prometheus内部是怎么处理报警规则的. 报警架构 Prometheus只负责进行报警计算,而具体的报警触发则由AlertManager完成.如果我们不想改动AlertManager以完成自定义的路由规则,还可以通过we…

Prometheus时序数据库-数据的查询 前言 在之前的博客里,笔者详细阐述了Prometheus数据的插入过程.但我们最常见的打交道的是数据的查询.Prometheus提供了强大的Promql来满足我们千变万化的查询需求.在这篇文章里面,笔者就以一个简单的Promql为例,讲述下Prometheus查询的过程. Promql 一个Promql表达式可以计算为下面四种类型: 瞬时向量(Instant Vector) - 一组同样时间戳的时间序列(取自不同的时间序列,例如不同机器同一时间的CPU…

Prometheus时序数据库-内存中的存储结构 前言 笔者最近担起了公司监控的重任,而当前监控最流行的数据库即是Prometheus.按照笔者打破砂锅问到底的精神,自然要把这个开源组件源码搞明白才行.在经过一系列源码/资料的阅读以及各种Debug之后,对其内部机制有了一定的认识.今天,笔者就来介绍下Prometheus的存储结构. 由于篇幅较长,所以笔者分为两篇,本篇主要是描述Prometheus监控数据在内存中的存储结构.下一篇,主要描述的是监控数据在磁盘中的存储结构. Gorilla Pr…

Prometheus时序数据库-磁盘中的存储结构 前言 之前的文章里,笔者详细描述了监控数据在Prometheus内存中的结构.而其在磁盘中的存储结构,也是非常有意思的,关于这部分内容,将在本篇文章进行阐述. 磁盘目录结构 首先我们来看Prometheus运行后,所形成的文件目录结构 在笔者自己的机器上的具体结构如下: prometheus-data |-01EY0EH5JA3ABCB0PXHAPP999D (block) |-01EY0EH5JA3QCQB0PXHAPP999D (block)…

Prometheus时序数据库-数据的插入 前言 在之前的文章里,笔者详细的阐述了Prometheus时序数据库在内存和磁盘中的存储结构.有了前面的铺垫,笔者就可以在本篇文章阐述下数据的插入过程. 监控数据的插入 在这里,笔者并不会去讨论Promtheus向各个Endpoint抓取数据的过程.而是仅仅围绕着数据是如何插入Prometheus的过程做下阐述.对应方法: func (a *headAppender) Add(lset labels.Labels, t int64, v float64…

简介 Prometheus是SoundCloud公司开发的一站式监控告警平台,依赖少,功能齐全.于2016年加入CNCF,广泛用于 Kubernetes集群的监控系统中,2018.8月成为继K8S之后第二个毕业的项目.Prometheus作为CNCF生态圈中的重要一员,其活跃度仅次于 Kubernetes. 关键功能包括: 多维数据模型:metric,labels 灵活的查询语言:PromQL, 在同一个查询语句,可以对多个 metrics 进行乘法.加法.连接.取分数位等操作. 可独立部署,拆…

本文由  网易云发布. 时序数据库(TSDB)是一种特定类型的数据库,主要用来存储时序数据.随着5G技术的不断成熟,物联网技术将会使得万物互联.物联网时代之前只有手机.电脑可以联网,以后所有设备都会联网,这些设备每时每刻都会吐出大量的按照时间组织的数据,需要存储下来进行查询.统计和分析.时序数据和普通的业务数据在各个方面都有很大的不同,本文将会试图带大家进入TSDB的世界. TSDB应用场景:哪些场景会用到TSDB? TSDB目前最大的应用场景是监控业务(哨兵),以哨兵为例,哨兵会在业务服务器上…

官方文档:https://docs.taosdata.com/get-started/package/ 点击进入 产品简介 TDengine 是一款高性能.分布式.支持 SQL 的时序数据库 (Database),其核心代码,包括集群功能全部开源(开源协议,AGPL v3.0).TDengine 能被广泛运用于物联网.工业互联网.车联网.IT 运维.金融等领域.除核心的时序数据库 (Database) 功能外,TDengine 还提供缓存.数据订阅.流式计算等大数据平台所需要的系列功能,最大程度…

时间序列数据库,简称时序数据库,Time Series Database,一个全新的领域,最大的特点就是每个条数据都带有Time列. 时序数据库到底能用到什么业务场景,答案是:监控系统. Baidu一下,互联网监控系统,大家会发现小米.饿了吗等互联网巨头都在用时序数据库实现企业级的互联网监控系统. 很多人会说,用Zabbix不就搞定了,其实不是这样的,简单的主机资源监控.网络监控.小规模的部署环境,Zabbix能搞定. 如果在IDC 上千台服务器环境下,分布式应用架构.各种中间件,这种情况下我们…

一.背景 随着移动互联网.物联网.大数据等行业的高速发展,数据在持续的以指数级的速度增长,比如我们使用手机访问互网络时的行为数据,各种可穿戴设备上报的状态数据,工厂中设备传感器采集的指标数据,传统互联网公司的监控数据等.实际上,这些按照时间顺序记录系统.设备状态变化的数据都是时序数据(Time Series),它普遍存在于互联网.物联网.IT基础设施中. 得益于软硬件技术的快速发展,处理如此庞大的时序数据集的成本在持续降低,更多公司开始持续收集.分析数据,用于异常处理.趋势预测.精准营销.风险控…