近日搭建一套基于ELK&Grafana的监控告警平台,目的是将生产端某性能日志导入ES中,通过Grafana进行可视化监测,同时设置告警. 告警内容推送到自建的webhook服务后,转发到指定的企业微信机器人,这样可以在企业微信群中看到对应告警内容. 整体架构如下图: ELK部分略去不表.重点在于,自行编写webhook,解析告警内容并推送到企业微信机器人. 通过查看Grafana官网文档:https://grafana.com/docs/grafana/latest/alerting/noti

Grafana 自V4以来加入了报警功能,所有的报警都集中在 Alert List 菜单里,数量多的话,查看起来很不方便.如下图: 为此我制作了一个简单的 Grafana Alert Dashboard,可以很方便的查看报警信息: 要求: Grafana 使用 Mysql 作为 Database, 下载地址: https://grafana.com/dashboards/3489

最近研究了prometheus+grafana的系统监控,使用grafana的报警功能,grafana支持很多种通知渠道,下文记录使用到的几种notification channels,分别是email,kafka和webhook 官网文档 http://docs.grafana.org/alerting/notifications/ 发送邮件 修改smtp,找到%GRAFANA_HOME%/conf/defaults.ini(注windows环境) [smtp] enabled = true

这是一个大数据爆发的时代.面对信息的激流.多元化数据的涌现,我们在获取.存储.传输.理解.分析.应用.维护大数据时,无疑需要一种便捷的信息交流通道,以便快速.有效.准确地理解和驾驭这个过程.本文将通过时序数据库(InfluxDB)+Grafana的实践,来介绍如何将数据便捷地展现出来. 一.InfluxDB 开源的分布式时序.时间和指标数据库,使用Go语言编写,无需外部依赖.其中,时间序列数据库是数据格式里包含Timestamp字段的数据,比如某一时间用户上网流量.通话详单等.但是,有什么数据不

demo地址 https://github.com/cclient/kubernetes-filebeat-collector 高可用还谈不上,是对kubernete一种服务异常重启恢复的补充方案 之前已经完成了kubernete的日志的收集,日志监控,没什么好说的 kibana grafana都是很成熟的ui产品,也都支持elasticsearch数据源 主要关注点是报警及报警信息的应用 kibana基础版本不支持报警,es 产品x-pack支持报警,但这东西收费,所以不考虑 有es报警的部分

前言 近期发现业务高峰期时刻会出现CPU繁忙导致的timeout异常,通过监控来看是因为Node上面的一些Pod突发抢占了大量CPU导致的. 问: 没有限制CPU吗?是不是限制的CPU使用值就可以解决了呢? 解: 其实不能根本解决这个问题,因为使用的容器引擎是Docker,而Docker是使用了cgroups技术,这就引入了一个老大难的问题,cgroup的隔离性.当问题发生时并没有办法把异常CPU进程直接摁住,而会有短暂的高峰,现象为:限制了CPU为2核,突发时CPU可能是4.5.6等,然后容器

因为zabbix的监控图形不够美观,功能也不够强大, 那么就用到了grafana 填写zabbix插件配置: 如下需要根据主机群组和主机名来完成图形: grafana报警如下: 解决如下: 更改标准设置, 默认值为1 ,改成5看看 [root@nginx local]# vim /usr/local/zabbix/etc/zabbix_server.confStartDiscoverers=5 [root@nginx local]# service zabbix_server restartRe

监控系统作用 监控系统主要用于保证所有业务系统正常运行, 和业务的瓶颈监控. 需要周期性采集和探测. 采集的详情 采集: 采集器, 被监控端, 监控代理, 应用程序自带仪表盘, 黑盒监控, SNMP. 存储: SQL, NoSQL(k/v, document, TSDB(series)) 展示: Grafana 报警: Alert 通知 Email, 短信, 微信, 钉钉, 常见开源实现: (Cacti/Nagios/ zabbix/ Prometheus) 监控体系 系统层监控 系统监控: C

一.Docker 容器监控报警方式 接着上篇文章的记录,看到grafana的版本已经更新到4.2了,并且在4.0以后的版本中,加入了Alert Notifications 功能,这样在对容器 监控完,可以加入报警规则.根据官网介绍,报警方式也有很多种,常见的Email.Slack即时通讯.webhook等. 本篇记录的是邮件的报警设置.环境和上篇基本一致,都是在Docker 平台测试环境下,另外本篇使用的grafana容器的版本是用的 dockerhub上最新版本,该版本为grafana/gra

大家一定要先看详细的理论教程,再开始搭建,这样报错后才容易找到突破口 参考文档 https://www.cnblogs.com/afterdawn/p/9020129.html https://www.ibm.com/developerworks/cn/cloud/library/cl-lo-prometheus-getting-started-and-practice/ https://www.hi-linux.com/posts/25047.html 参考grafana安装 https://

1.阿里云短信服务API2.Jenkins-plugin:Generic Webhook Trigger Plugin 阿里云 下载阿里云短信服务SDK 创建短信服务ACCESS_KEY_ID Grafana 产生报警信息 将报警信息发送给Jenkins的webhook接口 Jenkins 创建JOB,执行python脚本 设置JOB的webhook地址 一.首先根据实际情况修改阿里云短信接口的python demo # -*- coding: utf- -*- import sys from

一.分析 需求 Grafana支持短信渠道报警 要求 使用开发提供的短信API接口 请求url: http://192.168.1.1:8088/alerting/sendSms?mobile=手机号码 这个是java项目开发的api,请求方式为POST 如果要增加多个手机号码,使用逗号隔开 使用shell脚本的发送命令为: curl -X POST --header "Content-Type: application/json" --header "Accept: */*

现在环境是这样: ceph 4台: 192.168.100.21  ceph-node1 192.168.100.22  ceph-node2 192.168.100.23  ceph-node3 192.168.100.25  ceph-node5 #已经部署好一个ceph cluster 集群    四个 osd  三个mon   没有使用块存储所有没有mod 监控服务端一台 192.168.100.26  Grafana  上面都是以容器部署了 Prometheus: Grafana: a

一.背景 SpringBoot的应用监控方案比较多,SpringBoot+Prometheus+Grafana是目前比较常用的方案之一.它们三者之间的关系大概如下图: 关系图 二.开发SpringBoot应用 首先,创建一个SpringBoot项目,pom文件如下: <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator

概述 Webhook是一个API概念,并且变得越来越流行.我们能用事件描述的事物越多,webhook的作用范围也就越大.Webhook作为一个轻量的事件处理应用,正变得越来越有用. 准确的说webhoo是一种web回调或者http的push API,是向APP或者其他应用提供实时信息的一种方式.Webhook在数据产生时立即发送数据,也就是你能实时收到数据.这一种不同于典型的API,需要用了实时性需要足够快的轮询.这无论是对生产还是对消费者都是高效的,唯一的缺点是初始建立困难. Webhook有

首先建钉钉群,添加一个自定义机器人拿到webhook zabbix添加一个报警媒介 搞一个shell脚本来启动Python脚本(直接用zabbix调Python脚本不行,不知道什么原因) vim dingding.sh echo "$1" > /tmp/dingding.log python /etc/zabbix/alertscripts/dingding.py "$1" #!/usr/bin/env python #coding: utf- import

首先我们需要在机器上开启smtp/25服务,这里有一个坑,注意,云主机为了防止滥发邮件已经封掉了smtp的所有通信,所以云主机发邮件是有问题的. 安装sendmail,ubuntu用apt,centos用yum 安装好后一般自动就跑起来了,netstat查看25端口: 这里注意,我们的grafana服务器和sendmail在同一台机器上,否则sendmail需要处理为open relay中继服务器,具体方法如下: 修改sendmail配置/etc/mail/access 添加grafana服务器

一.概述 报警是Grafana的一项革命性功能,它让Grafana从一个数据可视化工具变成一个真正的任务监控工具.报警规则可以使用现有的图表控制面板设置,阈值可以通过拖拉右边的线控制,非常简单.Grafana服务器会不断评估设置的规则,在规则条件符合的时候发送出通知. 二.配置 Grafana版本必须是4.0+才支持报警功能,相关安装教程见:Linux下打造全方位立体监控系统 首先编辑配置文件 cd /etc/grafana/ cp grafana.ini grafana.ini.bak vi

先过一下grafana的配置文件 grafana的配置文件. 右键服务的地址.发信人 账号 和面等 配置要连到prometheus上. 登陆的密码是多少,第二行是不允许用户注册. dashboard.json里面内容太多 不能完全的看懂. 界面 admin password 新建一个dashboard 导入一个事先已经写好的了. 去找我们刚才看的那个 dashboard.jsn的文件 这个就是我们刚才在配置文件内配置的数据源.就是那个本地9090的那个prometheus duratin:服务的

场景一:使用企业微信机器人报警 图中的token是:在群组中添加机器人,机器人的webhook地址的key var Wechat = { token: null, to: null, message: null, parse_mode: null, sendMessage: function() { var params = { msgtype: "text", chat_id: Wechat.to, text: { content:Wechat.message }, disable_