Prometheus alertmanager邮件发送+grafana告警展示
前言
前面一篇博客,我已经介绍了prometheus如何监控mysql。
这一篇我来介绍如何通过alertmanger进行告警邮件发送(微信或钉钉类似,因为需要企业帐户,我就不试了),以及如何通过grafana查看告警。
开始演示
测试机器
Prometheus: 192.168.56.140
Host01:192.168.56.103
安装alertmanager
获取安装包
wget https://github.com/prometheus/alertmanager/releases/download/v0.22.2/alertmanager-0.22.2.linux-amd64.tar.gz
创建目录
mkdir -p /etc/alertmanager/
mkdir -p /etc/alertmanager/data
mkdir -p /etc/alertmanager/template/
获取邮件模板
[root@prometheus-server template]# pwd
/etc/alertmanager/template
[root@prometheus-servertemplate]# wget https://raw.githubusercontent.com/prometheus/alertmanager/master/template/default.tmpl
复制文件到/etc/alertmanager目录
[root@prometheus-server ftpusr]cp ./alertmanager-0.22.2.linux-amd64/alertmanager* /etc/alertmanager/.
配置启动服务
[root@prometheus-server alertmanager]# cat /etc/systemd/system/alertmanager.service [Unit] Description=Alertmanager After=network.target [Service] Type=simple User=prometheus ExecStart=/etc/alertmanager/alertmanager \ --config.file=/etc/alertmanager/alertmanager.yml \ --storage.path=/etc/alertmanager/data Restart=on-failure [Install] WantedBy=multi-user.target
配置alertmanager邮件发送
如下我使用的是163邮箱来发送邮件。
如需使用SMTP服务,需要先开启服务。开启后,增加授权码,如下配置文件里面的smtp_auth_password填写的是授权码(而不是个人邮箱密码)
[root@prometheus-server alertmanager]# cat alertmanager.yml
global: smtp_smarthost: 'smtp.163.com:25' smtp_from: 'xxxx@163.com' smtp_auth_username: 'xxxx@163.com' smtp_auth_password: 'xxxxxxxxxxx' smtp_require_tls: false templates: - '/etc/alertmanager/template/*.tmpl' route: group_by: ['alertname','cluster','service'] group_wait: 10s group_interval: 10s repeat_interval: 10m receiver: 'default-receiver' receivers: - name: 'default-receiver' email_configs: - to: '20889922@qq.com' html: '{{ template "email.default.html" . }}' headers: { Subject: "Prometheus 告警测试邮件" }
启动服务
service alertmanager start
prometheus配置alertmanager
prometheus.yml配置
# Alertmanager configuration alerting: alertmanagers: - static_configs: - targets: ["localhost:9093"] # - alertmanager:9093 # Load rules once and periodically evaluate them according to the global 'evaluation_interval'. rule_files: - "rules.yml" # - "first_rules.yml" # - "second_rules.yml"
rules.yml配置
[root@prometheus-server prometheus]# cat rules.yml # hostStatsAlert groups: - name: hostStatsAlert rules: - alert: NodeDown expr: up == 0 for: 1m labels: severity: "Critical" annotations: summary: "Instance {{$labels.instance}} down" description: "{{$labels.instance}} of job {{$labels.job}} has been down for more than 5 minutes." - alert: NodeCPUUsage expr: sum(avg without (cpu)(irate(node_cpu_seconds_total{mode!='idle'}[5m]))) by (instance) > 0.85 for: 1m labels: severity: "Warning" annotations: summary: "Instance {{ $labels.instance }} CPU usgae high" description: "{{ $labels.instance }} CPU usage above 85% (current value: {{ $value }})" - alert: NodeMemoryUsage expr: (node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes)/node_memory_MemTotal_bytes > 0.85 for: 1m labels: severity: "Warning" annotations: summary: "Instance {{ $labels.instance }} MEM usgae high" description: "{{ $labels.instance }} MEM usage above 85% (current value: {{ $value }})" - alert: filesystemUsageAlert expr: 100 - ((node_filesystem_avail_bytes{mountpoint="/",fstype=~"ext4|xfs"} * 100) / node_filesystem_size_bytes {mountpoint="/",fstype=~"ext4|xfs"}) > 85 for: 1m labels: severity: "Warning" annotations: summary: "Instance {{ $labels.instance }} root DISK usgae high" description: "{{ $labels.instance }} root DISK usage above 85% (current value: {{ $value }})"
重新启动prometheus使服务生效
service prometheus restart
查看告警邮件
等待几分钟后,可以看到邮件的告警信息
登录alertmanager端口,也可查看告警信息
Alertmanager grafana展示
安装
grafana-cli plugins install camptocamp-prometheus-alertmanager-datasource
安装完后,重新启动grafana-server
service grafana-server restart
添加alertmanager datasource
导入dashboard
展示效果
碰到的问题与解决方法
告警展示的时候,虽然alerts有两个告警,但downnode却显示没有。
通过下载展示的JSON文件,查看原来是altername在告警文件中,与JSON文件中不匹配。匹配完成就OK了。
serverity在邮件显示正常,但是grafana无法正常显示。这个还没调查清楚。
估计得需要谷歌了。但是,你能体会中国人无法上谷歌的痛苦吗?
参考资料:
https://www.cnblogs.com/danny-djy/p/11097726.html
https://medium.com/devops-dudes/prometheus-alerting-with-alertmanager-e1bbba8e6a8e
Prometheus alertmanager邮件发送+grafana告警展示的更多相关文章
- 验证Prometheus alertmanager邮件发送
新环境上配置alertmanager时出现了“Client was not authenticated to send anonymous mail during MAIL FROM”错误,但老环境上 ...
- Docker+Prometheus+Alertmanager+Webhook钉钉告警
Docker+Prometheus+Alertmanager+Webhook钉钉告警 1.环境部署 1.1 二进制部署 1.2 docker部署 1.2.1 webhook 1.2.2 alertma ...
- Prometheus + Alertmanager 实现企微告警
上一篇:二进制安装Prometheus 下面准备在监控的流程中呈现到告警到企微 查看企业ID,用于后续配置文件 四.安装Alertmanager1.准备安装的包 --选择上面链接给的Linux的ta ...
- Prometheus + AlertManager 邮件报警
安装 wget https://github.com/prometheus/alertmanager/releases/download/v0.13.0/alertmanager-0.13.0.lin ...
- 使用 Prometheus Alertmanager 模块发送 Doris 异常信息至钉钉报警群
基础环境 1.Prometheus 版本:2.22.2 下载地址: https://github.com/prometheus/prometheus/releases/download/v2.22.2 ...
- Prometheus学习笔记(5)Grafana可视化展示
目录 一.Grafana安装和启动 二.配置数据源 三.配置dashboard 四.配置grafana告警 一.Grafana安装和启动 Grafana支持查询Prometheus.从Grafana ...
- [k8s]prometheus+alertmanager二进制安装实现简单邮件告警
本次任务是用alertmanaer发一个报警邮件 本次环境采用二进制普罗组件 本次准备监控一个节点的内存,当使用率大于2%时候(测试),发邮件报警. k8s集群使用普罗官方文档 环境准备 下载二进制h ...
- jmx_prometheus_javaagent+prometheus+alertmanager+grafana完成容器化java监控告警(二)
一.拓扑图 二.收集数据 2.1前期准备 创建共享目录,即为了各节点都创建该目录,有两个文件,做数据共享 /home/target/prom-jvm-demo 1.下载文件 jmx_prometheu ...
- cadvisor+prometheus+alertmanager+grafana完成容器化监控告警(一)
一.概况 1.拓扑图 2.名词解释 Grafana 可视化监控容器运行情况 Prometheus: 开源系统监视和警报工具包 Alertmanager 一个独立的组件,负责接收并处理来自Prometh ...
随机推荐
- tomcat shutdown后,进程还存在linux系统中的解决办法
基本原理为启动tomcat时记录启动tomcat的进程id(pid),关闭时强制杀死该进程 第一步 :vim修改tomcat下bin/catalina.sh文件,添加点东西,主要是记录tomcat的p ...
- 常见链表操作-链表中环的检测(JAVA实现)
问题如何检测一个单链表中是否有环,例如下图的例子. 解决思路1:快慢指针法这是最常见的方法.思路就是有两个指针P1和P2,同时从头结点开始往下遍历链表中的所有节点. P1是慢指针,一次遍历一个节点.P ...
- 11 shell中内置关键字[[]]:检查条件是否成立
0.[[]] [] (())的对比 1.[[]]支持正则表达式 0.[[]] [] (())的对比 [[ ]] 对数字的比较不友好,所以使用 if 判断条件时,建议用(())来处理整型数字,用[[]] ...
- TCP/IP 5层协议簇/协议栈
TCP/IP 5层协议簇/协议栈 数据/PDU 应用层 PC.防火墙 数据段/段Fragment 传输层 防火墙 报文/包/IP包packet 网络层 路由器 帧Frame 数据链路层 交换机.网卡 ...
- TOSCA自动化测试工具
TOSCA由德国公司Tricentis研发,提供英文和德语两种版本. 目前他们的网上培训课程大约是2000一套,从初级到高级,从工程师到BA,有技术,也有测试管理. TOSCA的思想是,不用会编程的测 ...
- DNS配置【正向解析】
DNS配置.正向解析 一.BIND域名服务基础 1)DNS的定义 2)域名结构 ...
- 中国剩余定理简析(python实现)
中国剩余定理CRT 正整数m1,m2,...,mk两两互素,对b1,b2,...,bk的同余式组为 \[\begin{cases} x \equiv b_1\; mod \;m_1\\ x \equi ...
- python 读取 写入txt文件
filename = 'pi_digits.txt' with open(filename) as f:#默认以只读方式打开文件 lines = f.readlines()#读取所有行,结果为列表,每 ...
- Java之注解与反射
Java之注解与反射 注解(Annotation)简介 注解(Annotation)是从JDK5.0引入的新技术 Annotation作用:注解(Annotation)可以被其他程序如编译器等读取 A ...
- keeplived+mycat+mysql高可用读写分离水平分表(谁看谁都会)
一:环境准备: 应用 主机 mysql-master 192.168.205.184 mysql-slave 192.168.205.185 mycat-01,keeplived,jdk 192.16 ...