Prometheus告警规则增删改自动化

Prometheus告警规则增删改自动化

前言：

随着容器技术的发展，zabbix监控方式与k8s的结合不完善，导致不得不放弃zabbix，而新的监控工具prometheus的使用就越来越多了。但是经过初步使用，发现prometheus过于原始，很多设置都要通过配置文件手动添加修改，本篇文章介绍我是如何解决prometheus的“原始”。

环境：

语言：python2.7

web框架：flask

简介：

Prometheus的告警设置是通过文件设置，在prometheus.yml配置文件中设置rule_files:

- /etc/prometheus/rules.d/*.yml

将所有告警规则文件放在/etc/prometheus/rules.d/目录下，所以我们控制告警的方式定为在此目录下写和修改文件即可。

1、添加告警规则

页面风格是仿照着prometheus的界面写的，有些颜色和位置大小不完全相同（调前端让人头疼）。

通过输入告警名称，表达式，持续时间，和描述来创建告警规则，模板是我先定死的，input框设置了disabled属性，告警内容通过报警脚本进行过滤。

主要技术：

此页面应用更多的都是基础的表单提交，没有什么难度，唯一添加的一些加强页面效果的操作是对input和select事件的处理，input告警内容的同时，右侧告警规则预览可以同时显示输入后的效果，如上图。

Js代码：

$("#rules_name").bind('input propertychange',function () {
   var content = $("#rules_name").val();
   var html = "- name: " + content + '_rules';
   $("#name_rules").html(html);
   var alerthtml = "  - alert: " + content;
   $("#alert_rules").html(alerthtml);
});

将input绑定了propertychange事件（rules_name是input标签的id），输入后input的value产生变化，同时刷新name_rules对应的id内容进行刷新，这样就能实时查看到输入内容后对应的配置文件。

最后是表单提交，后台将提交的信息写入文件中:

[root@localhost rules.d]# cat service_100000.yml

#{'name': 'service_100000_rule', 'alert': 'service_100000', 'expr': 'service_count>100000', '_for': '30s', 'level': 'disaster', 'summary': '告警主机和端口{{ $labels.instance }} 告警值：{{ $value }}', 'description': '业务量大于100000了，必须要告警了'}

groups:

- name: service_100000_rule

rules:

- alert: service_100000

expr: service_count>100000

for: 30s

labels:

level: "disaster"

service: "local-234"

annotations:

summary: "告警主机和端口{{ $labels.instance }} 告警值：{{ $value }}"

description: "业务量大于100000了，必须要告警了"

多了一个service_100000.yml文件，内容如上，第一行内容是用来记录参数的，用于之后的修改参数使用。

刷新prometheus配置之后发现，告警已经加载进来了

   2、修改告警

修改告警规则应该是我们日常最多用到的，经常要修改阈值，首先，在选择框中会加载所有已经设置的rules规则，然后我们选中后（如果告警规则多之后，如何找到我们要修改的规则又是个问题，我是在select的基础上添加一个输入框，可以根据输入内容快速进行搜索，查找或者选择我们要修改的规则，如上图，输入ser就能弹出我们要找的规则），触发select事件：

$("#list_select_rules").change(function(){
    var content=$("#list_select_rules").val();
    jQuery.ajax({
        type: "POST",
        url: "/prometheus/getRulesDetail",
        dataType: 'json',
        data : {
            "name": content
        },
        async: false,
        error: function () {
            alert("操作失败,请稍等片刻重新尝试,如仍有问题请联系管理员......");
            return false;
        },
        success : function(result){
            //{'name': '', 'alert': '', 'expr': '', '_for': '', 'level': '', 'summary': '', 'description': ''}

            $("#name_rules").html("- name: " + result.alert + '_rules');
            $("#alert_rules").html("  - alert: " + result.alert);
            $("#rules_name").val(result.alert);

            $("#expr_rules").html("    expr: " + result.expr);
            $("#rules_expr").val(result.expr);

            $("#time_rules").html("    for: " + result._for);
            $("#rules_time").val(result._for);

            $("#desc_rules").html("      level: " + result.description);
            $("#rules_desc").val(result.description);

            $("#select_rules").html("      level: " + result.level);
            var add = $('#rules_select').val(result.level);
            add.attr('selected',true);
        }
    })
});

选中select标签内容后触发js事件，将选中内容发送至后台，获取对应的告警规则信息(就是告警规则的第一行被注掉的信息)，然后将input和右侧预览对应位置进行刷新，可以实现选中规则后，所有信息直接展示在前端，然后进行提交，后台进行文件修改，进而实现告警规则的修改。

    3、删除

删除功能比较简单，和update一样，界面加载时，通过js将所有告警规则加载至select标签中，然后设置select事件，如上图，我选择了service_100000这个规则，后侧的告警预览就把这个告警规则信息展示出来了，js代码同上边的update事件代码。然后点击删除键，将选择的规则传入后台，直接删除文件即可。

至此，prometheus的告警规则的增删改就完成了。之后我还会慢慢优化，希望能实现像zabbix一样的效果。

代码位置：https://github.com/1182640071/AddRulesWeb

我的prometheus管理平台地址： https://blog.csdn.net/www199202/article/details/90728824

本文转自http://blog.sina.com.cn/s/blog_16eedc9400102yc8h.html