ELK之Kibana的可视化监控报警插件sentinl的配置

　　参考：https://www.bbsmax.com/A/gGdXbgXmJ4/

https://www.deathearth.com/333.html

　　　　 https://www.cnblogs.com/amyzhu/p/10193557.html

　　ELK搭建好之后，如何利用收集到的数据进行告警呢，可以使用插件sentiel

　　一，安装环境

　　1，系统环境

　　2，软件版本选择

java 1.8.0_171
elasticsearch 6.2.4
kibana 6.2.4

　　二，安装

　　1，安装ELK

　　略

　　2，安装sentinl插件

　　根据ELK版本下载插件，本次下载版本为6.2.4

　　https://github.com/sirensolutions/sentinl/releases/

/usr/share/kibana/bin/kibana-plugin install file:///nas/nas/softs/elk/6.2.4/sentinl-v6.2.4-1.zip

　　安装后查看

　　设置邮件，修改kibana配置文件/etc/kibana/kibana.yml在尾部添加以下内容

sentinl:
  settings:
    email:
      active: true
      user: xxx@xxx.com #邮箱地址
      password: xxxx       #邮箱密码或者授权码
      host: smtp.exmail.qq.com #发送邮件服务器
      ssl: true   #根据实际情况添加 改成false则port修改成25，如果是阿里云禁用25端口需要使用ssl
      port: 465
    report:
      active: true

　　重启kibana

systemctl restart kibana

　　打开head可以查看到生成了一个名字为wacter_alarms的索引

　　

　　打开kibana菜单可以看到sentina选项

　　新建一个watchers

　　修改完可以编辑或者测试

　　点击运行测试

　　查看告警信息

　　配置advanced文件设置查询告警条件，一个较为完整的配置文件如下

{
  "actions": {
    "Email_alarm_773206d5-2977-465e-882d-762a7d69fe68": {
      "name": "Email alarm",
      "throttle_period": "15m",
      "email": {
        "priority": "low",
        "stateless": false,
        "body": "Find error log {{payload.hits.total}}", #发送邮件的内容，统计出现关键字错误的匹配次数
        "to": "xxx@xxx.com",           #邮件接收方自定义
        "from": "xxx@xxx.com"         #邮件发送方为kibana配置文件里面的邮箱
      }
    }
  },
  "input": {
    "search": {
      "request": {
        "index": [
          "system-log-*"                  #索引名
        ],
        "body": {
          "query": {
            "bool": {
              "must": [
                {
                  "range": {
                    "@timestamp": {                #匹配时间
                      "gte": "now-5m/m",          #大于或等于从现在减5分钟
                      "lte": "now/m",                 #小于等于现在
                      "format": "epoch_millis"
                    }
                  }
                }
              ],
              "filter": [
                {
                  "multi_match": {
                    "type": "best_fields",
                    "query": "error",                  #匹配日志里面是否出现关键字error
                    "lenient": true
                  }
                }
              ]
            }
          },
          "size": 0,
          "aggs": {
            "dateAgg": {
              "date_histogram": {
                "field": "@timestamp",
                "time_zone": "Asia/Shanghai",
                "interval": "1m",
                "min_doc_count": 1
              }
            }
          }
        }
      }
    }
  },
  "condition": {
    "script": {
      "script": "payload.hits.total>1"                #匹配的次数大于1则触发告警动作
    }
  },
  "trigger": {
    "schedule": {
      "later": "every 5 minutes"                      #每五分钟执行一次
    }
  },
  "disable": false,
  "report": false,
  "title": "system-log错误日志监控告警",
  "wizard": {},
  "save_payload": false,
  "spy": false,
  "impersonate": false
}

　　PS：为方便理解加了注释，时间配置文件不可加注释

　　监控对应日志五分钟内是否出现关键字error如果出现并且大于1则触发邮件告警

　　往对应日志重定向几次error即可触发该告警

　　邮件内容如下

　　在写一个监控CPU使用率告警配置文件

{
  "actions": {
    "HTML_email_alarm_5fbf1925-81fc-4d73-a37e-b6ac8b9bfc06": {
      "name": "HTML email alarm",
      "throttle_period": "1m",
      "email_html": {
        "html": "五分钟内cpu使用率超过10% 次数为{{ payload.hits.total }}",
        "priority": "low",
        "stateless": false,
        "to": "xxx@xxx.com",
        "from": "xxx@xxx.com"
      }
    }
  },
  "input": {
    "search": {
      "request": {
        "index": [
          "metricbeat-*"
        ],
        "body": {
          "query": {
            "bool": {
              "filter": [
                {
                  "range": {
                    "system.cpu.total.pct": {
                      "gt": 0.1
                    }
                  }
                }
              ],
              "must": [
                {
                  "range": {
                    "@timestamp": {
                      "gte": "now-5m/m",
                      "lte": "now/m",
                      "format": "epoch_millis"
                    }
                  }
                }
              ]
            }
          },
          "size": 0,
          "aggs": {
            "dateAgg": {
              "date_histogram": {
                "field": "@timestamp",
                "time_zone": "Europe/Amsterdam",
                "interval": "1m",
                "min_doc_count": 1
              }
            }
          }
        }
      }
    }
  },
  "condition": {
    "script": {
      "script": "payload.hits.total >=1"
    }
  },
  "trigger": {
    "schedule": {
      "later": "every 5 minutes"
    }
  },
  "disable": false,
  "report": false,
  "title": "metricber",
  "wizard": {},
  "save_payload": true,
  "spy": false,
  "impersonate": false
}

　　监控CPU使用率如果大于10%就告警，system.cpu.total.pct为浮点数，对比大于0.1就是大于10%