背景

边缘集群（基于 树莓派 + K3S) 需要实现基本的告警功能。

边缘集群限制

  1. CPU/内存/存储 资源紧张，无法支撑至少需要 2GB 以上内存和大量存储的基于 Prometheus 的完整监控体系方案（即使是基于 Prometheus Agent, 也无法支撑） （需要避免额外的存储和计算资源消耗）
  2. 网络条件，无法支撑监控体系，因为监控体系一般都需要每 1min 定时（或每时每刻）传输数据，且数据量不小；
    1. 存在 5G 收费网络的情况，且访问的目的端地址需要开通权限，且按照流量收费，且因为 5G 网络条件，网络传输能力受限，且不稳定（可能会在一段时间内离线）;

关键需求

总结下来，关键需求如下：

  1. 实现对边缘集群异常的及时告警，需要知道边缘集群正在发生的异常情况；
  2. 网络：网络条件情况较差，网络流量少，只只能开通极少数目的端地址，可以容忍网络不稳定（一段时间内离线）的情况；
  3. 资源：需要尽量避免额外的存储和计算资源消耗

方案

综上所诉，采用如下方案实现：

基于 Kubernetes Events 的告警通知

架构图

技术方案规划

  1. 从 Kubernetes 的各项资源收集 Events, 如：

    1. pod
    2. node
    3. kubelet
    4. crd
    5. ...
  2. 通过 kubernetes-event-exporter 组件来实现对 Kubernetes Events 的收集；
  3. 只筛选 Warning 级别 Events 供告警通知（后续，条件可以进一步定义）
  4. 告警通过 飞书 webhook 等通信工具进行发送（后续，发送渠道可以增加）

实施步骤

手动方式：

在边缘集群上，执行如下操作：

1. 创建 roles

如下：

cat << _EOF_ | kubectl apply -f -

---

apiVersion: v1

kind: Namespace

metadata:

  name: monitoring

---

apiVersion: rbac.authorization.k8s.io/v1

kind: ClusterRole

metadata:

  name: event-exporter-extra

rules:

  - apiGroups:

      - ""

    resources:

      - nodes

    verbs:

      - get

      - list

      - watch

---

apiVersion: v1

kind: ServiceAccount

metadata:

  namespace: monitoring

  name: event-exporter

---

apiVersion: rbac.authorization.k8s.io/v1

kind: ClusterRoleBinding

metadata:

  name: event-exporter

roleRef:

  apiGroup: rbac.authorization.k8s.io

  kind: ClusterRole

  name: view

subjects:

  - kind: ServiceAccount

    namespace: monitoring

    name: event-exporter

---

apiVersion: rbac.authorization.k8s.io/v1

kind: ClusterRoleBinding

metadata:

  name: event-exporter-extra

roleRef:

  apiGroup: rbac.authorization.k8s.io

  kind: ClusterRole

  name: event-exporter-extra

subjects:

  - kind: ServiceAccount

    namespace: kube-event-export

    name: event-exporter

_EOF_

2. 创建 kubernetes-event-exporter config

如下：

cat << _EOF_ | kubectl apply -f -

apiVersion: v1

kind: ConfigMap

metadata:

  name: event-exporter-cfg

  namespace: monitoring

data:

  config.yaml: |

    logLevel: error

    logFormat: json

    route:

      routes:

        - match:

            - receiver: "dump"

        - drop:

            - type: "Normal"

          match:

            - receiver: "feishu"

    receivers:

      - name: "dump"

        stdout: {}

      - name: "feishu"

        webhook:

          endpoint: "https://open.feishu.cn/open-apis/bot/v2/hook/..."

          headers:

            Content-Type: application/json

          layout:

            msg_type: interactive

            card:

              config:

                wide_screen_mode: true

                enable_forward: true

              header:

                title:

                  tag: plain_text

                  content: XXX IoT K3S 集群告警

                template: red

              elements:

                - tag: div

                  text:

                    tag: lark_md

                    content: "**EventType:**  {{ .Type }}\n**EventKind:**  {{ .InvolvedObject.Kind }}\n**EventReason:**  {{ .Reason }}\n**EventTime:**  {{ .LastTimestamp }}\n**EventMessage:**  {{ .Message }}"

_EOF_

注意：

  • endpoint: "https://open.feishu.cn/open-apis/bot/v2/hook/..." 按需修改为对应的 webhook endpoint, 切记勿对外公布！!!
  • content: XXX IoT K3S 集群告警: 按需调整为方便快速识别的名称，如："家里测试 K3S 集群告警"

3. 创建 Deployment

cat << _EOF_ | kubectl apply -f -

apiVersion: apps/v1

kind: Deployment

metadata:

  name: event-exporter

  namespace: monitoring

spec:

  replicas: 1

  selector:

    matchLabels:

      app: event-exporter

      version: v1

  template:

    metadata:

      labels:

        app: event-exporter

        version: v1

    spec:

      volumes:

        - name: cfg

          configMap:

            name: event-exporter-cfg

            defaultMode: 420

        - name: localtime

          hostPath:

            path: /etc/localtime

            type: ''

        - name: zoneinfo

          hostPath:

            path: /usr/share/zoneinfo

            type: ''

      containers:

        - name: event-exporter

          image: ghcr.io/opsgenie/kubernetes-event-exporter:v0.11

          args:

            - '-conf=/data/config.yaml'

          env:

            - name: TZ

              value: Asia/Shanghai

          volumeMounts:

            - name: cfg

              mountPath: /data

            - name: localtime

              readOnly: true

              mountPath: /etc/localtime

            - name: zoneinfo

              readOnly: true

              mountPath: /usr/share/zoneinfo

          imagePullPolicy: IfNotPresent

      serviceAccount: event-exporter

      affinity:

        nodeAffinity:

          preferredDuringSchedulingIgnoredDuringExecution:

            - weight: 100

              preference:

                matchExpressions:

                  - key: node-role.kubernetes.io/controlplane

                    operator: In

                    values:

                      - 'true'

            - weight: 100

              preference:

                matchExpressions:

                  - key: node-role.kubernetes.io/control-plane

                    operator: In

                    values:

                      - 'true'

            - weight: 100

              preference:

                matchExpressions:

                  - key: node-role.kubernetes.io/master

                    operator: In

                    values:

                      - 'true'

      tolerations:

        - key: node-role.kubernetes.io/controlplane

          value: 'true'

          effect: NoSchedule

        - key: node-role.kubernetes.io/control-plane

          operator: Exists

          effect: NoSchedule

        - key: node-role.kubernetes.io/master

          operator: Exists

          effect: NoSchedule

_EOF_

说明：

  1. event-exporter-cfg 相关配置，是用于加载以 ConfigMap 形式保存的配置文件；
  2. localtime zoneinfo TZ 相关配置，是用于修改该 pod 的时区为Asia/Shanghai, 以使得最终显示的通知效果为 CST 时区；
  3. affinity tolerations 相关配置，是为了确保：无论如何，优先调度到 master node 上去，按需调整，此处是因为 master 往往在边缘集群中作为网关存在，配置较高，且在线时间较长；

自动化部署

效果：安装 K3S 时就自动部署

在 K3S server 所在节点，/var/lib/rancher/k3s/server/manifests/ 目录（如果没有该目录就先创建）下，创建 event-exporter.yaml

---

apiVersion: v1

kind: Namespace

metadata:

  name: monitoring

---

apiVersion: rbac.authorization.k8s.io/v1

kind: ClusterRole

metadata:

  name: event-exporter-extra

rules:

  - apiGroups:

      - ""

    resources:

      - nodes

    verbs:

      - get

      - list

      - watch

---

apiVersion: v1

kind: ServiceAccount

metadata:

  namespace: monitoring

  name: event-exporter

---

apiVersion: rbac.authorization.k8s.io/v1

kind: ClusterRoleBinding

metadata:

  name: event-exporter

roleRef:

  apiGroup: rbac.authorization.k8s.io

  kind: ClusterRole

  name: view

subjects:

  - kind: ServiceAccount

    namespace: monitoring

    name: event-exporter

---

apiVersion: rbac.authorization.k8s.io/v1

kind: ClusterRoleBinding

metadata:

  name: event-exporter-extra

roleRef:

  apiGroup: rbac.authorization.k8s.io

  kind: ClusterRole

  name: event-exporter-extra

subjects:

  - kind: ServiceAccount

    namespace: kube-event-export

    name: event-exporter

---

apiVersion: v1

kind: ConfigMap

metadata:

  name: event-exporter-cfg

  namespace: monitoring

data:

  config.yaml: |

    logLevel: error

    logFormat: json

    route:

      routes:

        - match:

            - receiver: "dump"

        - drop:

            - type: "Normal"

          match:

            - receiver: "feishu"

    receivers:

      - name: "dump"

        stdout: {}

      - name: "feishu"

        webhook:

          endpoint: "https://open.feishu.cn/open-apis/bot/v2/hook/dc4fd384-996b-4d20-87cf-45b3518869ec"

          headers:

            Content-Type: application/json

          layout:

            msg_type: interactive

            card:

              config:

                wide_screen_mode: true

                enable_forward: true

              header:

                title:

                  tag: plain_text

                  content: xxxK3S集群告警

                template: red

              elements:

                - tag: div

                  text:

                    tag: lark_md

                    content: "**EventType:**  {{ .Type }}\n**EventKind:**  {{ .InvolvedObject.Kind }}\n**EventReason:**  {{ .Reason }}\n**EventTime:**  {{ .LastTimestamp }}\n**EventMessage:**  {{ .Message }}"

---

apiVersion: apps/v1

kind: Deployment

metadata:

  name: event-exporter

  namespace: monitoring

spec:

  replicas: 1

  selector:

    matchLabels:

      app: event-exporter

      version: v1

  template:

    metadata:

      labels:

        app: event-exporter

        version: v1

    spec:

      volumes:

        - name: cfg

          configMap:

            name: event-exporter-cfg

            defaultMode: 420

        - name: localtime

          hostPath:

            path: /etc/localtime

            type: ''

        - name: zoneinfo

          hostPath:

            path: /usr/share/zoneinfo

            type: ''

      containers:

        - name: event-exporter

          image: ghcr.io/opsgenie/kubernetes-event-exporter:v0.11

          args:

            - '-conf=/data/config.yaml'

          env:

            - name: TZ

              value: Asia/Shanghai

          volumeMounts:

            - name: cfg

              mountPath: /data

            - name: localtime

              readOnly: true

              mountPath: /etc/localtime

            - name: zoneinfo

              readOnly: true

              mountPath: /usr/share/zoneinfo

          imagePullPolicy: IfNotPresent

      serviceAccount: event-exporter

      affinity:

        nodeAffinity:

          preferredDuringSchedulingIgnoredDuringExecution:

            - weight: 100

              preference:

                matchExpressions:

                  - key: node-role.kubernetes.io/controlplane

                    operator: In

                    values:

                      - 'true'

            - weight: 100

              preference:

                matchExpressions:

                  - key: node-role.kubernetes.io/control-plane

                    operator: In

                    values:

                      - 'true'

            - weight: 100

              preference:

                matchExpressions:

                  - key: node-role.kubernetes.io/master

                    operator: In

                    values:

                      - 'true'

      tolerations:

        - key: node-role.kubernetes.io/controlplane

          value: 'true'

          effect: NoSchedule

        - key: node-role.kubernetes.io/control-plane

          operator: Exists

          effect: NoSchedule

        - key: node-role.kubernetes.io/master

          operator: Exists

          effect: NoSchedule

之后启动 K3S 就会自动部署。

️Reference:

自动部署 manifests 和 Helm charts | Rancher 文档

最终效果

如下图：

️参考文档

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.

IoT 边缘集群基于 Kubernetes Events 的告警通知实现的更多相关文章

  1. Grafana 系列文章（十三）：如何用 Loki 收集查看 Kubernetes Events

    前情提要 IoT 边缘集群基于 Kubernetes Events 的告警通知实现 IoT 边缘集群基于 Kubernetes Events 的告警通知实现(二):进一步配置 概述 在分析 K8S 集 ...

  2. 《基于Kubernetes舵手集群的设计与实现》

    前言 <基于Kubernetes舵手集群的设计与实现>是我的毕业设计项目.本系统采用Kubernetes容器编排.基于Jenkins\Gitlab的CICD技术.EFK日志收集.Prome ...

  3. 基于Kubernetes的WAF集群介绍

    Kubernetes是Google开源的容器集群管理系统.它构建Docker技术之上,为容器化的应用提供资源调度.部署运行.服务发现.扩容缩容等整一套功能,可看作是基于容器技术的PaaS平台. 本文旨 ...

  4. 基于Kubernetes集群部署skyDNS服务

    目录贴:Kubernetes学习系列 在之前几篇文章的基础,(Centos7部署Kubernetes集群.基于kubernetes集群部署DashBoard.为Kubernetes集群部署本地镜像仓库 ...

  5. 部署Bookinfo示例程序详细过程和步骤（基于Kubernetes集群+Istio v1.0）

    部署Bookinfo示例程序详细过程和步骤(基于Kubernetes集群+Istio v1.0) 部署Bookinfo示例程序   在下载的Istio安装包的samples目录中包含了示例应用程序. ...

  6. 基于Kubernetes（k8s）的RabbitMQ 集群

    目前,有很多种基于Kubernetes搭建RabbitMQ集群的解决方案.今天笔者今天将要讨论我们在Fuel CCP项目当中所采用的方式.这种方式加以转变也适用于搭建RabbitMQ集群的一般方法.所 ...

  7. 基于kubernetes集群的Vitess最佳实践

    概要 本文主要说明基于kubernetes集群部署并使用Vitess; 本文假定用户已经具备了kubernetes集群使用环境,如果不具备请先参阅基于minikube的kubernetes集群搭建, ...

  8. 腾讯基于Kubernetes的企业级容器云平台GaiaStack (转)

    GaiaStack介绍 GaiaStack是腾讯基于Kubernetes打造的容器私有云平台.这里有几个关键词: 腾讯:GaiaStack可服务腾讯内部所有BG的业务: Kubernetes:Gaia ...

  9. 基于Kubernetes 构建.NET Core技术中台

    今天下午在腾讯云+社区社区分享了<基于Kubernetes 构建.NET Core技术中台>,下面是演讲内容的文字实录. 我们为什么需要中台 我们现在处于企业信息化的新时代.为什么这样说呢 ...

  10. 基于kubernetes自研容器管理平台的技术实践

    一.容器云的背景 伴随着微服务的架构的普及,结合开源的Dubbo和Spring Cloud等微服务框架,宜信内部很多业务线逐渐了从原来的单体架构逐渐转移到微服务架构.应用从有状态到无状态,具体来说将业 ...

随机推荐

  1. mindxdl--common--utils.go

    // Copyright (c) 2021. Huawei Technologies Co., Ltd. All rights reserved.// Package common define co ...

  2. 【RPC和Protobuf】之Protobuf环境配置及组合工作

    Protobuf定义:是一种数据描述语言,作为接口规范的描述语言,可作为设计安全的跨语言RPC接口的基础工具 一.Protobuf入门 作用:最终保证RPC接口规范和安全 最基本的数据单元:messa ...

  3. IDEA提交任务到spark standalone集群

    参考文章: 在idea里面怎么远程提交spark任务到yarn集群 代码 注意setJars,提交的代码,要提前打好包.否则会报找不到类的错误 个人理解就相当于运行的main方法是起了一个spark- ...

  4. Crypto - Caesar I

    原题链接:http://www.wechall.net/challenge/training/crypto/caesar/index.php 告诉我们这是个古凯撒密码,让我们解...我们百度下古凯撒密 ...

  5. goioc：一个使用 Go 写的简易的 ioc 框架

    目录 goioc 介绍 快速上手 接口介绍 使用 goioc 如何使用 生命周期 实例化 获取对象 结构体字段依赖注入 Dispose 接口 反射形式使用 goioc 如何使用 接口.结构体.结构体指 ...

  6. labuladong算法笔记总结

    动态规划解题套路框架 学习计划: 最长回文子序列 〇.必读文章 1.数据结构和算法学习指南(学习算法和刷题的框架思维) 了解数据结构的操作和遍历(迭代or递归) 从树刷起,结合框架思维,有利于理解(回 ...

  7. 微服务开发平台 Spring Cloud Blade 部署实践

    本文介绍使用 Rainbond 快速部署 Spring Cloud Blade 微服务平台.Spring Cloud Blade 是一个由商业级项目升级优化而来的微服务架构,采用Spring Boot ...

  8. TypeError: __str__ returned non-string (type WebStepInfo)

    错误代码: class CaseStep(models.Model): id = models.AutoField(primary_key=True) casetep = models.Foreign ...

  9. axios 中get 和post传参

    axios中get和ppost传参的方式: params是添加到url的请求字符串中的,一般用于get请求. data是添加到请求体(body)中的, 一般用于post请求. 上面,只是一般情况. 其 ...

  10. 【Java技术专题】「原理专题」深入分析Java中finalize方法的作用和底层原理

    finalize方法是什么 finalize方法是Object的protected方法,Object的子类们可以覆盖该方法以实现资源清理工作,GC在首次回收对象之前调用该方法. finalize方法与 ...