kubernetes事件监控工具--Kube-Event

  最近遇到一个很头疼的需求：Kubernetes 集群内部事件的监控与追踪。 在日常使用中，总会碰到容器“不经意间”重启的情况，但我完全不知道上次重启是什么时候。容器一旦重启，旧实例就会被销毁，如果旧容器日志没有被收集或转存，就彻底丢失了。这样一来，想通过历史日志排查问题原因就显得非常棘手。

  其实，K8s 本身是有事件存储机制的，但它们存在一个 TTL（默认 1 小时）。这意味着如果容器频繁重启，或者事件过了保留时间，你就无法通过事件追溯过去的重启时间。更糟糕的是，当容器多次崩溃重启时，后续的事件可能会覆盖掉前面的问题线索，大大增加了排查难度。

---

  我开始收集网络上的一些现有解决方案，还真找到一个：k8s-event-exporter。

  这是一个 GitHub 开源项目，作者的想法是写一个 exporter，监听集群事件并推送到 Loki 存储，然后在 Grafana 上展示，思路非常棒！不过这个项目最后一次提交还是两年前，时间有点久了，但我还是抱着尝试的心理去试用了一下。

  然而意外发生了：exporter 拿到的事件并不完整。 最初我以为是 K8s 本身的事件逻辑导致的，因为 K8s 对短时间内频繁发生的同一逻辑事件会自动合并（这点合理，可以避免 etcd 存储的重复事件）。但奇怪的是，我发现有些事件本不是同一个事件，exporter 却依然没有正确推送。

.pod-flow-card { max-width: 1050px; margin: 40px auto; padding: 30px 20px; background: rgba(255, 255, 255, 1); border-radius: 12px; box-shadow: 0 6px 15px rgba(0, 0, 0, 0.08); border: 1px solid rgba(224, 224, 224, 1) }
.pod-flow-card-title { text-align: center; font-size: 1.5rem; font-weight: bold; margin-bottom: 20px }
.pod-flow-horizontal { font-family: "Segoe UI", Arial, sans-serif; display: flex; justify-content: space-between; align-items: flex-start; padding: 0; list-style: none !important; position: relative; margin: 0 }
.pod-flow-horizontal li { position: relative; text-align: center; flex: 1; list-style: none !important }
.pod-flow-horizontal li .emoji { display: flex; align-items: center; justify-content: center; margin: 0 auto 10px; background: rgba(255, 255, 255, 1); border: 3px solid rgba(76, 175, 80, 1); border-radius: 50%; width: 60px; height: 60px; font-size: 28px; box-shadow: 0 3px 8px rgba(0, 0, 0, 0.15); position: relative; z-index: 1 }
.pod-flow-horizontal li .title { display: block; font-weight: bold; font-size: 16px; margin-bottom: 6px; color: rgba(44, 62, 80, 1) }
.pod-flow-horizontal li .desc { font-size: 14px; color: rgba(85, 85, 85, 1) }
.pod-flow-horizontal li::after { content: "➤"; position: absolute; top: 30px; right: -30px; font-size: 28px; font-weight: bold; background: linear-gradient(90deg, rgba(76, 175, 80, 1), rgba(118, 255, 3, 1)); -webkit-background-clip: text; -webkit-text-fill-color: transparent; animation: 1.2s linear infinite slidearrow }
.pod-flow-horizontal li:last-child::after { content: "" }
@keyframes slideArrow { 0% { transform: translateY(-50%) translateX(0) } 50% { transform: translateY(-50%) translateX(10px) } 100% { transform: translateY(-50%) translateX(0) } }

Pod 创建过程中的典型事件链路

• ️

  Scheduled
  Pod 被调度到节点

• Pulled
  镜像拉取完成

• ️

  Created
  容器实例被创建

• Started
  容器启动成功

• ️

  Liveness Probe
  健康检查开始执行

  但实际结果却只有 一个 Pod 事件 成功推送到 Loki，剩下的事件全都丢弃了，提示是“事件过期被丢弃”。最关键的是，我并不知道 exporter 丢弃的到底是不是我想要的事件。所有能调的配置我几乎都试了，可惜还是没能解决，属实出乎我意料 /(ㄒoㄒ)/~~

---

  我的需求其实非常明确： 监听 K8s 集群内的事件，并推送到 Loki。

  网上方案里我研究过 k8s-event-exporter、promtail、开启 k8s-auditlog、falco，最后发现只有 exporter 最贴合需求，但它却没能满足我。那怎么办？

   不行！那就自己写一个！ 我只需要实现一个功能，应该用不了多少脑子……于是，kube-event 就这样横空出世了

.card-container { display: flex; gap: 20px; align-items: stretch; flex-wrap: wrap; overflow: hidden; padding: 10px }
.card-container a { flex: 1; text-decoration: none; color: inherit; min-width: 250px; transition: transform 0.3s ease, box-shadow 0.3s ease }
.card { border-radius: 16px; padding: 20px; height: 100%; box-sizing: border-box; background: linear-gradient(rgba(255, 255, 255, 1), rgba(255, 255, 255, 1)) border-box padding-box, linear-gradient(135deg, rgba(106, 90, 205, 1), rgba(0, 198, 255, 1), rgba(0, 255, 176, 1)) border-box rgba(255, 255, 255, 0.85); backdrop-filter: blur(6px); border: 2px solid rgba(0, 0, 0, 0); box-shadow: 0 2px 6px rgba(0, 0, 0, 0.05); transition: all 0.4s ease }
.card-container a:hover .card { transform: translateY(-6px); box-shadow: 0 6px 16px rgba(0, 0, 0, 0.12); background-image: linear-gradient(rgba(255, 255, 255, 1), rgba(255, 255, 255, 1)), linear-gradient(135deg, rgba(255, 110, 199, 1), rgba(106, 90, 205, 1), rgba(0, 198, 255, 1)) }
@media (prefers-color-scheme: dark) { .card { box-shadow: 0 2px 6px rgba(0, 0, 0, 0.3) } .card-container a:hover .card { box-shadow: 0 0 20px rgba(0, 198, 255, 0.25) } }
.card strong { font-size: 2rem; background: linear-gradient(135deg, rgba(106, 90, 205, 1), rgba(0, 198, 255, 1)); -webkit-background-clip: text; -webkit-text-fill-color: transparent }
.card span { display: block; margin-top: 8px; color: rgba(68, 68, 68, 1); font-size: 0.95rem }
.card small { display: block; margin-top: 10px; color: rgba(119, 119, 119, 1); font-size: 0.8rem }
@media (max-width: 600px) { .card-container { flex-direction: column } .card-container a { min-width: unset } }

Kube-Event
This project is used to assist in monitoring events ...
https://github.com/SmallFlames/Kube-Event

---

一、传统部署方式

需在 K8s Master 节点 部署

# 下载并解压软件
tar xf kube-event.tar.gz && cd kube-event
# 修改conf配置文件，主要修改loki的地址，其他几个参数看个人需求吧
vim config.json
# 启动服务
./start.sh
# 停止服务
./stop.sh

二、容器化部署

# 下载镜像
docker pull registry.cn-beijing.aliyuncs.com/nanxi/kube-event:1.0.1

配置清单（kube-event.yaml）参考如下：

apiVersion: v1
kind: ServiceAccount
metadata:
  name: kube-event-sa
  namespace: default
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: kube-event-reader
rules:
- apiGroups: [""]
  resources: ["events"]
  verbs: ["get", "list", "watch"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: kube-event-reader-binding
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: kube-event-reader
subjects:
- kind: ServiceAccount
  name: kube-event-sa
  namespace: default
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: kube-event-conf
data:
  config.json: |
    {
      "LOKI_URL": "http://172.21.0.237:32537/loki/api/v1/push",
      "DATA_DIR": "../data/",
      "DEDUPLICATE": 0,
      "PUSH_INTERVAL_SECONDS": 30,
      "ENABLE_DETAILED": false
    }
  logging.yaml: |
    version: 1
    disable_existing_loggers: False
    formatters:
      standard:
        format: "%(asctime)s [%(levelname)s] %(name)s:%(lineno)d - %(message)s"
      message_only:
        format: "%(message)s"
    handlers:
      console:
        class: logging.StreamHandler
        level: INFO
        formatter: standard
        stream: ext://sys.stdout
      file:
        class: logging.handlers.TimedRotatingFileHandler
        level: DEBUG
        formatter: standard
        filename: ../logs/app.log
        when: midnight
        backupCount: 7
        encoding: utf-8
      detailed_console:
        class: logging.StreamHandler
        level: INFO
        formatter: message_only
        stream: ext://sys.stdout
      detailed_file:
        class: logging.handlers.TimedRotatingFileHandler
        level: DEBUG
        formatter: message_only
        filename: ../logs/app.log
        when: midnight
        backupCount: 7
        encoding: utf-8
    loggers:
      detailed:
        level: INFO
        handlers: [detailed_console,detailed_file]
        propagate: false
    root:
      level: DEBUG
      handlers: [console,file]
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: kube-event
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kube-event
  template:
    metadata:
      labels:
        app: kube-event
    spec:
      serviceAccountName: kube-event-sa
      containers:
      - name: kube-event
        image: kube-event:1.0.1
        volumeMounts:
        - name: conf-volume
          mountPath: /app/conf
        - name: log-volume
          mountPath: /app/logs
        - name: catche-data
          mountPath: /app/data
      volumes:
      - name: conf-volume
        configMap:
          name: kube-event-conf
      - name: log-volume
        hostPath:
          path: /var/log/kube-event/logs
          type: DirectoryOrCreate
      - name: catche-data
        hostPath:
          path: /var/log/kube-event/data
          type: DirectoryOrCreate

三、效果展示

  正常启动后输出如下：

  然后我们可以配合grafana进行展示：

  这个模板班编号是17882，原k8s-event-exporter的模板，我们可以直接借用，数据展示的时候修改下查询SQL即可，

  以下是kube-event运行成功后正常推送的数据展示：

---

部署前请认真阅读说明，推荐使用容器部署，欢迎试用并反馈问题！