Prometheus监控操作

一、架构说明

　　

➢　Prometheus Server：Prometheus 生态最重要的组件，主要用于抓取和存储时间序列数据，

　　同时提供数据的查询和告警策略的配置管理；

➢　 Alertmanager：Prometheus 生态用于告警的组件，Prometheus Server 会将告警发送给

　　 Alertmanager，Alertmanager 根据路由配置，将告警信息发送给指定的人或组。

　　Alertmanager 支持邮件、Webhook、微信、钉钉、短信等媒介进行告警通知；

➢　 Grafana：用于展示数据，便于数据的查询和观测；

➢　Push Gateway：Prometheus 本身是通过 Pull 的方式拉取数据，但是有些监控数据可能是

　　短期的，如果没有采集数据可能会出现丢失。Push Gateway 可以用来解决此类问题，它

　　可以用来接收数据，也就是客户端可以通过 Push 的方式将数据推送到 Push Gateway，

　　之后 Prometheus 可以通过 Pull 拉取该数据；

➢　Exporter：主要用来采集监控数据，比如主机的监控数据可以通过 node_exporter采集，

　　MySQL 的监控数据可以通过 mysql_exporter 采集，之后 Exporter 暴露一个接口，比

　　如/metrics，Prometheus 可以通过该接口采集到数据；

➢　PromQL：PromQL 其实不算 Prometheus 的组件，它是用来查询数据的一种语法，比

　　如查询数据库的数据，可以通过 SQL 语句，查询 Loki 的数据，可以通过 LogQL，查询

　　 Prometheus 数据的叫做 PromQL；

➢　 Service Discovery：用来发现监控目标的自动发现，常用的有基于 Kubernetes、

　　Consul、Eureka、文件的自动发现等

二、Prometheus安装

• Kube-Prometheus 项目地址：https://github.com/prometheus-operator/kube-prometheus/
  首先需要通过该项目地址，找到和自己 Kubernetes 版本对应的 Kube Prometheus Stack 的
  版本

• 　克隆下载，这里安装的是release-0.10版本或者利用游览器下载后上传到服务器

git clone -b release-0.10 --single-branch https://github.com/prometheus-operator/kube-prometheus.git

• 修改镜像下载地址。原下载镜像地址不能下载镜像

[root@k8s-master1 manifests]# vim prometheusAdapter-deployment.yaml

image: k8s.gcr.io/prometheus-adapter/prometheus-adapter:v0.9.1
#修改如下地址
image: willdockerhub/prometheus-adapter:v0.9.1

[root@k8s-master1 manifests]# vim kubeStateMetrics-deployment.yaml

image: k8s.gcr.io/kube-state-metrics/kube-state-metrics:v2.3.0
#修改如下地址：
image: bitnami/kube-state-metrics:2.3.0

• Prometheus安装

cd kube-prometheus/manifests/setup/

#安装 Prometheus Operator：
kubectl create -f setup/

#安装 Prometheus Stack：
kubectl create -f .

• 查看 Prometheus 容器状态：

kubectl get pod -n monitoring

• 将 Grafana 的 Service 改成 NodePort 类型

kubectl edit svc -n monitoring grafana

　　打开后找到type: ClusterIP 修改为 type: NodePort，修改如下图红色方框

• 查看 Grafana Service 的 NodePort：

[root@k8s-master1 manifests]# kubectl get svc -n monitoring  grafana
NAME      TYPE       CLUSTER-IP    EXTERNAL-IP   PORT(S)          AGE
grafana   NodePort   10.8.14.157   <none>        3000:32734/TCP   6m32s

• 访问Grafana，通过任意一个安装了 kube-proxy 服务的节点 IP+32734 端口即可访问

　　注：Grafana默认登录的账号密码为admin/admin。

• 开启Prometheus简易web ui界面。需要相同的方式更改Prometheus的Service为NodePort

kubectl edit svc -n monitoring prometheus-k8s

　　注：把type: ClusterIP 修改为 type: NodePort.修改方法跟上面一样

• 查看Service

[root@k8s-master1 manifests]# kubectl get svc -n monitoring  prometheus-k8s
NAME             TYPE       CLUSTER-IP    EXTERNAL-IP   PORT(S)                         AGE
prometheus-k8s   NodePort   10.6.102.49   <none>        9090:30671/TCP,8080:32548/TCP   9m52s

• 登录节点 IP地址：端口号(30671)

注：默认安装完成后，会有几个告警，先忽略

三、Etcd监控

　　3-1、测试访问Etcd Metric接口

• 首先找到ectd证书位置。可以在Etcd配置文件中搜索获得（注意配置文件的位置，不同的集群位置可能不同，kubeadm安装方式可能会在在/etc/kubernetes/manifests/etcd.yml 中），可以通过systemctl status etcd 查看配置文件所在位置。如图;

• 找到配置文件位置后查看证书所在位置

[root@k8s-master1 ~]# cat /etc/etcd/etcd.config.yml | grep -E "key-file|cert-file"
  cert-file: '/etc/kubernetes/pki/etcd/etcd.pem'
  key-file: '/etc/kubernetes/pki/etcd/etcd-key.pem'

• 测试访问Etcd Metic接口(注;etcd 监听端口是2379)

[root@k8s-master1 ~]# curl -s --cert /etc/kubernetes/pki/etcd/etcd.pem --key /etc/kubernetes/pki/etcd/etcd-key.pem \
https://YOUR_ETCD_IP:2379/metrics -k|tail -l

#查看结果显示
# TYPE process_virtual_memory_max_bytes gauge
process_virtual_memory_max_bytes 1.8446744073709552e+19
# HELP promhttp_metric_handler_requests_in_flight Current number of scrapes being served.
# TYPE promhttp_metric_handler_requests_in_flight gauge
promhttp_metric_handler_requests_in_flight 1
# HELP promhttp_metric_handler_requests_total Total number of scrapes by HTTP status code.
# TYPE promhttp_metric_handler_requests_total counter
promhttp_metric_handler_requests_total{code="200"} 0
promhttp_metric_handler_requests_total{code="500"} 0
promhttp_metric_handler_requests_total{code="503"} 0

　　3-2、创建Etcd Service yaml文件

vim etcd-service.yaml

apiVersion: v1
kind: Endpoints
metadata:
  labels:
    app: etcd-prom
  name: etcd-prom
  namespace: kube-system
subsets:
  - addresses:
      - ip: YOUR_ETCD_IP1    #这里设置是etcd服务器的IP地址，有几个Etcd添加几个
      - ip: YOUR_ETCD_IP1
      - ip: YOUR_ETCD_IP1
    ports:
      - port: 2379          #etcd监听端口
        name: https-metrics
        protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: etcd-prom
  name: etcd-prom
  namespace: kube-system
spec:
  type: ClusterIP
  ports:
  - port: 2379
    protocol: TCP
    targetPort: 2379
    name: https-metrics

　　注：需要把YOUR_ETCD_IP改成自己的Etcd主机IP地址，另外需要注意port的名称为https-metrics,需要和后面的ServiceMonitor保持一致。

• 创建Etcd Service和查看Service的ClusterIP

#创建
kubectl create -f etcd-service.yaml

#查看Service的ClusterIP
[root@k8s-master1 src]# kubectl get svc -n kube-system etcd-prom
NAME        TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
etcd-prom   ClusterIP   10.4.62.48   <none>        2379/TCP   16h

• 通过ClusterIP访问测试

[root@k8s-master1 src]# curl -s --cert /etc/kubernetes/pki/etcd/etcd.pem --key /etc/kubernetes/pki/etcd/etcd-key.pem https://10.4.62.48:2379/metrics -k|tail -l
# TYPE process_virtual_memory_max_bytes gauge
process_virtual_memory_max_bytes 1.8446744073709552e+19
# HELP promhttp_metric_handler_requests_in_flight Current number of scrapes being served.
# TYPE promhttp_metric_handler_requests_in_flight gauge
promhttp_metric_handler_requests_in_flight 1
# HELP promhttp_metric_handler_requests_total Total number of scrapes by HTTP status code.
# TYPE promhttp_metric_handler_requests_total counter
promhttp_metric_handler_requests_total{code="200"} 1
promhttp_metric_handler_requests_total{code="500"} 0
promhttp_metric_handler_requests_total{code="503"} 0

　　注：通过创建Etcd Service 得到的ClusterIP 测试metrics 和上面测试结果一样，说明创建的Etcd Service可以使用

　　3-3、创建Etcd证书的Secret（证书路径根据实际环境进行更改）

[root@k8s-master1 src]# kubectl create secret generic etcd-ssl \
--from-file=/etc/kubernetes/pki/etcd/etcd-ca.pem \
--from-file=/etc/kubernetes/pki/etcd/etcd.pem \
--from-file=/etc/kubernetes/pki/etcd/etcd-key.pem -n monitoring

• 将证书挂载至Prometheus容器(由于Prometheus是Operator部署，所以只需修改Prometheus资源即可)

kubectl edit prometheus k8s -n monitoring

#添加以下内容
secrets:
  - etcd-ssl

　　如图所示：

　　注：保存退出后，Prometheus的Pod会自动重启。重启玩后查看证书是否挂载（任意一个Promentheus的pod即可）

• 查看状态和查看证书是否挂载

#查看重启是否完成命令
kubectl get pod -n monitoring

#查看证书是否挂载
[root@k8s-master1 ~]# kubectl exec -n monitoring prometheus-k8s-0 -c prometheus -- ls /etc/prometheus/secrets/etcd-ssl/
etcd-ca.pem
etcd-key.pem
etcd.pem　

• Etcd ServiceMonitor 创建

vim servicemonitor.yaml

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: etcd
  namespace: monitoring
  labels:
    app: etcd
spec:
  jobLabel: k8s-app
  endpoints:
    - interval: 30s
      port: https-metrics    #这个port对应 Service.spec.ports.name
      scheme: https
      tlsConfig:
        caFile: /etc/prometheus/secrets/etcd-ssl/etcd-ca.pem #证书路径
        certFile: /etc/prometheus/secrets/etcd-ssl/etcd.pem
        keyFile: /etc/prometheus/secrets/etcd-ssl/etcd-key.pem
        insecureSkipVerify: true # 关闭证书校验
  selector:
    matchLabels:
      app: etcd-prom        #跟svc的lables 保持一致。可以根据下面的图进行查看说明
  namespaceSelector:
    matchNames:
      - kube-system

• app: etcd-prom配置查看说明

kubectl get svc -n kube-system -l app=etcd-prom

　注：和之前的 ServiceMonitor 相比，多了 tlsConfig 的配置，http 协议的 Metrics 无需该配置

• 创建ServiceMonitor

[root@k8s-master1 src]# kubectl create -f servicemonitor.yaml
servicemonitor.monitoring.coreos.com/etcd created

• 检查监控Etcd配置是否正常加载

kubectl get servicemonitor -n monitoring

• Prometheus web简易页面

　　

　　　　注：Etcd节点有几个显示几个才算正常，如果显示不正常根据上面步骤排查下问题

• 配置Grafana 显示etcd监控页面

　　打开 https://grafana.com/grafana/dashboards 找Etcd相关的 dashboards。

　　找的的Etcd dashboards导入路径：https://grafana.com/grafana/dashboards/3070-etcd/

导入后页面显示

　　注：至此Etcd监控配置完成

四、非云原生监控Exporter

　　4-1、MySQL 作为一个测试用例，演示如何使用 Exporter 监控非云原生应用。 MySQL安装不在操作

• 登录 MySQL，创建 Exporter 所需的用户和权限

mysql> CREATE USER 'exporter'@'%' IDENTIFIED BY 'exporter' WITH
MAX_USER_CONNECTIONS 3;
Query OK, 0 rows affected (0.01 sec)
mysql> GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO
'exporter'@'%';
Query OK, 0 rows affected (0.00 sec)

• 配置 MySQL Exporter 采集 MySQL 监控数据

vim mysql-exporter.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: mysql-exporter
  namespace: monitoring
spec:
  replicas: 1
  selector:
    matchLabels:
      k8s-app: mysql-exporter
  template:
    metadata:
      labels:
        k8s-app: mysql-exporter
    spec:
      containers:
      - name: mysql-exporter
        image: registry.cn-beijing.aliyuncs.com/dotbalo/mysqld-exporter
        env:
          - name: DATA_SOURCE_NAME
            #value: "exporter:exporter@(mysql.default:3306)/"   #集群内部MySQL监控配置
            value: "exporter:exporter@(192.168.3.81:3306)/"     #集群外部监控MySQL配置
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 9104
---
apiVersion: v1
kind: Service
metadata:
  name: mysql-exporter
  namespace: monitoring
  labels:
    k8s-app: mysql-exporter
spec:
  type: ClusterIP
  selector:
    k8s-app: mysql-exporter
  ports:
  - name: api
    port: 9104
    protocol: TCP

• 创建 Exporter：

# kubectl create -f mysql-exporter.yaml
deployment.apps/mysql-exporter created
service/mysql-exporter created

• 　　查看创建的mysql-exporter状态

[root@k8s-master1 src]# kubectl get svc -n monitoring mysql-exporter
NAME             TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)    AGE
mysql-exporter   ClusterIP   10.1.173.190   <none>        9104/TCP   10h

• 通过该 Service 地址，检查是否能正常获取 Metrics 数据：

[root@k8s-master1 src]# curl 10.1.173.190:9104/metrics | tail -1
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  119k    0  119k    0     0  1161k      0 --:--:-- --:--:-- --:--:-- 1179k
promhttp_metric_handler_requests_total{code="503"} 0

• ServiceMonitor 配置

vim mysql-sm.yaml

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: mysql-exporter
  namespace: monitoring
  labels:
    k8s-app: mysql-exporter
    namespace: monitoring
spec:
  jobLabel: k8s-app
  endpoints:
  - port: api
    interval: 30s
    scheme: http
  selector:
    matchLabels:
      k8s-app: mysql-exporter
  namespaceSelector:
    matchNames:
    - monitoring

　　注：需要matchLabels 和 endpoints 的配置，要和 MySQL 的 Service 一致

• 创建ServiceMonitor

# kubectl create -f mysql-sm.yaml
servicemonitor.monitoring.coreos.com/mysql-exporter created

• 接下来即可在 Prometheus Web UI 看到该监控

• 导入 Grafana Dashboard

　　　　说明：导入 Grafana Dashboard，地址：https://grafana.com/grafana/dashboards/6239-mysql/，导入步骤和之前类似，

　　　　　　　在此不再演示。导入完成后，即可在 Grafana 看到监控数据：

五、Service Monitor 找不到监控主机排查

　　5-1、故障排查步骤

　　　　1）确认Service Monitor是否创建成功

　　　　2）确认Service Monitor标签是否配置正确

　　　　3）确认Promenteus 是否生成了相关配置

　　　　4）确认存在Service Monitor匹配的Service

　　　　5）确认通过Service 能够访问程序的Metrics接口

　　　　6）确认Service 的端口和Scheme和Service Monitor一致

　　5-2、解决安装后报KubeControllerManagerDown (1 active) 监控数据没有错误，如下图错误。解决步骤如下

• 确认Service Monitor是否创建成功，查看命令

kubectl get servicemonitor -n monitoring

通过Prometheus web界面查看kube-controller-manager是否生成了相关配置

• 检查Service Monitor匹配的Service

kubectl get servicemonitor -n monitoring kube-controller-manager -oyaml

　　

　　注：该Service Monitor匹 配 的 是kube-system命名空间下 ， 具有app.kubernetes.io/name=kube-controller-manager 标签

　　　　接下来通过该标签查看是否存在

[root@k8s-master1 ~]# kubectl get svc -l app.kubernetes.io/name=kube-controller-manager -n kube-system
No resources found in kube-system namespace.

　　注：可以看到并没有此标签的 Service，所以导致了找不到需要监控的目标，此时可以手动创建该 Service 和

　　　　Endpoint 指向自己的 Controller Manage（kube-controller-manager ）

• 创建该 Service 和 Endpoint 指向Controller Manage（kube-controller-manager ）

[root@k8s-master1 src]# vim controller-manager-svc.yaml 

apiVersion: v1
kind: Endpoints
metadata:
  labels:
    app.kubernetes.io/name: kube-controller-manager
  name: kube-controller-manager-prom
  namespace: kube-system
subsets:
  - addresses:
      - ip: 192.168.3.123    #这里设置是contorller-manager服务器的IP地址，有几个Etcd添加几个
      - ip: 192.168.3.124
      - ip: 192.168.3.125
    ports:
      - port: 10257          #controlle监听端口
        name: https-metrics
        protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app.kubernetes.io/name: kube-controller-manager     #这里要跟servicemotiors labels 名称保持一致才能找到
  name: kube-controller-manager-prom
  namespace: kube-system
spec:
  type: ClusterIP
  ports:
  - port: 10257
    protocol: TCP
    targetPort: 10257
    name: https-metrics

#创建
[root@k8s-master1 src]# kubectl create -f controller-manager-svc.yaml
endpoints/kube-controller-manager-prom created
service/kube-controller-manager-prom created

• 所有 k8s-master主节点上面的 /usr/lib/systemd/system/kube-controller-manager.service 启动配置文件添加以下内容

--authentication-kubeconfig=/etc/kubernetes/controller-manager.kubeconfig \
--authorization-kubeconfig=/etc/kubernetes/controller-manager.kubeconfig \

　　注：如果在配置末尾添加注意后面的反斜杠需要去掉

• 　　登录Prometheus  Web UI界面是否正常，如下图kube-controller-manager监控正常

• 登录Grafana  界面找到Controller Manager标签显示3个主节点信息说明Grafana监控也正常

　5-3、解决安装后报KubeSchedulerDown (1 active) (1 active)没有监控数据错误，如下图错误。解决步骤如下

• 　　确认Service Monitor是否创建成功，查看命令

kubectl get servicemonitor -n monitoring

• 通过Prometheus web界面查看kube-scheduler是否生成了相关配置

• 检查Service Monitor匹配的Service

kubectl get servicemonitor -n monitoring kube-scheduler -oyaml

　　注：该Service Monitor匹 配 的 是kube-system命名空间下 ， 具有app.kubernetes.io/name: kube-scheduler 标签

　　　　接下来通过该标签查看是否存在

[root@k8s-master1 ~]# kubectl get svc -l app.kubernetes.io/name=kube-scheduler -n kube-system
No resources found in kube-system namespace.

　　注：可以看到并没有此标签的 Service，所以导致了找不到需要监控的目标，此时可以手动创建该 Service 和

　　　　Endpoint 指向自己的 Controller Manage（kube-scheduler ）

• 创建该 Service 和 Endpoint 指向Controller Manage（kube-scheduler ）

[root@k8s-master1 src]# vim scheduler.yaml

apiVersion: v1
kind: Endpoints
metadata:
  labels:
    app.kubernetes.io/name: kube-scheduler
  name: kube-scheduler-prom
  namespace: kube-system
subsets:
  - addresses:
      - ip: 192.168.3.123    #这里设置是scheduler服务器的IP地址，有几个Etcd添加几个
      - ip: 192.168.3.124
      - ip: 192.168.3.125
    ports:
      - port: 10259          #scheduler监听端口
        name: https-metrics
        protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app.kubernetes.io/name: kube-scheduler     #这里要跟servicemotiors labels 名称保持一致才能找到
  name: kube-scheduler-prom
  namespace: kube-system
spec:
  type: ClusterIP
  ports:
  - port: 10259
    protocol: TCP
    targetPort: 10259
    name: https-metrics

• 创建

[root@k8s-master1 src]# kubectl create -f scheduler.yaml
endpoints/kube-scheduler-prom created
service/kube-scheduler-prom created

• 所有 k8s-master主节点上面的/usr/lib/systemd/system/kube-scheduler.service启动配置文件添加以下内容

--requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.pem \
--authentication-kubeconfig=/etc/kubernetes/scheduler.kubeconfig \
--authorization-kubeconfig=/etc/kubernetes/scheduler.kubeconfig \

　　注：如果在配置末尾添加注意后面的反斜杠需要去掉

• 登录Prometheus  Web UI界面是否正常，如下图说明kube-scheduler监控正常

• 登录Grafana  界面找到kube-scheduler标签显示3个主节点信息说明Grafana监控也正常

　　注：其它相关错误排查也是相关步骤

六、配置Prometeus静态文件远程监控Linux主机

　　说明：远程监控主机IP地址为：192.168.3.81

　　6-1、远程Linux主机操作。远程监控客户端下载地址：https://prometheus.io/download/

#下载node_exporter远程监控客户端口
wget https://github.com/prometheus/node_exporter/releases/download/v1.4.0/node_exporter-1.4.0.linux-amd64.tar.gz

#解压
tar zxf node_exporter-1.4.0.linux-amd64.tar.gz

#解压后吧node_exporter移动到/usr/local/目录下
mv node_exporter-1.4.0.linux-amd64 /usr/local/node_exporter-1.4.0.linux-amd64

• 配置远程监控Linux主机node_exporter启动服务

vim /usr/lib/systemd/system/node_exporter.service

[Service]
ExecStart=/usr/local/node_exporter-1.4.0.linux-amd64/node_exporter --web.listen-address=0.0.0.0:9100
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure

[Install]
WantedBy=multi-user.target

[Unit]
Description=node_exporter
After=network.target

#更新系统服务
systemctl daemon-reload

#加入开机启动
systemctl enable node_exporter.service

#启动
systemctl start node_exporter.service
#停止
systemctl stop node_exporter.service
#重启
systemctl restart node_exporter.service

　　注：ExecStart=/usr/local/node_exporter-1.4.0.linux-amd64/node_exporter --web.listen-address=0.0.0.0:9100配置说明

　　　　1、/usr/local/node_exporter-1.4.0.linux-amd64/node_exporter 存放node_exporter路径

　　　　2、--web.listen-address=0.0.0.0:9100 指定了 node_exporter 的监听端口为9100

　6-2、以下操作都在Kubernetes集群K8s-master1上面操作或kubectl命令机器上面

• 首先创建一个prometheus-additional.yaml 空文件，然后通过该文件创建一个 Secret，那么这个 Secret 即可作为Prometheus 的静态配置

#生成一个prometheus-additional.yaml 文件
mkdir /prometeus
cd /prometeus/
touch /prometeus/prometheus-additional.yaml

#创建secret
[root@k8s-master1 prometeus]# kubectl create secret generic additional-configs \
--from-file=/prometeus/prometheus-additional.yaml -n monitoring

#创建成功提示信息
secret/additional-configs created

• 查看创建additional-configs是否成功

#查看创建状态
[root@k8s-master1 ~]# kubectl get secrets -n monitoring additional-configs
NAME                 TYPE     DATA   AGE
additional-configs   Opaque   1      17m

#查看相关内容信息
[root@k8s-master1 ~]# kubectl describe secrets -n monitoring additional-configs
Name:         additional-configs
Namespace:    monitoring
Labels:       <none>
Annotations:  <none>

Type:  Opaque

Data
====
prometheus-additional.yaml:  0 bytes

• 创建完 Secret 后，需要编辑下 Prometheus 配置

[root@k8s-master1 src]# kubectl edit prometheus -n monitoring k8s
prometheus.monitoring.coreos.com/k8s edited

#添加以下内容
additionalScrapeConfigs:
    key: prometheus-additional.yaml
    name: additional-configs
    optional: true

　　

　　注：添加上述配置后保存退出，无需重启 Prometheus 的 Pod 即可生效

• 配置prometheus-additional.yaml文件实现监控Linux主机

vim prometheus-additional.yaml

- job_name: 'LinuxServerMonitor'
  static_configs:
    - targets:
      - "192.168.3.81:9100"   #监控linux主机IP地址和端口。端口默认为9100。可以配置多个监控主机按照格式换行添加即可
      labels:
        server_type: 'linux'
  relabel_configs:
    - source_labels: [__address__]
      target_label: instance

　　注：远程监控多个Linux主机监控示例静态文件配置：

- job_name: 'LinuxServerMonitor'
  static_configs:
    - targets:
      - "192.168.3.81:9100"
      - "192.168.3.82:9100"
      - "192.168.3.83:9100"
      #需要监控多少台Linux主机直接按照顺序添加IP地址:端口即可
      labels:
        server_type: 'linux'
  relabel_configs:
    - source_labels: [__address__]
      target_label: instance

• 通过prometheus-additional.yaml该文件更新 Secret

[root@k8s-master1 src]# kubectl create secret generic additional-configs \
--from-file=/prometeus/prometheus-additional.yaml --dry-run=client -oyaml | \
kubectl replace -f - -n monitoring

#更新后提示
secret/additional-configs replaced

• 查看Prometheus web 界面，出现如下下图显示说明监控正常。

　　注：如果没有稍等一会在查看是否出现。时间过长还没出现根据上面操作查看自己的操作流程或配置文件

• 打开General导入dashboards模块，展示图如下：

　　　　说明：导入dashboards模块这里不在操作，按照上面导入dashboards模块操作即可

　　　　导入模块地址：https://grafana.com/grafana/dashboards/12633-linux

七、黑河监控域名是否可以正常访问

　　说明：关于Secret  配置prometheus-additional.yaml静态文件查看6-2相关操作步骤

　　7-1、新版Prometheus Stack 已经默认安装了 BlackboxExporter，可以通过以下命令查看

[root@k8s-master1 ~]# kubectl get pod -n monitoring -l app.kubernetes.io/name=blackbox-exporter
NAME                                 READY   STATUS    RESTARTS       AGE
blackbox-exporter-6b79c4588b-hvqgz   3/3     Running   21 (83m ago)   3d21h

　　7-2、同时也会创建一个 Service，可以通过该 Service 访问 Blackbox Exporter 并传递一些参数

[root@k8s-master1 ~]# kubectl get svc -n monitoring -l app.kubernetes.io/name=kube-state-metrics
NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)             AGE
kube-state-metrics   ClusterIP   None         <none>        8443/TCP,9443/TCP   3d21h

　　7-3、在prometheus-additional.yaml文件编辑静态配置实现监控域

vim prometheus-additional.yaml 

- job_name: 'GameServer'
  metrics_path: /probe
  params:
    module: [http_2xx]   # Look for a HTTP 200 response.
  static_configs:
    - targets:
      - http://gaoxin.kubeasy.com    # Target to probe with http.
      - https://www.baidu.com        # Target to probe with https.

  relabel_configs:
    - source_labels: [__address__]
      target_label: __param_target
    - source_labels: [__param_target]
      target_label: instance
    - target_label: __address__
      replacement:  blackbox-exporter:19115

　　➢ targets：探测的目标，根据实际情况进行更改

　　➢ params：使用哪个模块进行探测

　　➢ replacement：Blackbox Exporter 的地址

　　注：可以看到此处的内容，和传统配置的内容一致，只需要添加对应的 job 即可

　　7-4、通过prometheus-additional.yaml该文件更新 Secret

[root@k8s-master1 src]# kubectl create secret generic additional-configs \
--from-file=/prometeus/prometheus-additional.yaml --dry-run=client -oyaml | \
kubectl replace -f - -n monitoring
secret/additional-configs replaced

　　7-5、更新完后稍等一会，可登录Prometheus Web 看到该图配置

　　注：监控状态UP后导入黑河模块到General里面

　　7-6、导入dashboards模块到General里面，显示图如下

　　　　说明：导入dashboards模块这里不在操作，按照上面的导入dashboards模块操作即可

　　　　　　　导入模板地址：https://grafana.com/grafana/dashboards/13659

　　7-7、对远程应用端口进行监控

- job_name: 'ServerPort'
  metrics_path: /probe
  params:
    module: [tcp_connect]
  static_configs:
    - targets:
      - 192.168.3.81:9000
      labels:
        tags: "server1" #标签名称
  relabel_configs:
    - source_labels: [__address__]
      target_label: __param_target
    - source_labels: [__param_target]
      target_label: instance
    - target_label: __address__
      replacement:  blackbox-exporter:19115

• 通过prometheus-additional.yaml该文件更新 Secret

[root@k8s-master1 src]# kubectl create secret generic additional-configs \
--from-file=/prometeus/prometheus-additional.yaml --dry-run=client -oyaml | \
kubectl replace -f - -n monitoring

　　注：导入模板地址：https://grafana.com/grafana/dashboards/13659 使General展示

七、邮件告警配置

　　7-1、在安装Prometheus安装包目录下面找到 Alertmanager 的配置文件。

#例如安装包目录为/kube-prometheus-release-0.10切换到manifests
#编辑 alertmanager-secret.yaml文件
[root@k8s-master1 kube-prometheus-release-0.10]# cd manifests/
[root@k8s-master1 manifests]# vim alertmanager-secret.yaml

apiVersion: v1
kind: Secret
metadata:
  labels:
    app.kubernetes.io/component: alert-router
    app.kubernetes.io/instance: main
    app.kubernetes.io/name: alertmanager
    app.kubernetes.io/part-of: kube-prometheus
    app.kubernetes.io/version: 0.23.0
  name: alertmanager-main
  namespace: monitoring
stringData:
  alertmanager.yaml: |-
    "global":
      "resolve_timeout": "5m"
'''后面内容省略

• alertmanager-secret.yaml 文件的 global 添加发送邮件相关配置配置如下

alertmanager.yaml: |-
    "global":
      "resolve_timeout": "5m"
      #添加以下内容
      smtp_from: "123@126.com" 发送邮件地址
      smtp_smarthost: "smtp.126.com:465" #发送邮箱smtp地址
      smtp_hello: "126.com"
      smtp_auth_username: "123@126.com" #发送邮箱地址
      smtp_auth_password: "QWEZSDREDR" #开启POP3/SMTP服务后的授权密码
      smtp_require_tls: false

• 接受邮件配置，修改 alertmanager-secret.yaml 文件的 receivers 配置如下

"receivers":
    - "name": "Default"
      #下面设置的是接受邮件配置
      "email_configs":
      - to: "123@126.com"
        send_resolved: true

　　注：

　　　　➢ email_configs：代表使用邮件通知；

　　　　➢ to：收件人，此处为 123@126.com，可以配置多个，逗号隔开；

　　　　➢ send_resolved：告警如果被解决是否发送解决通知。

• 路由规则（默认分组只有 namespace，在此添加上 job 和 alertname，当然不添加也是可以的）：

"route":
      "group_by":
      - "namespace"
      #下方添加job和alertname分组
      - "job"
      - "alertname"

      "group_interval": "5m"
      "group_wait": "30s"
      "receiver": "Default"
      "repeat_interval": "12h"
      "routes":
      - "matchers":
        - "alertname = Watchdog"
        "receiver": "Watchdog"
      - "matchers":
        - "severity = critical"
        "receiver": "Critical"

• 将更改好的 alertmanager-secret.yaml配置加载到 Alertmanager

kubectl replace -f alertmanager-secret.yaml

　　7-1、开启Alertmanager Web UI 界面查看添加的job和alertname分组，配置内容

• 查红色方框alertmanager-main是否存在，存下进行编辑开启Alertmanager Web UI

kubectl get svc -n monitoring

• 编辑svc alertmanager-main 。把type: ClusterIP 改为 type: NodePort 编辑命令。红色方框为编辑后

kubectl edit svc -n monitoring alertmanager-main

• 查看编辑后对外的映射的端口号，红色方框为映射的端口。IP地址:红色方框端口(端口号是随机的产生)

• 访问alertmanager Web UI查看分组

　　7-2、编写mysql不能连接服务或MySQL服务关闭告警邮件

vim mysql-exporter.yaml

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  labels:
    app.kubernetes.io/component: exporter
    app.kubernetes.io/name: mysql-ruler
    prometheus: k8s
    role: alert-rules
  name: mysql-rules
  namespace: monitoring
spec:
  groups:
  - name: mysql-ruler
    rules:
    - alert: MySQLDown
      annotations:
        description: MySQL Instance：{{ $labels.instance }} 关闭
        summary: MySQL不能连接
      expr: mysql_up!=1
      for: 1m
      labels:
        level: high
        severity: warning
        type: MySQL