在 KubeSphere 中使用 DevOps 部署 Java 微服务配置监控预警

作者：酱油瓶，携程后端技术专家， KubeSphere 社区用户

开发 Java 微服务并引入监控组件

我们基于 Spring Cloud +Nacos 开发 Java 微服务，Java 服务开发不做过多的叙述。

项目中引入 Actuator

我们在项目的 bom 中引入 Spring Boot Actuator，它提供了多种特性来监控和管理应用程序，可以基于 HTTP，也可以基于 JMX。

         <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-actuator</artifactId>

        </dependency>

配置 Actuator

引入 Actuator 后，原则上我们无需做任何配置即可使用，在我们项目中我们结合实际需求及提升安全性做了如下配置：

management.health.elasticsearch.enabled=false

management.endpoints.web.exposure.include=*

management.endpoints.web.base-path=/api/actuator

management.metrics.tags.application=${service.name}

management.metrics.tags.appid=${service.appid}

management.server.port=8090

management.server.port：启用独立的端口来提供监控，避免监控相关 api 暴露在服务外；
management.metrics.tags.xxx：在统计信息中添加自定义的标签；
management.endpoints.web.exposure.include：用于包含我们要公开的端点列表 , 我们这里设置为* 代表所有。

观察应用程序监控数据

当我们运行编写好的程序后，通过访问 http://localhost:8090/api/actuator/prometheus 可以看到类似如下数据，其中就有我们通过配置添加的 tag 数据，后续我们部署的 monitor 会通过如下地址将数据采集到 Prometheus 中。

应用部署配置

1. 编写 DevOps 文件

pipeline {

  agent {

    node {

      label 'maven'

    }

  }

    options{

      buildDiscarder(logRotator(numToKeepStr: '10'))

    }

    parameters {

        string(name:'APP_NAME',defaultValue: 'accounts-service',description:'应用名称 必须使用小写 需跟maven构建中一致')

        string(name:'PROJECT_NAMESPACE',defaultValue: 'basebiz',description:'部署项目集名称')

        string(name:'SERVICE_SRC_PATH',defaultValue: 'accounts-service-webapp',description:'war包路径')

        string(name:'PROGECT_GIT_PATH',defaultValue:'basebiz/accounts-service.git',description:'项目gitlabpath ')

        string(name:'TAG_NAME',defaultValue: '',description:'tag 发布线上必须填写 格式v20210101(v+当前日期)')

        string(name:'PODCOUNT',defaultValue: '2',description:'部署pod数量')

        string(name:'HEALTH_CHECK_URI',defaultValue: '/api/actuator/health',description:'健康检测地址')

    }

    environment {

        //构建镜像

        REGISTRY = 'hub.xxxx.cn'

        DOCKERHUB_NAMESPACE = 'app'

        DOCKER_CREDENTIAL_ID = 'dockerhub-account' //hub账号密钥

        GITHUB_CREDENTIAL_ID = 'gitlab-account' //gitlab账号密钥

        //环境部署凭证

        KUBECONFIG_CREDENTIAL_ID_DEV = 'testing-kubeconfig'

        KUBECONFIG_CREDENTIAL_ID_VIEW = 'xxxxaliyun-testing'

        KUBECONFIG_CREDENTIAL_ID_PROD = 'xxx-prod'

        DOWNLOAD_BASEDOMAIN = 'gitlab.xxxx.cn' //公共资源下载

        COMMIT_ID= sh(  returnStdout: true, script: 'git rev-parse --short HEAD').trim()

    }

 stages {

        stage ('迁出代码') {

            steps {

                checkout(scm)

            }

        }

        stage ('编译') {

            steps {

                container ('maven') {

                    //***************************************

                    //**************下载通用模版***************

                    sh 'curl -o `pwd`/start.sh https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/shell/springboot-start.sh'

                    sh 'curl -o `pwd`/settings.xml https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/setting.xml'

                    sh 'curl -o `pwd`/Dockerfile https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/dockerfile/javaservice/dockerfile'

                    //***************************************

                    sh 'mkdir `pwd`/yaml'

                    sh 'curl -o `pwd`/yaml/devops-java.yaml https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/yaml/java-service-v1.0.0.yaml'

                    sh 'mvn -Dmaven.test.skip=true -gs `pwd`/settings.xml clean package -U -Denv.trackerror=true'

                }

            }

        }

        stage('构建并推送镜像'){

           steps{

                container ('maven') {

                  sh 'docker build --build-arg SERVICE_SRC_PATH=$SERVICE_SRC_PATH \

                     --build-arg GENERATE_PATH=generated-resources/appassembler/jsw/$APP_NAME \

                     --build-arg RELEASE_NAME=$BRANCH_NAME-$BUILD_NUMBER \

                     --build-arg APP_NAME=$APP_NAME \

                     -f Dockerfile \

                     -t $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID \

                     --no-cache .'

                  withCredentials([usernamePassword(passwordVariable : 'DOCKER_PASSWORD' ,usernameVariable : 'DOCKER_USERNAME' ,credentialsId : "$DOCKER_CREDENTIAL_ID" ,)]) {

                        sh 'echo "$DOCKER_PASSWORD" | docker login $REGISTRY -u "$DOCKER_USERNAME" --password-stdin'

                        sh 'docker push  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID'

                  }

                  sh 'docker tag  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:latest '

                  sh 'docker push  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:latest '

                }

           }

        }

         stage("gitlab 打 tag"){

          when{

            expression{

              return params.TAG_NAME =~ /v.*/

            }

          }

         steps {

                withCredentials([usernamePassword(credentialsId: "$GITHUB_CREDENTIAL_ID", passwordVariable: 'GIT_PASSWORD', usernameVariable: 'GIT_USERNAME')]) {

                                       sh 'git config --global user.email "xxxx@xxxx.cn" '

                                       sh 'git config --global user.name "xxxx" '

                                       sh 'git tag -a $TAG_NAME-$BUILD_NUMBER -m "$TAG_NAME" '

                                       sh 'git push https://$GIT_USERNAME:$GIT_PASSWORD@$DOWNLOAD_BASEDOMAIN/$PROGECT_GIT_PATH --tags --ipv4'

                                     }

                }

         }

        stage('部署测试环境') {

         // when{

         //   branch 'master'

         // }

          steps {

            //input(id: 'deploy-to-dev', message: 'deploy to dev?')

            kubernetesDeploy(configs: 'yaml/**', enableConfigSubstitution: true, kubeconfigId: "$KUBECONFIG_CREDENTIAL_ID_DEV")

          }

        }

        stage('部署生产环境') {

          when{

            expression{

              return params.TAG_NAME =~ /v.*/

            }

          }

          steps {

            input(id: 'deploy-to-prod', message: '是否允许发布生产?')

            kubernetesDeploy(configs: 'yaml/**', enableConfigSubstitution: true, kubeconfigId: "$KUBECONFIG_CREDENTIAL_ID_PROD")

          }

        }

    }

}

Jenkinsfile 文件描述了如下几个过程：

下载通用模版文件（maven setting、部署的 yaml 文件，构建容器镜像的 Dockerfile）
使用 Maven 编译 Java 应用程序
将编译后的 Java 应用程序打包为 Docker 镜像
将构建好的 Docker 镜像推送到私有 DockerHub 中
将容器镜像部署到各个环境中

界面执行效果为：

2. 编写部署的 yaml 文件

# java deployment基本配置

apiVersion: apps/v1

kind: Deployment

metadata:

  labels:

    app: $APP_NAME

    component: ${PROJECT_NAMESPACE}-${APP_NAME}

    release: java-actuator-prometheus

    tier: backend

  name: ${PROJECT_NAMESPACE}-${APP_NAME}

  namespace: ${PROJECT_NAMESPACE}

spec:

  progressDeadlineSeconds: 600

  replicas: ${PODCOUNT}

  selector:

    matchLabels:

      app: $APP_NAME

      component: ${PROJECT_NAMESPACE}-${APP_NAME}

      tier: backend

  template:

    metadata:

      labels:

        app: $APP_NAME

        component: ${PROJECT_NAMESPACE}-${APP_NAME}

        tier: backend

        release: java-actuator-prometheus

      annotations:

        prometheus.io/path: /api/actuator/prometheus

        prometheus.io/port: '8090'

        prometheus.io/scrape: 'true'

    spec:

      volumes:

        - name: base-config

          configMap:

            name: base-config

            items:

              - key: server.properties

                path: server.properties

            defaultMode: 420

        - name: logconfig

          configMap:

            name: logconfig

            items:

              - key: logging-config.xml

                path: logging-config.xml

            defaultMode: 420

      containers:

        - env:

            - name: HOST_IP

              valueFrom:

                fieldRef:

                  apiVersion: v1

                  fieldPath: status.hostIP

            - name: DEPLOY_ENV

              valueFrom:

                configMapKeyRef:

                  name: base-config

                  key: env

            - name: NACOS_SERVER

              valueFrom:

                configMapKeyRef:

                  name: base-config

                  key: nacos-server

            - name: DB_SERVER_ADDRESS

              valueFrom:

                configMapKeyRef:

                  name: base-config

                  key: DB_SERVER_ADDRESS

          image: $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID

          readinessProbe:

            httpGet:

              path: ${HEALTH_CHECK_URI}

              port: 8090

            initialDelaySeconds: 30

            timeoutSeconds: 10

            failureThreshold: 30

            periodSeconds: 5

          imagePullPolicy: Always

          name: ${PROJECT_NAMESPACE}-${APP_NAME}

          ports:

            - containerPort: 8080

              protocol: TCP

            - containerPort: 8090

              protocol: TCP

          resources:

            limits:

              cpu: 2000m

              memory: 600Mi

            requests:

              cpu: 1m

              memory: 100Mi

          terminationMessagePath: /dev/termination-log

          terminationMessagePolicy: File

      dnsPolicy: ClusterFirst

      restartPolicy: Always

      terminationGracePeriodSeconds: 30

---

# 服务svc配置信息

apiVersion: v1

kind: Service

metadata:

  labels:

    app: ${APP_NAME}

    component: ${PROJECT_NAMESPACE}-${APP_NAME}

    release: java-actuator-prometheus

  name: ${PROJECT_NAMESPACE}-${APP_NAME}

  namespace: ${PROJECT_NAMESPACE}

  annotations:

    prometheus.io/path: /api/actuator/prometheus

    prometheus.io/port: '8090'

    prometheus.io/scrape: 'true'

spec:

  ports:

    - name: http

      port: 8080

      protocol: TCP

      targetPort: 8080

    - name: http-actuator

      port: 8090

      protocol: TCP

      targetPort: 8090

  selector:

    app: ${APP_NAME}

    component: ${PROJECT_NAMESPACE}-${APP_NAME}

    tier: backend

  sessionAffinity: None

  type: ClusterIP

通过如上的 yaml 我们会部署应用负载容器及服务 SVC。

我们在 Deployment 的 metadata 中进行了如下的描述后期在部署 ServiceMonitor 的时候会使用到。

在 Kubernetes 中部署 ServiceMonitor

准备我们对应 Java 服务的 ServiceMonitor 部署文件

apiVersion: monitoring.coreos.com/v1

kind: ServiceMonitor

metadata:

  labels:

    app: java-actuator-prometheus

    component: java-actuator-prometheus

    heritage: Tiller

    release: prometh-java-actuator

  name: monitor-java-actuator-prometheus

  namespace: default

spec:

  endpoints:

    - honorLabels: true

      interval: 5s

      path: /api/actuator/prometheus

      port: http

  jobLabel: java-actuator-prometheus

  namespaceSelector:

    any: true

  selector:

    matchLabels:

      release: java-actuator-prometheus

yaml 描述了我们将采集什么 namespace 下面的数据，在这里我们将 namespace 设置为了 default，将采集所有 namespace 下面的数据，同时我们将 selector 下的 release：xx 设置成了与我们部署的微服务的 metadata 的 release 一致，那么 ServiceMonitor 将采集到所有 namespace 下面标注了 release 为 java-actuator-prometheus 的所有服务的数据。

将 ServiceMonitor 部署到集群中

我们可以通过 kubectl apply 将其部署到集群中。

kubectl apply -f - <<EOF

apiVersion: monitoring.coreos.com/v1

kind: ServiceMonitor

metadata:

  labels:

    app: java-actuator-prometheus

    component: java-actuator-prometheus

    heritage: Tiller

    release: prometh-java-actuator

  name: monitor-java-actuator-prometheus

  namespace: default

spec:

  endpoints:

    - honorLabels: true

      interval: 5s

      path: /api/actuator/prometheus

      port: http

  jobLabel: java-actuator-prometheus

  namespaceSelector:

    any: true

  selector:

    matchLabels:

      release: java-actuator-prometheus

EOF

执行成功后我们可以在集群的 CRD 下面搜索 ServiceMonitor 并打开可以找到我们部署的 ServiceMonitor 配置。如图所示：

当然你也可以通过命令行进行查询验证。

验证数据采集并配置 Grafana

查看系统 Prometheus 地址并查询数据

我们可以在集群中的如下地址找到 KubeSphere 系统集成的 Prometheus 服务，如图所示

访问 Prometheus Web 界面。

通过 3.1.1 我们可以看到普罗米修斯服务的 ip 地址为 172.17.107.29，默认端口为 9090。我们在浏览器输入 http://172.17.107.29:9090，可以看到如图所示：

在 KubeSphere 中配置自定义监控及告警

1. 自定义监控

我们可以访问-集群-> 监控告警-> 自定义监控进入，如图所示：

我们点击创建可以看到 KubeSphere 已经集成了部分监控面板，这里我们选择 Grafana。

在下一步后系统会让我们上传 JSON 模版我们可以通过 grafana 官网下载一些通用的模版配置，这里我们使用的是 JVM (Micrometer)。在右侧可以下载 JSON 文件。

导入后我们就可以看到相关监控指标了。

2. 自定义告警

我们也可以使用系统集成的告警策略设置基于采集数据的自定义告警设置。例如：

使用外置的 Grafana

安装 Grafana

配置应用仓库
- 为了快速的安装 Helm 应用我们可以依次打开企业空间-应用管理-应用仓库；
- 在点击右边的添加按钮这里我们添加的是 bitmap 的应用仓库地址：https://charts.bitnami.com/bitnami；
- 添加完成后稍等片刻应用列表就加载完毕。
安装 grafana 应用
- 我们依次打开企业空间-项目-点击要安装到的具体项目-点击应用-点击右侧的创建按钮；
- 弹出对话框中点击从应用模版，从应用仓库列表中选择我们刚刚添加的 bitnami 的仓库，搜索 Grafana 点击后安装即可。

Grafana 数据源

我们使用管理员账号登录进 Grafana，默认密码可以在项目的保密字典中的 grafana-admin 中找到；
登录后我们点击左侧的小齿轮-datasource 在打开页面中选择 Add data source 然后选择 Prometheus 在 URL 中填入我们上面说到的 Prometheus 的 URL 地址。如图所示：
填写后拖到最下面，点击 save&test。

导入 Dashbord

我们点击页面左侧-import；
输入我们从 grafana 官网获得的对应的模版的 id 点击 load；
在下一步中选择 Prometheus 为我们配置的数据源点击 import 即可。

本文由博客一文多发平台 OpenWrite 发布！