Rancher 构建 CI/CD 自动化流程 - 动态配置 Jenkins-slave（二）

一、说明

1.1 说明

前面介绍采用 Jenkinsfile + KubernetesPod.yaml 方式进行部署项目（Rancher 构建 CI/CD 自动化流程 - 动态配置 Jenkins-slave（一）），maven、kubectl 等容器工具需要在 KubernetesPod.yaml 中定义，一同存放在代码仓库中托管，比较繁琐。

这里采用 Jenkinsfile + docker in docker 方式进行部署，把 maven 等工具都运行在 docker 容器中，这样减少了 yaml 文件，相对更加简洁方便。

1.2 环境

Rancher 2.2.7 （部署Rancher参考之前文章：离线安装 Rancher2.2.4 HA 集群）

Jenkins 2.176.2

二、部署 jenkins

在 rancher 中部署 jenkins 服务

2.1 创建 PVC

工作负载 -> PVC

jenkins程序家目录PVC：pvc-jenkins-home
maven缓存PVC：pvc-jenkins-maven

2.2 配置映射

资源 -> 配置映射

名称：jenkins-master

键：JAVA_OPTS

值：
-Dhudson.slaves.NodeProvisioner.initialDelay=
-Dhudson.slaves.NodeProvisioner.MARGIN=
-Dhudson.slaves.NodeProvisioner.MARGIN0=0.85
-Duser.timezone=Asia/Shanghai

作为环境变量传进jenkins，前三个值定义的是slaves生成等待时间（https://github.com/jenkinsci/kubernetes-plugin/blob/master/README_zh.md），最后一个值是jenkins的时区。

2.3 工作负载

工作负载 -> 部署服务

名称：jenkins-master
Docker镜像：jenkinsci/blueocean:latest
命名空间：jenkinsci
环境变量：类型：Config Map，源：jenkins-master，值：All
数据卷挂载：pvc(pvc-jenkins-home) -> 容器路径 /var/jenkins_home  -> 子路径 aliyun-jenkins（pvc中的目录）

说明：因为我是把原来 jenkins 迁移到了pvc中，所以有子路径，新部署的话不用子路径。

2.4 负载均衡

名称：jenkins-master
主机名：jenkins.wmq.com
服务：jenkins-master
容器端口：

2.5 域名解析

jenkins.wmq.com 解析到 ingress lb 的 ip 地址

三、配置jenkins

3.1 安装插件

系统管理 -> 插件管理

Kubernetes
Kubernetes Cli

3.2 系统设置

3.2.1 系统设置

执行者数量：
新增一个云：Kubernetes

3.2.2 配置kubernetes云

名称：kubernetes
Kubernetes 地址：https://kubernetes.default
Kubernetes 命名空间：jenkinsci
凭据：cicd集群账号
Jenkins 地址：http://jenkins-master:8080
Pod Labels：键：jenkins，值：slave
Pod Retention：Never
Seconds to wait for pod to be running:
默认提供的模板名称：jenkins-slave

凭据说明：类型：Secret text，Secret：rancher的cicd集群中的配置文件中的token，ID：cicd，描述：cicd集群账号

3.2.3 配置Kubernetes Pod Template

名称：jenkins-slave
标签列表：jenkins-slave
用法：尽可能的使用这个节点

3.2.4 配置Container Template

1）jnlp

名称：jnlp       //不能改名
Docker 镜像：reg.nexus.wmq.com/rancher/jenkins-jnlp-slave-docker-kubectl:v1.14.5
工作目录：/home/jenkins/agent
运行的命令：空
命令参数：${computer.jnlpmac} ${computer.name}
EnvVars：Environment Variable （键：JENKINS_URL，值：http://jenkins-master.jenkinsci.svc.cluster.local:8080）

2）docker

名称：docker
Docker 镜像：reg.nexus.wmq.com/tools/docker-dind-daemon
工作目录：/home/jenkins/agent
运行的命令：空
命令参数：空
高级选项：勾选以最高权限运行    //docker in docker 一定要最高权限

3.2.5  配置挂载卷

1）挂载空目录，让jnlp和docker两个容器共享/var/run目录，这样jnlp容器可以使用docker.sock文件操作docker容器

类型：Empty Dir Volume
挂载路径：/var/run

2）挂载pvc，提供maven容器的缓存（maven容器在Jenkinsfile中指定）

类型：Persistent Volume Claim
申明值：pvc-jenkins-maven
挂载路径：/opt/data/aliyun-jenkins-maven

3.2.6 其他配置

Pod Retention：Never
代理的空闲存活时间（分）：  //一周
连接 Jenkins 的超时时间（秒）：
Show raw yaml in console：不勾选

说明：代理存活时间为一周，因为每次agent启动需要花费一定时间等待，为了减少等待时间，增加agent存活时间，不会立马自动销毁。

四、docker镜像制作

上面配置Container Template用到了jnlp、docker镜像都是含有定制的工具。

4.1 jnlp镜像

给jnlp镜像添加docker、kubectl两个命令，Dockerfile内容如下：

FROM jenkins/jnlp-slave
ENV KUBECTL_VERSION=v1.14.5
USER root
RUN echo "deb http://mirrors.163.com/debian/ stretch main" > /etc/apt/sources.list && \
    echo "deb http://mirrors.163.com/debian/ stretch-updates main non-free contrib" >> /etc/apt/sources.list && \
    echo "deb http://mirrors.163.com/debian-security/ stretch/updates main non-free contrib" >> /etc/apt/sources.list
RUN apt-get update && \
    apt-get -y install apt-transport-https ca-certificates curl software-properties-common && \
    curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/debian/gpg | apt-key add - && \
    add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/debian $(lsb_release -cs) stable" && \
    apt-get -y update && \
    apt-get -y install docker-ce
RUN curl -L https://www.cnrancher.com/download/kubernetes/linux-amd64-${KUBECTL_VERSION}-kubectl -o /usr/local/bin/kubectl \
    && chmod +x /usr/local/bin/kubectl

说明：jnlp-slave 是基于 debian 系统，先更换安装源，然后安装 docker。kubectl 是用 rancher 提供的下载链接。

上传镜像到私有仓库：

docker build -t jnlp-:v1.14.5 .
docker tag jnlp-:v1.14.5 reg.nexus.wmq.com/rancher/jenkins-jnlp-slave-docker-kubectl:v1.14.5
docker push reg.nexus.wmq.com/rancher/jenkins-jnlp-slave-docker-kubectl:v1.14.5

4.2 docker镜像

因采用 docker in docker 镜像，后续 jenkinsfile 中定义的容器都运行该 docker 中。

1）需要更换默认的镜像仓库，换成私有仓库，构建会把镜像缓存到私有仓库，要不然每次构建都从新下载镜像会很慢；

2）添加 crond 命令到启动项，并每天定时任务清理镜像垃圾。

Dockerfile 内容如下：

FROM docker:dind
USER root
RUN mkdir /etc/docker
ADD daemon.json /etc/docker/daemon.json
RUN sed -i "2a crond" /usr/local/bin/dockerd-entrypoint.sh
RUN crontab -l > crontab_list
RUN echo '0 3 * * * docker image prune -a -f --filter "until=24h" > /var/log/crontab.log 2>&1' >> crontab_list
RUN crontab crontab_list

挂载的daemon.json内容如下：

{
"registry-mirrors": ["https://mirror.nexus.wmq.com"],
"max-concurrent-downloads": ,
"max-concurrent-uploads": ,
"storage-driver": "overlay2",
"storage-opts": ["overlay2.override_kernel_check=true"],
"log-driver": "json-file",
"log-opts": {
    "max-size": "100m",
    "max-file": ""
    }
}

上传镜像到仓库：

docker build -t docker:v1 .
docker tag docker:v1 reg.nexus.wmq.com/tools/docker-dind-daemon
docker push reg.nexus.wmq.com/tools/docker-dind-daemon

五、Jenkinsfile 文件

Jenkinsfile模板如下：

pipeline {
  agent none
  stages {
    stage('setting env') {
      agent any
      options {
        skipDefaultCheckout(true)
      }
      steps {
        script {
          env.NAMESPACE = "jenkins-test"
          env.PROJECT_NAME = "jenkins-test"
          env.IMAGE_NAME = "reg.nexus.wmqhealth.com/$NAMESPACE/$PROJECT_NAME/$BRANCH_NAME:build-$BUILD_NUMBER"
        }
      }
    }
    stage('package') {
      agent {
        docker {
          alwaysPull false
          image 'maven:3.6-alpine'
          args '-v /opt/data/aliyun-jenkins-maven:/root/.m2'
        }

      }
      steps {
        sh 'mvn package'
        stash(name: 'copy jar', includes: 'target/*.jar')
      }
    }
    stage('docker build') {
      agent any
      steps {
        unstash 'copy jar'
        script {
          def image = docker.build("$IMAGE_NAME", ".")
          withDockerRegistry([credentialsId:'docker-registry', url:"https://reg.wmq.com"]){
            image.push()
          }
        }
      }
    }
    stage('deploy') {
      parallel {
        stage('prod') {
          agent any
          options {
            skipDefaultCheckout(true)
          }
          when {
            branch 'master'
          }
          steps {
            withKubeConfig(clusterName: 'production', contextName: 'production', credentialsId: 'kube-prod', namespace: '$NAMESPACE', serverUrl: 'https://rancher.wmq.com/k8s/clusters/c-x497w') {
              sh 'kubectl set image deployment/$PROJECT_NAME $PROJECT_NAME=$IMAGE_NAME --namespace $NAMESPACE'
            }
          }
        }
        stage('dev') {
          agent any
          options {
            skipDefaultCheckout(true)
          }
          when {
            not {
              branch 'master'
            }
          }
          steps {
            withKubeConfig(clusterName: 'develop', contextName: 'develop', credentialsId: 'kube-dev', namespace: '$NAMESPACE', serverUrl: 'https://rancher.wmq.com/k8s/clusters/c-xg99q') {
              sh 'kubectl set image deployment/$PROJECT_NAME $PROJECT_NAME=$IMAGE_NAME --namespace $NAMESPACE'
            }
          }
        }
      }
    }
  }
  options {
    buildDiscarder(logRotator(numToKeepStr: '', artifactNumToKeepStr: ''))
  }
}

说明：

env.IMAGE_TAG：定义的是环境变量，全局可调用，需放置在前面

withKubeConfig：需要安装 Kubernetes Cil 插件，可以操作kubernetes

buildDiscarder：构建历史保留次数