devops-4：Jenkins基于k8s cloud和docker cloud动态增减节点

Jenkins管理动态节点

上文介绍Jenkins增加静态agent的步骤，除了静态增加外，还有动态管理的功能，两者最大的差异在于动态可以在有job运行时，临时加入一个agent到jenkins master，然后等job执行完毕之后，所加入的agent再自动删除掉，达到一个动态的增删节点效果，使所有的job都在远端的某个集群中执行。

目前执行动态扩缩节点的方式有docker cloud和k8s cloud。

docker cloud配置

首先需要安装docker插件，系统管理—>插件管理—>可选插件—>搜索docker，主要的有Docker 、docker pipeline插件，其他插件可以酌情下载。
配置docker守护进程，使其可以通过主机ip+端口的形式访问：

vi /etc/systemd/system/docker.service
```
ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock -H tcp://0.0.0.0:8376
```
添加此配置后，重新启动docker，主机便会暴露8376端口，供客户端访问，需要注意安全问题，可以通过防火墙等安全设备对端口进行限制，也可以为此端口指定证书，必须有此端口证书和私钥才可以访问成功。
在Jenkins端配置docker cloud，系统管理—>节点管理—>Configure Clouds—>Add a new cloud—>Docker
配置Docker Cloud details，主要是配置地址+端口，如果有证书则也配置上证书。

配置完成后，点击后边的Test Connection，显示出docker version 和 Api version后，表示连接成功。
配置Docker Agent templates，要修改的主要配置为以下几点：
- Labels：agent的label，用于指定匹配该cloud
- Name：用于加入Jenkins slave的名字前缀
- Docker Image：用于创建临时节点的镜像，相当于有job要执行时，会docker run此镜像，然后以slave节点的方式加入到Jenkins Master，并将job在此slave节点执行，执行完毕后，会直接docker rm掉
- Remote File System Root：临时节点的家目录
- Connect method：节点的加入方式，一般选用Attach Docker container即可，jenkins master会直接将slave所需的代码复制到此节点中，并用容器内的java启动，所以使用此方式要满足两条硬条件：必须有java环境和container的CMD必须是/bin/bash或者为空
其他一些不是特别重要的参数，例如：Pull timeout拉取超时时间、Pull strategy拉取策略等可以进行相应的调整。

测试使用docker cloud运行一个Pipeline

以上步骤全部完成之后，docker cloud就可以正常使用，下边创建一个测试流水线：

pipeline {

    agent {

        label 'java-maven-app'

    }

    options {

        buildDiscarder(logRotator(numToKeepStr: '10'))

    }

    tools {

        maven 'apache-maven-3.8.6'

    }

    stages {

        stage('mvn version') {

            steps {

                sh 'mvn -v'

            }

        }

        stage('java version') {

            steps {

                sh 'java -version'

            }

            post {

                always {

                    sh 'echo "test complete"'

                }

            }

        }

    }

}

开始执行流水线：

可见此流水线在名称为 java-maven-app-001ocj3t66f69 的节点中运行，再去查看节点列表，发现多了一个叫这个名字的节点：

再查看docker容器，发现刚刚运行了一个jenkins/agent的容器：

Pipeline执行完毕后，容器被摧毁，节点也被剔除，实现了动态的docker cloud管理。

Kubernetes Cloud配置

系统管理->插件管理->可选插件，搜索kubernetes直接安装
k8s插件安装完毕后，开始添加云节点：系统管理—>节点管理—>Configure Clouds—>Add a new cloud—>Kubernetes
配置Kubernetes Cloud details，主要配置名称、k8s apiserver地址、jenkins地址、k8s服务证书以及加密成.pfx类型的证书key：

apiserver地址和jenkins地址不用强调，都知道怎么填，重点需要强调两个证书：
- Kubernetes 服务证书 key：这个实际就是你k8s集群的ca.crt证书，一般在/etc/kubernetes/pki/ca.crt，直接copy过来即可
- 第二个主要是因为k8s apiserver是https的通信方式，所以要将其集群证书的公私钥打包成.pfx类型，然后提供给jenkins来访问
这里需要手动生成第二个.pfx类型的证书：

（1）首先需要安装证书生成工具：
```
# curl -s -L -o /usr/local/bin/cfssl https://pkg.cfssl.org/R1.2/cfssl_linux-amd64

# curl -s -L -o /usr/local/bin/cfssljson https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64

# curl -s -L -o /usr/local/bin/cfssl-certinfo https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 

# chmod +x /usr/local/bin/cfssl*
```
（2）然后准备证书签名请求

vi jenkins-csr.json
```
{

  "CN": "admin",

  "hosts": [],

  "key": {

    "algo": "rsa",

    "size": 2048

  },

  "names": [

    {

      "C": "CN",

      "ST": "BeiJing",

      "L": "XS",

      "O": "system:masters",

      "OU": "System"

    }

  ]

}
```
证书请求中的O 指定该证书的 Group 为 system:masters，而 RBAC 预定义的 ClusterRoleBinding 将 Group system:masters 与 ClusterRole cluster-admin 绑定，这就赋予了该证书具有所有集群权限。

（3）创建admin证书和私钥
```
# cfssl gencert -ca=/etc/kubernetes/pki/ca.crt -ca-key=/etc/kubernetes/pki/ca.key --profile=kubernetes jenkins-csr.json | cfssljson -bare admin

# ls

admin-key.pem  admin.pem  jenkins-csr.json
```
生成证书与key

（4）生成.pfx类型证书
```
# openssl pkcs12 -export -out ./jenkins-admin.pfx -inkey ./admin-key.pem -in ./admin.pem -passout pass:jenkins

# ls

jenkins-admin.pfx
```
指定admin的公钥私钥生成jenkins-admin.pfx，并设置密码为jenkins

（5）将证书添加至jenkins凭证中

（6）最终再应用到k8s cloud中

测试连接出现版本号即连接成功
配置Pod Templates

主要配置标签和用法以及pod的出事YAML，其他像volume、network或secret等都可以再yaml中提前编写

有kubernetes-agent标签的job会匹配到此agent

定义的一个基础YAML模板，可以在里边定义更多的配置

再就是要定义一下workspace采取什么形式，分别有这几种：

根据自己需求，需不需要持久化来决定使用哪种方式
至此基本配置已经完成，还有一点需要注意，当有job要执行时，生成的pod中会有自己定义的一个容器和jenkins用于提供agent连接的容器，共两个，默认情况jenkins agent生成的容器会拉取jenkins/inbound-agent:4.11-1-jdk11这个镜像，可以提前下载下来，或者重新指定一个镜像：

编辑流水线测试使用Kubernetes cloud

新建任务—>pipeline—>拉到最下边选择Pipeline script form SCM—>SCM选择Git—>填写项目的URL及认证

—>指定分支—>指定脚本的路径

这个就表示会直接从你指定的代码仓库中去拉取代码，并根据仓库中指定的Jenkinsfile进行构建，代码仓库结构如下：

指定的Jenkinsfile文件内容如下：

pipeline {

    agent {

      kubernetes {

        cloud 'kubernetes-internal' //指定k8s cloud的名称

        label 'kubernetes-agent' //指定label

        defaultContainer 'example.com:5000/jenkins/agent:latest'  //可以指定运行的镜像，不指定会默认使用配置k8s cloud时的默认镜像

        inheritFrom 'jenkins-agent' //指定所用的podTemplate，其实是多余的，因为就算不指定，也会用配置k8s cloud时，配置的pod Template

        namespace 'default'

      }

    tools {

        maven 'apache-maven-3.8.6'

    }

    options {

        buildDiscarder(logRotator(numToKeepStr: '10'))

    }

    stages {

        stage('Build') {

            steps {

                sh 'mvn -B -DskipTests clean package'

            }

        }

        stage('Test') {

            steps {

                sh 'mvn test'

            }

            post {

                always {

                    junit 'target/surefire-reports/*.xml'

                }

            }

        }

        stage('Deliver') {

            steps {

                sh './jenkins/scripts/deliver.sh'

            }

        }

    }

}

执行结果：

以k8s pod为agent的临时节点已经加入：

k8s中pod也已经启动，Pipeline执行结束后，自动摧毁。