一、说明

1.1 说明

前面介绍采用 Jenkinsfile + KubernetesPod.yaml 方式进行部署项目(Rancher 构建 CI/CD 自动化流程 - 动态配置 Jenkins-slave(一)),maven、kubectl 等容器工具需要在 KubernetesPod.yaml 中定义,一同存放在代码仓库中托管,比较繁琐。

这里采用 Jenkinsfile + docker in docker 方式进行部署,把 maven 等工具都运行在 docker 容器中,这样减少了 yaml 文件,相对更加简洁方便。

1.2 环境

Rancher 2.2.7 (部署Rancher参考之前文章:离线安装 Rancher2.2.4 HA 集群

Jenkins 2.176.2

二、部署 jenkins

在 rancher 中部署 jenkins 服务

2.1 创建 PVC

工作负载 -> PVC

jenkins程序家目录PVC:pvc-jenkins-home
maven缓存PVC:pvc-jenkins-maven

2.2 配置映射

资源 -> 配置映射

名称:jenkins-master

键:JAVA_OPTS

值:
-Dhudson.slaves.NodeProvisioner.initialDelay=
-Dhudson.slaves.NodeProvisioner.MARGIN=
-Dhudson.slaves.NodeProvisioner.MARGIN0=0.85
-Duser.timezone=Asia/Shanghai

作为环境变量传进jenkins,前三个值定义的是slaves生成等待时间(https://github.com/jenkinsci/kubernetes-plugin/blob/master/README_zh.md),最后一个值是jenkins的时区。

2.3 工作负载

工作负载 -> 部署服务

名称:jenkins-master
Docker镜像:jenkinsci/blueocean:latest
命名空间:jenkinsci
环境变量:类型:Config Map,源:jenkins-master,值:All
数据卷挂载:pvc(pvc-jenkins-home) -> 容器路径 /var/jenkins_home -> 子路径 aliyun-jenkins(pvc中的目录)

说明:因为我是把原来 jenkins 迁移到了pvc中,所以有子路径,新部署的话不用子路径。

2.4 负载均衡

名称:jenkins-master
主机名:jenkins.wmq.com
服务:jenkins-master
容器端口:

2.5 域名解析

jenkins.wmq.com 解析到 ingress lb 的 ip 地址

三、配置jenkins

3.1 安装插件

系统管理 -> 插件管理

Kubernetes
Kubernetes Cli

3.2 系统设置

3.2.1 系统设置

执行者数量:
新增一个云:Kubernetes

3.2.2 配置kubernetes云

名称:kubernetes
Kubernetes 地址:https://kubernetes.default
Kubernetes 命名空间:jenkinsci
凭据:cicd集群账号
Jenkins 地址:http://jenkins-master:8080
Pod Labels:键:jenkins,值:slave
Pod Retention:Never
Seconds to wait for pod to be running:
默认提供的模板名称:jenkins-slave

凭据说明:类型:Secret text,Secret:rancher的cicd集群中的配置文件中的token,ID:cicd,描述:cicd集群账号

3.2.3 配置Kubernetes Pod Template

名称:jenkins-slave
标签列表:jenkins-slave
用法:尽可能的使用这个节点

3.2.4 配置Container Template

1)jnlp

名称:jnlp       //不能改名
Docker 镜像:reg.nexus.wmq.com/rancher/jenkins-jnlp-slave-docker-kubectl:v1.14.5
工作目录:/home/jenkins/agent
运行的命令:空
命令参数:${computer.jnlpmac} ${computer.name}
EnvVars:Environment Variable (键:JENKINS_URL,值:http://jenkins-master.jenkinsci.svc.cluster.local:8080)

2)docker

名称:docker
Docker 镜像:reg.nexus.wmq.com/tools/docker-dind-daemon
工作目录:/home/jenkins/agent
运行的命令:空
命令参数:空
高级选项:勾选以最高权限运行 //docker in docker 一定要最高权限

3.2.5  配置挂载卷

1)挂载空目录,让jnlp和docker两个容器共享/var/run目录,这样jnlp容器可以使用docker.sock文件操作docker容器

类型:Empty Dir Volume
挂载路径:/var/run

2)挂载pvc,提供maven容器的缓存(maven容器在Jenkinsfile中指定)

类型:Persistent Volume Claim
申明值:pvc-jenkins-maven
挂载路径:/opt/data/aliyun-jenkins-maven

3.2.6 其他配置

Pod Retention:Never
代理的空闲存活时间(分): //一周
连接 Jenkins 的超时时间(秒):
Show raw yaml in console:不勾选

说明:代理存活时间为一周,因为每次agent启动需要花费一定时间等待,为了减少等待时间,增加agent存活时间,不会立马自动销毁。

四、docker镜像制作

上面配置Container Template用到了jnlp、docker镜像都是含有定制的工具。

4.1 jnlp镜像

给jnlp镜像添加docker、kubectl两个命令,Dockerfile内容如下:

FROM jenkins/jnlp-slave
ENV KUBECTL_VERSION=v1.14.5
USER root
RUN echo "deb http://mirrors.163.com/debian/ stretch main" > /etc/apt/sources.list && \
echo "deb http://mirrors.163.com/debian/ stretch-updates main non-free contrib" >> /etc/apt/sources.list && \
echo "deb http://mirrors.163.com/debian-security/ stretch/updates main non-free contrib" >> /etc/apt/sources.list
RUN apt-get update && \
apt-get -y install apt-transport-https ca-certificates curl software-properties-common && \
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/debian/gpg | apt-key add - && \
add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/debian $(lsb_release -cs) stable" && \
apt-get -y update && \
apt-get -y install docker-ce
RUN curl -L https://www.cnrancher.com/download/kubernetes/linux-amd64-${KUBECTL_VERSION}-kubectl -o /usr/local/bin/kubectl \
&& chmod +x /usr/local/bin/kubectl

说明:jnlp-slave 是基于 debian 系统,先更换安装源,然后安装 docker。kubectl 是用 rancher 提供的下载链接。

上传镜像到私有仓库:

docker build -t jnlp-:v1.14.5 .
docker tag jnlp-:v1.14.5 reg.nexus.wmq.com/rancher/jenkins-jnlp-slave-docker-kubectl:v1.14.5
docker push reg.nexus.wmq.com/rancher/jenkins-jnlp-slave-docker-kubectl:v1.14.5

4.2 docker镜像

因采用 docker in docker 镜像,后续 jenkinsfile 中定义的容器都运行该 docker 中。

1)需要更换默认的镜像仓库,换成私有仓库,构建会把镜像缓存到私有仓库,要不然每次构建都从新下载镜像会很慢;

2)添加 crond 命令到启动项,并每天定时任务清理镜像垃圾。

Dockerfile 内容如下:

FROM docker:dind
USER root
RUN mkdir /etc/docker
ADD daemon.json /etc/docker/daemon.json
RUN sed -i "2a crond" /usr/local/bin/dockerd-entrypoint.sh
RUN crontab -l > crontab_list
RUN echo '0 3 * * * docker image prune -a -f --filter "until=24h" > /var/log/crontab.log 2>&1' >> crontab_list
RUN crontab crontab_list

挂载的daemon.json内容如下:

{
"registry-mirrors": ["https://mirror.nexus.wmq.com"],
"max-concurrent-downloads": ,
"max-concurrent-uploads": ,
"storage-driver": "overlay2",
"storage-opts": ["overlay2.override_kernel_check=true"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m",
"max-file": ""
}
}

上传镜像到仓库:

docker build -t docker:v1 .
docker tag docker:v1 reg.nexus.wmq.com/tools/docker-dind-daemon
docker push reg.nexus.wmq.com/tools/docker-dind-daemon

五、Jenkinsfile 文件

Jenkinsfile模板如下:

pipeline {
agent none
stages {
stage('setting env') {
agent any
options {
skipDefaultCheckout(true)
}
steps {
script {
env.NAMESPACE = "jenkins-test"
env.PROJECT_NAME = "jenkins-test"
env.IMAGE_NAME = "reg.nexus.wmqhealth.com/$NAMESPACE/$PROJECT_NAME/$BRANCH_NAME:build-$BUILD_NUMBER"
}
}
}
stage('package') {
agent {
docker {
alwaysPull false
image 'maven:3.6-alpine'
args '-v /opt/data/aliyun-jenkins-maven:/root/.m2'
} }
steps {
sh 'mvn package'
stash(name: 'copy jar', includes: 'target/*.jar')
}
}
stage('docker build') {
agent any
steps {
unstash 'copy jar'
script {
def image = docker.build("$IMAGE_NAME", ".")
withDockerRegistry([credentialsId:'docker-registry', url:"https://reg.wmq.com"]){
image.push()
}
}
}
}
stage('deploy') {
parallel {
stage('prod') {
agent any
options {
skipDefaultCheckout(true)
}
when {
branch 'master'
}
steps {
withKubeConfig(clusterName: 'production', contextName: 'production', credentialsId: 'kube-prod', namespace: '$NAMESPACE', serverUrl: 'https://rancher.wmq.com/k8s/clusters/c-x497w') {
sh 'kubectl set image deployment/$PROJECT_NAME $PROJECT_NAME=$IMAGE_NAME --namespace $NAMESPACE'
}
}
}
stage('dev') {
agent any
options {
skipDefaultCheckout(true)
}
when {
not {
branch 'master'
}
}
steps {
withKubeConfig(clusterName: 'develop', contextName: 'develop', credentialsId: 'kube-dev', namespace: '$NAMESPACE', serverUrl: 'https://rancher.wmq.com/k8s/clusters/c-xg99q') {
sh 'kubectl set image deployment/$PROJECT_NAME $PROJECT_NAME=$IMAGE_NAME --namespace $NAMESPACE'
}
}
}
}
}
}
options {
buildDiscarder(logRotator(numToKeepStr: '', artifactNumToKeepStr: ''))
}
}

说明:

env.IMAGE_TAG:定义的是环境变量,全局可调用,需放置在前面

withKubeConfig:需要安装 Kubernetes Cil 插件,可以操作kubernetes

buildDiscarder:构建历史保留次数

Rancher 构建 CI/CD 自动化流程 - 动态配置 Jenkins-slave(二)的更多相关文章

  1. Rancher 构建 CI/CD 自动化流程 - 动态配置 Jenkins-slave(一)

    一.说明 1)需求: Rancher 上部署 Jenkins-master,服务采用 Jenkins-slave 发布,发布完成后 Jenkins-slave 自动销毁. 2)环境: Rancher ...

  2. 一种使用gitlab的CI/CD功能实现Nginx配置更新的方法

    至于nginx的docker制作,前面已介绍过. 现在使用gitlab在线编辑的方式,可实现Nginx的自定义配置并更新. .gitlab-ci.yml内容如下: variables: project ...

  3. 【Devops】【docker】【CI/CD】2.docker启动jenkins环境+安装必要的插件

    [注意:]jenkins的docker镜像,需要从官网进入直接获取,其他地方获取到的docker镜像,可能因为Jenkins版本过低,导致后续插件安装失败等问题!!! ================ ...

  4. 基于Django+celery二次开发动态配置定时任务 ( 二)

    一.需求 结合上一篇,使用djcelery模块开发定时任务时,定时任务的参数都保存在djcelery_periodictask表的args.kwargs字段里,并且是json格式.那么,当定时任务多了 ...

  5. 【Devops】【docker】【CI/CD】docker启动的Jenkins容器 - 系统管理 - 全局工具配置 - 自动安装JDK、Maven、Git、Docker

    本篇适用于jenkins是启动的docker容器,自动安装JDK  Maven  Git   Docker等全局工具 ========================================= ...

  6. Gitlab Runner实现CI/CD自动化部署asp.net core应用

    环境说明 一台git服务器(192.168.169.7),安装gitlab,docker. 一台web服务器(192.168.169.6),安装git,gitlab runner,docker,dot ...

  7. 配置jenkins slave 问题,ERROR: Couldn't find any revision to build. Verify the repository and branch configuration for this job.

    因为需要需要搭建一套自动化环境的windows电脑作为slave,简单的把原来用来mac上的job配置一模一样的配置了下,运行时遇到如上问题,google半天百思不得其解, 后来尝试把SCM里面的br ...

  8. 从零开始配置Jenkins(二)——常见问题及排错思路

    [前言] 一年多以前就听说Jenkins了,那时知道是它可以完成自动构建,感觉蛮强大的.后来,很多人都说它很恶心.最近,公司需要搭建新的服务器,小编就负责从头开始配置并且发布部署成功每一条线每一个项目 ...

  9. Kubernetes+Jenkins+Nexus+Gitlab进行CI/CD集成

    前面已经完成了 二进制部署Kubernetes集群,下面进行CI/CD集成. 一.流程说明 应用构建和发布流程说明: 1.用户向Gitlab提交代码,代码中必须包含Dockerfile: 2.将代码提 ...

随机推荐

  1. 在MotionBuilder中绑定C3D动作和模型

    [题外话] 实验室人手不足,虽然自己连MotionBuilder一点都没有用过,但是老板叫自己干也只能硬着头皮上了.本文详细介绍了MotionBuilder 2013中的摄像机操作以及在MotionB ...

  2. SETLOCAL

    Quote from: http://ss64.com/nt/setlocal.html SETLOCAL Set options to control the visibility of envir ...

  3. :: error: 无法打开文件“d:\Qt\2010.05\qt\lib\qtmaind.lib”

    新建一个工程马上编译也会出现这个错误:: error: 无法打开文件“d:\Qt\2010.05\qt\lib\qtmaind.lib” vc的编译器, 而你安装的是mingw版本的qt. 工具-选项 ...

  4. python 学习笔记(一)

    在Windows上安装Python 首先,从Python的官方网站www.python.org下载最新的2.7.9版本,地址是这个: http://www.python.org/ftp/python/ ...

  5. php跨服务器传递对象

    最近因为研究跨域名,跨服务器的问题,所以无聊,就想到了一个跨服务器传递对象的问题. 想要跨服务器传递数据,那么就要使用到get或者post提交. 我这里的方法有点复杂,但是因为平时工作时,有封装相应的 ...

  6. linux shell编程-bash的奇技淫巧

    本文主要讲bash脚本中容易出错和很少用但是用起来有意想不到效果的部分. 循环: 正常的for循环: for i in a b c 1 2 3; do echo "$i" done ...

  7. JavaScript实现隔行换颜色

    <!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title>& ...

  8. .NET Core跨平台的奥秘[下篇]:全新的布局

    从本质上讲,按照CLI规范设计的.NET从其出生的那一刻就具有跨平台的基因,这与Java别无二致.由于采用了统一的中间语言,微软只需要针对不同的平台设计不同的虚拟机(运行时)就能弥合不同操作系统与处理 ...

  9. 3种方法教你PS快速去掉水印

    方法一:使用选框工具 勾选水印部分: 按住Shift+f5选择内容识别: 然后 ctrl+d 取消选择,水印就去掉了 PS:其实这个方法有个快捷办法,直接使用选框工具选中之后,按Delete就可以弹出 ...

  10. promise的一个简单易懂实例

    Promise: <!DOCTYPE html> <html lang="en"> <head> <meta charset=" ...