本文介绍了作者对CICD的理解以及在项目中开展CICD的几种场景,总结了每种场景实践的关键节点、带来的收益,以及结合具体项目开展的实际应用。读者可以借鉴本文中描述的场景,或借鉴文中提到的实践方式,在项目中开展CICD,为项目在持续集成部署上做具体的支撑。

1 前言

基于公司Bamboo、EOS,SonarQube平台,在项目中开展CICD持续集成与部署。介绍CICD开展的场景,项目中的实际应用,以及后续规划。

2 CICD基础概念

CICD 是持续集成(Continuous Integration)和持续部署(Continuous Deployment)简称。指在研发过程中自动执行一系列脚本来降低开发引入 bug 的概率,在新代码从开发到部署的过程中,尽量减少人工的介入。

CICD 核心:持续集成、持续部署、持续交付。

CI:Continuous Integration,表示持续集成。

指在向远程仓库 push 代码后,在这次提交合并入主分支前进行一系列测试,构建等流程。

假设现在有个应用的代码存储在 仓库上,每天开发都会 push 很多次提交,针对每次 push,你可以创建一系列脚本进行自动测试,降低往应用里引入错误的概率。它可以应用在包括开发分支在内的多个分支上。

持续集成过程中很重视自动化测试验证结果,以保障所有的提交在合并主线之后的质量问题,对可能出现的一些问题进行预警。

CD:Continuous Delivery,表示持续交付。

指在完成CI后可自动将已验证的代码发布到仓库。

持续交付的目标是拥有一个可随时部署到生产环境的代码库。

CD:Continuous Deployment,表示持续部署。

指在持续集成的基础上更进一步,指将推送指仓库默认分支代码部署到特定环境。

通过自动化的构建、测试和部署循环来快速交付高质量的产品。某种程度上代表了一个开发团队工程化的程度,任何修改通过了所有已有的工作流就会直接和客户见面,只有当一个修改在工作流中构建失败才能阻止它部署到产品线。

3 CICD的开展场景

3.1 编译部署

实现代码提交之后的自动编译-部署过程,取代j-one上构建-部署手动操作

内容:

  • 代码提交后的自动构建、自动部署、构建部署结果通知;

收益:

  • 去除Jone上代码构建完成后的手动部署操作中等待时间;

3.2 单元测试

开展基于Junit的单元测试

内容:

  • 针对后端代码,基于Junit编写单元测试脚本,开展单测,获取单测报告、jacoco代码覆盖率报告;

收益:

  • 提升测试覆盖率,提高代码质量;
  • 减少bug,快速定位bug;
  • 有限支撑重构;

3.3 代码扫描

实现基于SonarQube的代码质量检测

实现基于EOS的代码质量检测

内容:

  • 实现基于SonarQube、或公司平台EOS的代码扫描检测;
  • 代码提交自动触发代码扫描,最终生成报告、结果通知;
  • 扫描结果计入项目质量,记录跟踪问题,直至问题闭环解决。

收益:

  • 代码质量检测的手段丰富;
  • 多层次的自动化测试,提升代码质量;
  • 自动触发测试执行,缩减测试等待时间,提高效率,实现无人值守;

3.4 自动化测试

实现基于Python、EasyOne、DeepTest、Jmeter 的自动化测试。

内容:

  • 实现基于SonarQube的代码质量检测;
  • 实现全链路各环节的自动化测试;
  • 代码提交自动触发测试执行、生成报告、报告通知;

收益:

  • 多层次的自动化测试,提升代码质量;
  • 自动触发测试执行,缩减测试等待时间,提高效率,实现无人值守;

3.5 全链路测试探索

将上述单个场景进行组合形成全链路测试场景;

代码提交触发链路自动运行,以及报告生成、邮件发送。

4 项目实践

结合公司内部平台在实际项目中开展CICD。

4.1 公司内部平台

Bamboo

Bamboo是京东自研的一套CI/CD流水线解决方案,覆盖软件开发的完整生命周期。

EOS

EOS是技术与数据中台自主研发的代码扫描系统,通过扫描分析代码,定位到工程中不规范的编码片段并给出修改建议,能有效监督约束开发人员统一编码习惯,减少因编码不规范引起的低级错误,提高代码可读性,提高团队协作效率。

4.2 项目实际应用

1)编译-部署

对Jone上高频构建部署分支进行在Bamboo上搭建流水线,实现:

代码提交-调用Jone的构建-调用Jone的部署-结果通知

触发编译构建的几种方式:

  • 手动执行;
  • 代码提交触发执行;
  • 定时任务触发执行;
  • 级联其他流水线触发执行;

应用情况:

  • 组内所测试所覆盖都已部署相关流水线;
  • 支撑测试人员在所测项目中部署自动构建流水线,共计调用次数:364次。

2)单元测试

对后端项目开展单元测试,实现:

代码提交-maven构建-获取单测报告-结果通知

应用效果:

  • 极大简化了获取单测报告的过程,通过简单的过程即可针对项目开展单测、执行单测、并获取单测结果;
  • 支撑超过8个项目部署单测流水线,JDL-CRM权限系统单测有效提升率:20%

3)自动化测试

项目部署之后,开展自动化回归测试,用于项目上线前的回归测试,实现:

自动化测试-测试报告-测试结果通知

目前基于Python语言,依托Py第三方模块,实现脚本编写,集成到Bamboo平台,执行流水线,获取报告。

应用效果:

  • 负责在销服项目中开展上线前的UAT自动回归测试;

4)代码扫描

基于公司搭建的SonarQube、EOS平台,开展代码扫描,实现:

代码提交-代码扫描-扫描报告-问题手工记录行云

5 后续规划

CICD过程数据与质量效能数据相结合。

基于DeepTest开展更多项目的自动化测试,集成到BamBoo平台。

代码扫描在项目中的应用。

作者:京东物流 陈维

来源:京东云开发者社区 自猿其说Tech 转载请注明来源

项目开展CICD的实践探路的更多相关文章

  1. 9-2、大型项目的接口自动化实践记录----递归判断两个json串是否相等

    1.已知json串构成的情况下判断 先构造一下场景,假设已经把各个数据都移除掉不对比的字段 图1 预期.实际结果,复杂接口返回多层嵌套json时,同下 图2 预期.实际结果值为:{child_json ...

  2. 9-1、大型项目的接口自动化实践记录----数据库结果、JSON对比

    上一篇写了如何从DB获取预期.实际结果,这一篇分别对不同情况说下怎么进行对比. PS:这部分在JSON对比中也适用. 1.结果只有一张表,只有一条数据 数据格式:因为返回的是dicts_list的格式 ...

  3. 8、大型项目的接口自动化实践记录----DB分别获取预期结果、实际结果

    上一篇实现数据分离升级版--从DB获取数据,以及对应的请求实现,作为一个case,还缺少了预期结果与实际结果的获取及对比.因为前面的文章已经说过接口返回值的获取及对比,所以这篇不说这块了,这篇说一下D ...

  4. 3、大型项目的接口自动化实践记录----开放API练习

    开始做实际项目前,先拿个网上的简单API练下手 一.API说明: 接口信息 接口名:京东获取单个商品价格 地址:http://p.3.cn/prices/mgets 入参:skuids=J_商品ID& ...

  5. 2、大型项目的接口自动化实践记录--接口测试简介及RequestsLibrary关键字简介

    1.接口测试简介 1)先简单介绍下接口测试,那么什么是接口测试呢? 百科的回答:接口测试是测试系统组件间接口的一种测试.接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点. 看起来有 ...

  6. 1、大型项目的接口自动化实践记录--robotframework环境搭建

    因为人力.团队技术问题,选用robotframework来做自动化,首先说下环境搭建 齐涛道长的入门教程非常棒:http://blog.csdn.net/tulituqi/article/detail ...

  7. 项目中docker swarm实践

    docker swarm 集群服务通信 前置要求 服务需要在同一个docker swarm集群中 服务需要处于同一个overlay网络上 服务需要暴露容器端口 有2个以上服务名不同的服务 服务部署流程 ...

  8. PMP备考_第五章_项目范围管理_实践思考

    项目范围管理 前言 今天学习项目范围管理的内容,深切的感受到了原单位在项目管理方面存在的问题,今天在这里做一个总结,既相当于对项目范围的一个学习整理,也相当于自己对项目实践过程中存在问题的一个思考. ...

  9. 基于jenkins+kubernetes的cicd流程实践一:环境搭建及方案原理实现

    1.基础环境:Centos7.9,kubernetes:v1.21.5 node-1@112(master):docker,containerd,harbornginx(80),git,etcd no ...

  10. JavaScript 项目构建工具 Grunt 实践:安装和创建项目框架

     Grunt 是一个基于任务的 JavaScript 项目命令行构建工具,运行于 Node.js 平台.Grunt 能够从模板快速创建项目,合并.压缩和校验 CSS & JS 文件,运行单元测 ...

随机推荐

  1. 2021-10-19:缺失的区间。给定一个排序的整数数组 nums ,其中元素的范围在 闭区间 [lower, upper] 当中,返回不包含在数组中的缺失区间。力扣163。

    2021-10-19:缺失的区间.给定一个排序的整数数组 nums ,其中元素的范围在 闭区间 [lower, upper] 当中,返回不包含在数组中的缺失区间.力扣163. 福大大 答案2021-1 ...

  2. 云端炼丹,算力白嫖,基于云端GPU(Colab)使用So-vits库制作AI特朗普演唱《国际歌》

    人工智能AI技术早已深入到人们生活的每一个角落,君不见AI孙燕姿的歌声此起彼伏,不绝于耳,但并不是每个人都拥有一块N卡,没有GPU的日子总是不好过的,但是没关系,山人有妙计,本次我们基于Google的 ...

  3. Java二维数组以及多维数组的定义及应用

    一.二维数组以及多维数组 1.二维数组的定义: ​ 在一维数组中定义每一个元素也是一个数组元素,这样的数组称为"二维数组" ​ 多维数组就是在一维数组上再次定义二维数组或三位数组等 ...

  4. WPF 入门笔记 - 03 - 样式基础及控件模板

    原学习路线是按照圣殿骑士的<WPF基础到企业应用系列>的路线走的,但是布局之后直接依赖属性学起来有些僵硬,不太好理解,尝试了文章的前部分内容后放弃,调整为本篇博文内容.笔记路线将按照痕迹g ...

  5. 【RS】多光谱波段和全色波段的区别

    <p><strong>1.全色波段(Panchromatic Band)</strong></p> 全色图像是单通道的(即单波段灰色影像),其中全色是指 ...

  6. 用声明式宏解析 Rust 语法

    在上一篇 Rust 声明式宏中的 Metavariables 有哪些 的基础上, 今天尝试解析一下 Rust 中的几种 item.我们知道一个 crate 是由 item 组成的,每一个 fn str ...

  7. 现代C++学习指南-方向篇

    C++是一门有着四十年历史的语言,先后经历过四次版本大升级(诞生.98.11.17(20),14算小升级).每次升级都是很多问题和解决方案的取舍.了解这些历史,能更好地帮助我们理清语言的发展脉络.所以 ...

  8. 聊聊 ASP.NET 6 整洁架构开发模板

    大家好,我是Edison. 最近看了一些整洁架构(CleanArchitecture)的文章,自己和同事也简单写了一个基于整洁架构的ASP.NET 6开发模板在玩.这里就仅仅抛个砖,案例主要以自己根据 ...

  9. GO 语言中 slice 的理解

    GO 语言中 slice 理解 为什么说 Go 语言的 slice 是引用类型,其底层实现明明是一个结构体? slice 的底层实现是一个包含三个字段的结构体:指向底层数组的指针.slice 的长度和 ...

  10. 记一次 .NET 某企业采购平台 崩溃分析

    一:背景 1. 讲故事 前段时间有个朋友找到我,说他们的程序有偶发崩溃的情况,让我帮忙看下怎么回事,针对这种 crash 的程序,用 AEDebug 的方式抓取一个便知,有了 dump 之后接下来就可 ...