“微服务”这个概念近两年非常热,正在慢慢改变 DevOps 的思路。微服务架构把一个庞大的业务系统拆解开来,每一个组件变得更加独立自治、松耦合。但是,同时也伴随着部署单元粒度越来越小,对交付效率要求也越来越高。一套高效、灵活、高可用的 CI/CD 系统就很关键。所以说 CI/CD 是微服务架构下必不可少的一部分。

这方面有很多的开源项目和工具,比如 Jenkins、Github 默认支持的 Travis 以及本文主要介绍的GitLab CI。

那么“当谈到 GitLab CI 的时候,我们都该聊些什么?”

什么是 GitLab WorkFlow

本章主要讲了 GitLab WorkFlow 从研发到发布交付的一个流程,介绍 CI/CD 所做的事情。

图1

图 1 来自 GitLab 官方文档,可以让我们更加方便的了解 CI/CD 做了哪些事情。

从左往右看,首先研发人员完成需求提交代码到 GitLab。GitLab 触发一次 Build,构建好服务,然后开始跑单元测试、集成测试。等待测试结果通过后,再由负责该项目的同事进行 CodeReview,灰度发布,正式部署到线上。CI/CD 就是指测试和发布环节,如果能够做到自动化,那么就可以大大加快开发迭代的速度。

如何配置 GitLab Runner 如何把项目接入 CI

GitLab CI 相关术语

在介绍 GitLab 之前,先介绍一下本文主要涉及到术语。

  • Job/Build,它是最小的任务单元,只负责一件事情,要么编译,要么测试等;
  • Stage,阶段,每一个 Job 都会有一个阶段,一个阶段可以包含多个 Job。阶段是有先后顺序的。通过 stage 可以间接的控制 Job 执行的先后顺序;
  • Pipeline,多个 Stage 有顺序的排列就是 Pipeline,流水线;
  • GitLab Runner,是实际处理 Job 的,每个 Runner 可以单独配置,Runner 支持多种类型的 Job,同一时间单个 runner 只能处理一个 Job;
  • GitLab Multi Runner,是一个 GitLab 的开源项目,用来统一管理 Runner;
  • Executor,每个 Runner 都需要指定一个 Executor,来决定 runner 最终使用哪个执行器进行处理。

图2

图 2 是一个典型的 Pipeline,一共有 5 个阶段,Build,Test,Release, Staging, Production,每个阶段里都至少有一个 Job,Test 中有两个 Job。GitLab 会从左往右依次把任务给到 Runner 处理,如果中途有一个任务没有处理成功的话,整个 Pipeline 就会退出。这就是持续集成(CI)、持续发布(CD) 的一个流程。

如何使用 GitLab CI

注册 Runner

图3

GitLab 中提供了两种 Runner 的类型,图 3 这个界面可以在 GitLab 项目设置页中找到的,一个是特定的 Specific Runner,另一个是共享的 Shared Runner 。特定的 Runner 只能供部分项目使用,而共享的 Runner 是所有 GitLab 中的项目都可以使用的。而这两种类型的 Runner 的注册方式都是一样。

从注册一个特定的 Runner 开始讲,首先安装一个 GitLab Mutli Runner,因为是 Go 语言实现的,所以安装起来会比较简单,直接采用二进制安装即可。第二步正式开始注册,输入 Gitlab 地址、token、描述、标签执行器等。输入上述数据之后 Runner 就注册好了,由于 Multi Runner 支持动态加载配置,所以 Runner 就立即生效了。可以在刚才的界面中看到新增了一个 Runner。有了 Runner,第二步就是如何在项目中增加 .gitlab-ci.yml 的 CI 配置文件。

在项目中增加 .gitlab-ci.yml 的 CI 配置文件

图 4

上文所示是一个非常简单的 CI 配置文件。定义了两个阶段,一个 test,一个 build,先执行 test 再执行 build,test 阶段有一个 job 叫做 test,执行的指令是 echo skip,但是这个 job 需要跑在带有 opentalk 的这个标签的 runner 上。build 阶段也有一个 job,叫做 build,它会执行 make docker,去构建 docker 镜像并且推送到私有仓库中,这个任务只有当分支中有 tag 提交才会触发,并且需要跑在带有 online docker builder 的 runner 上。写好这样一个 gitlab-ci.yml 后,commit 一下提交到 Gitlab,你就可以看到 CI/CD 页面(图4)中增加一条正在跑的任务。

图 5

接下来看看 GitLab Runner 的内部实现是怎样的?

GitLab Runner 的实现细节

本章主要分析了 GitLab CI 跟 Runner 信息交互的过程。

图 6

从图 6 可以看出 GitLab CI 是这样一个结构,最上面 GitLab 服务,负责托管代码,支配分解 Job。下面几个是 GitLabMultiRunner,由于支持多操作系统环境,所以图 6 中都加了标注,每一个 GitLabMultiRunner 可以配置多个 GitLab Runner,GitLab Runner 直接跟 GitLab 做交互,这一层通信是通过 HTTP 协议实现的,之后也会讲到。另外有些同学可能已经注意到了,图中 GitLab 是部署在公网上的,而 GitLab Runner 则是在 Nat 之下的,这个设计非常友好,不需要把 GitLab Runner 跟 GitLab 部署在一起,GitLab Runner 甚至可以在自己的笔记本上。

当我们看完了 GitLab CI 的整体结构后,再看看 Runner 跟 GitLab 之间的信息交互是怎样的?

Runner 跟 GitLab 之间的信息交互是怎样的?

信息交互分为几个部分,第一个部分是 Runner 注册。

图 7

Runner 会向 GitLab 发送一个注册请求,请求内容中包含 token、 tag 等重要信息,这些其实都是之前配置的时候需要填写的, GitLab 接收一个注册请求之后就会返回一个 token 给 Runner,Runner 之后的请求中都会带上这个 token。

图 8

在收到 GitLab 注册成功的消息之后,Runner 就会不停的向 GitLab 请求 Job,时间间隔是 3s。可以看到请求中的 token 已经改成注册时 GitLab 返回的 token 了。

这时会有两种情况:

第一种是没有任务,GitLab 返回 204 No Content;

图 9

第二种情况是有任务,GitLab 会把任务信息返回回来,包括任务的 token,job_info,git_info,runner_info 等等。Runner 在接收到 Job 之后,就会向 GitLab 发送一个确认请求,同时更新任务的状态。发送完这个请求,Runner 就开始正式跑任务了。Runner 会定时的发送输出的中间数据,通过向 GitLab 发 Patch 请求的方式。

图 10

等任务处理完后,Runner 会发送最终结果、状态、日志等。

图 11

最后总结下,第一个注册 Runner,注册成功后 3s 定时请求 Job,接收到 Job 之后发送确认请求,然后开始运行任务,定时把中间结果输出给 GitLab,等任务处理完了,把结果发送给 GitLab。上述内容就是 Runner 跟 GitLab 之间的信息交互流程。

现在 Runner 已经从 GitLab 获取到了任务,下一步 Runner 是怎么做的呢,Executor 又是怎么实现?下篇《当谈到 GitLab CI 的时候,我们都在聊些什么》将会重点为大家介绍 Docker Executor 的实现细节。

更多阅读:

当谈到 GitLab CI 的时候,我们都该聊些什么(下篇)

当谈到 GitLab CI 的时候,我们该聊些什么(上篇)的更多相关文章

  1. 当谈到 GitLab CI 的时候,我们都该聊些什么(下篇)

    上篇主要介绍了 GitLab WorkFlow 以及 CI/CD 做的事情,并且详细分析 GitLab CI 跟 Runner 信息交互是如何进行的.接下来将为大家讲解 Executor 的实现,再通 ...

  2. 使用GitLab CI + Capistrano部署CakePHP应用程序

    使用GitLab CI + Capistrano部署CakePHP应用程序 摘要:本文描述了如使用GitLab CI + Capistrano部署CakePHP应用程序. 目录 1. 问题2. 解决方 ...

  3. GitLab CI持续集成配置方案(补)

    上篇文章介绍了GitLab CI的持续集成配置方法,本篇文章将主要介绍NUnit的持续集成和遇到的一些坑 1.NUnit单元测试持续集成 下载NUnit.3.4.1.msi,https://githu ...

  4. GitLab CI持续集成配置方案

    目录 1. 持续集成介绍 1.1 概念 1.2 持续集成的好处 2. GitLab持续集成(CI) 2.1 简介 2.2 GitLab简单原理图 2.3 GitLab持续集成所需环境 2.4 需要了解 ...

  5. GitLab CI

    GitLab CI持续集成配置方案   目录 1. 持续集成介绍 1.1 概念 1.2 持续集成的好处 2. GitLab持续集成(CI) 2.1 简介 2.2 GitLab简单原理图 2.3 Git ...

  6. Gitlab CI 自动部署 asp.net core web api 到Docker容器

    为什么要写这个? 在一个系统长大的过程中会经历不断重构升级来满足商业的需求,而一个严谨的商业系统需要高效.稳定.可扩展,有时候还不得不考虑成本的问题.我希望能找到比较完整的开源解决方案来解决持续集成. ...

  7. Ubuntu Docker 安装和配置 GitLab CI 持续集成

    相关文章: Ubuntu Docker 简单安装 GitLab 劈荆斩棘:Gitlab 部署 CI 持续集成 目的:在 Ubuntu 服务器上,使用 Docker 安装和配置 GitLab Runne ...

  8. Ubuntu & GitLab CI & Docker & ASP.NET Core 2.0 自动化发布和部署(1)

    相关博文: Ubuntu 简单安装和配置 GitLab Ubuntu 简单安装 Docker Ubuntu Docker 简单安装 GitLab Ubuntu Docker 安装和配置 GitLab ...

  9. Ubuntu & GitLab CI & Docker & ASP.NET Core 2.0 自动化发布和部署(2)

    上一篇:Ubuntu & GitLab CI & Docker & ASP.NET Core 2.0 自动化发布和部署(1) 服务器版本 Ubuntu 16.04 LTS. 本 ...

随机推荐

  1. 分而治之(Work Breakdown Structure, WBS)

    不知道大家有没有和我一样的情况,就是想写一篇博客,不知道从何写起,如何组织语言,如何安排这篇博客的要交待的事情的前因后果:如果在写作过程中被打断,又不知道如何重新拾起键盘,从哪里写起."就如 ...

  2. 团队作业4——第一次项目冲刺 SeCOnd DaY

    项目冲刺--Double Kill 喂喂喂,你好你好,听得见吗?这里是天霸动霸.tua广播站,我是主播小学生¥-¥ 第一次敏捷冲刺平稳的度过了第一天,第一天的任务大家也圆满完成啦[拍手庆祝],那么今天 ...

  3. sudoku--SE第二次作业

    git传送门 编译环境: windows10.vs2017 所用语言: c++ 首先作为一个晚上闭眼的玩家,我先来讲一下我的心路历程: 最开始接到作业的时候心里是拒绝的,刚出了一趟小远门就这样,就很难 ...

  4. 201521123100《Java程序设计》第八周学习总结

    ---恢复内容开始--- 1. 本周学习总结 1.1 以你喜欢的方式(思维导图或其他)归纳总结集合与泛型相关内容. 2. 书面作业 本次作业题集集合 1.List中指定元素的删除(题目4-1) 1.1 ...

  5. 201521123089 《Java程序设计》第8周学习总结

    1. 本周学习总结 1.1 以你喜欢的方式(思维导图或其他)归纳总结集合与泛型相关内容. 1.2 选做:收集你认为有用的代码片段 2. 书面作业 本次作业题集集合 1.List中指定元素的删除(题目4 ...

  6. 201521123099《java程序设计》第五周学习总结

    本周学习总结 1.1 尝试使用思维导图总结有关多态与接口的知识点. 2. 书面作业 代码阅读:Child压缩包内源代码 1.1 com.parent包中Child.java文件能否编译通过?哪句会出现 ...

  7. 201521123059 《Java程序设计》第四周学习总结

    1. 本周学习总结 1.1 尝试使用思维导图总结有关继承的知识点. 参考资料: 百度脑图 XMind 1.2 使用常规方法总结其他上课内容. 1.多态性就是相同的形态,不同的行为(不同的定义).多态就 ...

  8. 201521123012 《Java程序设计》第一周学习总结

    一.本章学习内容 1.了解了JDK.JRE .JVM. 2.大概看过了Java的诞生.版本演进(JDK1.1.4,JDK1.1.5--JDK1.1.8,J2SE1.2--Java SE 8)以及三大平 ...

  9. Lucene第二篇【抽取工具类、索引库优化、分词器、高亮、摘要、排序、多条件搜索】

    对Lucene代码优化 我们再次看回我们上一篇快速入门写过的代码,我来截取一些有代表性的: 以下代码在把数据填充到索引库,和从索引库查询数据的时候,都出现了.是重复代码! Directory dire ...

  10. jmeter测试HTTP请求

    HTTP超文本传输协议(HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议.所有的WWW文件都必须遵守这个标准.(详情参考看一下百科) HTTP发送请求有GE ...