系列文章目录:

    《微服务设计》读书笔记大纲

一.CI(Continuous Integration)简介

   CI规则1:尽量频繁地把代码签入到分支中以进行集成

  CI规则2:不光要对语法进行验,也要提供一系列的自动化来验证

  CI规则3:CI失败后,要把修复CI当做第一优先级的事情

  说明:作为CI流程的一部分,我们提供的制品应该每次只生成一次,然后在所有的部署一切使用,这不仅避免多次重复做一件事情,还可以保证部署上线的制品与测试通过的那是同一个。

二.把CI映射到微服务

这里有几种做法:

    做法1:所有的东西都放在一起,向代码库的任何一次提交都会触发构建,同时会构建出多个制品。

一般来说,我们绝对应该避免这个模式,但在项目初期是个例外。我即使只修改一个服务的一行代码也需要进行整体的验证和构建,事实上这有可能是不需要的,这会影响CI的周期。

    做法2:将每个CI映射到代码库中不同的目录,这种做法比第一种好。

  做法3:每个服务都有自己的代码库,都有自己的CI,这样就更加独立了。

三.CD(Continuous Delivery)简介

正如我们项目组正在使用的PipeLine,这就是一个CD产品,它告诉我们每个步骤是否完成,距离最终的产品交付还有哪几项,软件质量的可视化得到了极大改善。

四.制品的选择

Java可以生成Jar包和War包,Ruby有gem,它们在运行的时候需要特定的环境,Chef、Puppet、Ansible是集中配置管理系统,支持一些通用技术栈的构建物部署。

我们也可以选择生成与操作系统相关的制品,如RedHat或CentOS的RPM、Ubuntu的deb包、Windows的MSIqn。使用操作系统的制品好处是,不需要考虑底层使用的是什么技术,只需要简单使用内置的工具就可以完成软件的安装。

如果使用自动化配置管理工具来管理环境问题,一个问题是,需要花费大量的时间运行这些脚本,它们会一遍遍地安装 这些重复的工具,而且还可能有新的软件加进来,其安装时间会继续被拉长。我们可以使用虚拟机镜像,在部署软件时,只需要根据镜像创建一个实例,之后在其安装最新的微服务即可,不需要再花费时间来安装依赖,因为它们已经在镜像中安装好了,这样可以节省很多时间。但安装镜像也会花费很多时间,同时不同平台的镜像是不一样的,我们可以通过Packer来解决这个问题,它可以从Chef、Ansible、Puppet中的同一套配置中生成不同平台的镜像。

那么,我们可能将微服务也包含在镜像中,那么当你启动镜像时,微服务就已经就绪了。

但这同时也会带来一个问题,有人会进生产服务器修改其中某一台的配置,导致配置漂移问题,怎么办?应该禁止对任何运行的服务器做手动修改。

五.服务的配置管理

对于不同的生产环境有不同的配置,我们应该如何处理?应该最小化环境间配置的差异,比如用来连接数据库的用户名和密码。

另外,配置文件应该单独管理,如IT部正在使用的JFrog制品库。

六.服务与主机之间的映射

这样的形式有多种。

      第1种:单主机多服务

这种方式简单,但是也会存在挑战,如监控困难,我们不知道哪个服务使用CPU的频率更高一点,同时服务之间会造成影响,一个服务可能会造成系统资源用尽,这样其他服务也会有相应的影响。

      第2种:应用程序容器

这种方式,从根本上说,是想试图优化资源的使用,但现在云服务的出现使得已经没有必要了。

这种方式将5个Java服务打包在一个容器(如Jetty)中,这样不可避免地限制了技术的选择,同时在聚合监控时也会难以支持。

      第3种:每个主机一个服务

这种方式很容易对服务进行扩展,安全性也可以在更小的范围内进行,但主机数据的增加也会是个问题。

      第4种:使用Pass(平台即服务)

Pass平台会提供一些特定制品(如Java Jar包或Ruby 的gem等)的支持,还会帮你自动配置机器然后运行,能够透明地对系统进行弹性管理,允许你控制运行服务的节点数量,Pass平台帮你处理其他的工作。

七.如何管理微服务带来的大量主机:自动化

为了让你从众多的服务器中解脱出来,你需要自动化,你需要写一行代码来启动或开户一个虚拟机,你需要能够自动部署软件,你需要自动完成数据库的变更。

      方法1:传统的虚拟化技术

              

      如上图所示,这就是传统的虚拟化技术,在操作系统之上,存在着Hypervisor,它的任务主要有两个,对CPU和内存资源做从虚拟主机到物理主机的映射和给上层提供一个控制的层,但Hypervisor也需要一定的资源来完成自己的工作,它也会占用CPU、IO和内存等,Hypervisor主机越多,占用的资源就越多。

      方法2:Vegrant

这是一个部署平台,通常在开发和测试环境中使用,可以在一台机器上创建一个虚拟的云,它的底层使用的是标准的虚拟化系统,比如你可以同时创建多个VM,通过关掉其中的几台来测试故障模式,并且可以把本地目录映射到虚拟机上,这样就可以在修改代码后立即查看效果。

      方法3:Linux容器

Linux容器可以创建一个隔离的进程空间,进而在这个空间运行其他的进程。在Linux中,进程必须由用户来运行,并且根据权限的不同拥有不同的能力,进程可以创建其他进程,举个例子,如果我在终端启动了一个乾,你可以认为它是终端程序的子进行,Linux内核的任务就是维护这个进程树。

      Linux容器扩展了这一想法,每个容器就是整个系统进程树的一棵子树,内核已经帮我们完成了给这些容器分配物理资源的任务, LXC就是这样一种容器(类似的还有Solaris Zones、Open VZ),它的基本结构如下:

它不再需要Hyervisor,其实尽管每个容器可以运行不同的操作系统发行版,但必须共享相同的内核,因为进程树存在于内核中,这意味着,我们的主机操作系统可以是Ubuntu,而在容器中可以运行CenOS,只要它们的内核相同即可。

容器更轻量,所以在相同的硬件上能够运行的容器数量比虚拟机要多得多,而且启动速度更快,但容器在隔离性上也还存在一定问题。

      方法4:Docker

Docker是构建在轻量级容器之上的平台,它帮你处理了大多数与容器管理相关的事情,你可以在Docker中创建和部署应用,这些基于容器的应用与VM镜像很类似,Docker也能管理容器的配置,并帮你处理一些网络问题。

Docker本身并不能解决所有的问题,它只是一个在单机上运行的简单的Paas,你还需要一些工具来帮你管理多台机器上的Docker实例上的服务。比如,当你向这些工具请求一个容器时,它会帮你找到容器并运行它。Google的Kubernetes和Deis就是这样的软件。

Docker+调度工具构成的解决方案介于IaaS和PaaS之间,我们可以称之为CaaS(容器即服务)。

八.使用自动化脚本

参数化的命令行调用是任何部署的最合理方式,可以使用CI工具来触发脚本的调用,从Windows的Bash到Python Fabric脚本等,好处是一次编写后面基本不用改了,也可以使用Terraform、Salt Stack这样的工具。

参考

《微服务设计》(Sam Newman 著 / 崔力强 张骏 译)

部署:持续集成(CI)与持续交付(CD)——《微服务设计》读书笔记的更多相关文章

  1. Gitlab+Gitlab-CI+Docker实现持续集成(CI)与持续部署(CD)

    写在前面 记录一下,一个自动化开发部署项目的构建过程与简单使用,实现真正的DevOps gitlab安装 步骤一:安装依赖 yum -y install git gcc glibc-static te ...

  2. 浅谈持续集成(CI)、持续交付(CD)、持续部署(CD)

    CI/CD是实现敏捷和Devops理念的一种方法,具体而言,CI/CD 可让持续自动化和持续监控贯穿于应用的 整个生命周期(从集成和测试阶段,到交付和部署).这些关联的事务通常被统称为"CI ...

  3. CentOS 7 部署Gitlab+Jenkins持续集成(CI)环境

    持续集成概述及运行流程 : 持续集成概述 :持续集成(Continuous integration)持续集成是指开发者在代码的开发过程中 ,可以频繁的将代码部署集成到主干,并进行自动化测试  开发→代 ...

  4. GitLab、Jenkins结合构建持续集成(CI)环境

    1 持续集成 概述及运行流程 1.1 持续集成概述 持续集成概述:持续集成(Continuous integration)持续集成是指开发者在代码的开发过程中,可以频繁的将代码部署集成到主干,并迚程自 ...

  5. 持续集成篇_08_Hudson持续集成服务器的使用(自动化编译、分析、打包、部署)

    持续集成篇_08_Hudson持续集成服务器的使用(自动化编译.分析.打包.部署) 1.创建任务 svn用户验证 验证通过 *****五颗*表示每分钟检查svn路径是否有变更,有变更就会重新构建,相当 ...

  6. Jenkins+Gitlab搭建持续集成(CI)环境

    利用Jenkins+Gitlab搭建持续集成(CI)环境 Permalink: 2013-09-08 22:04:00 by hyhx2008in intern tags: jenkins gitla ...

  7. 【OF框架】在Azure DevOps中配置项目持续集成CI服务,推送镜像到Azure容器注册表

    准备工作 开通Azure账号,具有开通服务权限,关键是里面要有钱. 开通Azure DevOps,能够创建组织和项目. 具备一定的DevOps知识,了解CICD概念.Docker基本操作. 一.创建& ...

  8. 持续集成篇 --Hudson持续集成服务器的安装配置与使用

    样例项目参考视频教程:http://www.roncoo.com/course/view/85d6008fe77c4199b0cdd2885eaeee53 IP:192.168.4.221  8G内存 ...

  9. 交付Dubbo微服务到kubernetes集群

    1.基础架构 1.1.架构图 Zookeeper是Dubbo微服务集群的注册中心 它的高可用机制和k8s的etcd集群一致 java编写,需要jdk环境 1.2.节点规划 主机名 角色 ip hdss ...

随机推荐

  1. Java进阶(十七)ArrayList与LinkedList的区别

    ArrayList与LinkedList的区别 ArrayList ArrayList其实是包装了一个数组 Object[],当实例化一个ArrayList时,一个数组也被实例化,当向ArrayLis ...

  2. LeetCode之“动态规划”:Unique Binary Search Trees && Unique Binary Search Trees II

    1. Unique Binary Search Trees 题目链接 题目要求: Given n, how many structurally unique BST's (binary search ...

  3. android bitmap的内存分配和优化

    首先Bitmap在Android虚拟机中的内存分配,在Google的网站上给出了下面的一段话 大致的意思也就是说,在Android3.0之前,Bitmap的内存分配分为两部分,一部分是分配在Dalvi ...

  4. Spring--ClassPathXmlApplicationContext

    public class ClassPathXmlApplicationContext extends AbstractXmlApplicationContext { private Resource ...

  5. HBase Bulk Loading

    将数据导入到HBase有三种方式:(1) Mapreduce,输出为TableOutputFormat.(2) 用HBase API .(3)Bulk Loading.对于大量的数据入库,第三种数据是 ...

  6. 在linux下搭建STM32工程

    转载自康神博客:http://blog.csdn.net/u013298300/article/details/50243935 在LINUX下开始一个STM32工程 在LINUX下开始一个STM32 ...

  7. Linux笔记2

    touch 创建文件. echo  输出   >> 将输出写入到文件中   echo sss >> a.txt cat   查看文件内容 帮助命令   man  命令 man ...

  8. VS2010断点调试技巧

    设置断点:在如下图中的红色圆点处设置断点,红色圆点表示已经在这行设置断点.快捷键F9.   启动调试:按F5或者点击左边红框中的按钮.右边框是开始执行(不调试)Ctrl+F5. 调试工具栏:下面是工具 ...

  9. Webapck项目开发基本构建及配置

    1.创建项目文件夹 myapp 手动创建myapp,或mkdir myapp 2.cd myapp 3.npm init (初始化项目) 4.一路回车(关于项目信息的填写,可以不写,一路回车即可) 可 ...

  10. .net Entity Framework初识1

    利用EF可以直接操纵数据库,在一些简单的项目里甚至完全不用写sql. 一 code first 1.在web.config中设置连接字符串 这一步可以省略.如果跳过这一步,程序会默认生成一个可用的连接 ...