郑昀(微博:http://weibo.com/yunzheng) 创建于2016/6/18 最后更新于2016/6/19

点击查看我的《如何从零搭建一个技术平台》,这是一个系列。转载时请注明“转载自旁观者-博客园”或者给出本文的原始链接。


本文档适用人员:技术人员

提纲:

  1. 蚂蚁金服的研发协作是怎么运转的

  2. 我们向何处去

  3. 我们现阶段如何聚焦

  4. CE 简介


何谓 ACP?阿里协作平台是也。

自动化测试、自动化构建、自动化运维、环境维护、资源申请和释放、虚拟机集群、容器集群……对于一支庞大的技术团队,这些名词术语意味着生产效率,意味着快速迭代,意味着研发、测试、运维 All in,当然也可能意味着混乱,有操不完的心,有维护不完的事,工程越多,并行项目越多,麻烦越大。

去年年底,我们的一支小分队与支付宝一起并肩作战了三个月,近距离观察了他们的研发协作和应用发布过程。回来后,志全、老白、明骏给大家分享了所见所闻,我们试图从中找到云纵研发协作和持续集成的未来之路。不久之后,田志全明确了切入方式,云纵 CloudEngine 开始开发。

我们先来看一眼 CloudEngine 的庐山真面目:

图0,云纵 CloudEngine 首页-管理员身份

下面先介绍一下蚂蚁金服的玩法。

蚂蚁金服的研发协作是怎么运转的

一套精密的体系

如下图1所示,我们可以把庞大的蚂蚁金服研发支撑体系浓缩为这四个平台:

  1. ACP,阿里协作平台

  2. 九州资源管控平台

  3. AQC,蚂蚁质量基础设施平台

  4. Zpass,蚂蚁集团发布部署平台

ACP 是总驱动方。九州,AQC,Zpass 是基础设施。

图1,蚂蚁金服协作平台之间的关系

先说最上层的 ACP。假设我作为一个项目的项目经理,负责某一个迭代版本,那么我在这个系统里这么做:

  1. 新建一个项目

  2. 拉流(创建分支)

  3. 申请服务器资源

  4. 系分 & 评审

  5. 测分 & 评审

  6. 功能测试完成后:

    1. 督促测试人员验证结果

    2. 开发人员填写发布计划

  7. 回归测试完成后:

    1. 督促测试人员及时响应回归结果

  8. 测试风险评估

  9. ARS 系统上填写发布计划评估

  10. 发起会审:检查质量红线,测试风险评估,资损评估,DB和安全评估

  11. 上预发环境,做回归测试,PD验收

  12. 等待发布

  13. 已发布,项目结束

  14. 服务器资源自动回收

ACP 的很多能力来自于下层的基础设施系统。我们来看看下层的 AQC,它在开发自测、交付测试、日常测试、集成测试、环境冒烟、全站回归、线上回归中扮演重要的角色。下图2展示了 AQC 的业务架构,下图3展示了它的核心流程。

图2,AQC 业务架构

图3,AQC 核心流程示意

简而言之,ACP、AQC 等系统将蚂蚁金服项目全生命周期从流程流转到代码分支到资源管控都串起来了。

我们向何处去

生产效率如何提升

蚂蚁金服的体系庞大,经营多年,犹如高速运转的精密仪器,我们该如何下手呢?截至到去年年底,云纵自己的持续集成体系如下图4所示:

图4,云纵持续集成

云纵的 Java 和 PHP 应用,无论线下测试环境,还是线上生产环境,均运行在基于 Mesos+Marathon+Docker 的容器私有云上,由我们自主研发的 TouchStone(点金石)系统部署。当然光有 Docker 是不够的,还是有很多应用需要跑在虚拟机里。

我们最大的痛点是什么?我们要向支付宝学习什么呢?

田志全分析,我们最大的痛点是开发联调环境和测试环境的并行测试

举一个例子。版本 V1.0 中,业务中心 A 并没有代码变更,测试周期一周;版本 V1.1 中,业务中心 A 有代码变更,提测时间肯定晚了一些,小版本的测试周期为三天。常规分支对应的测试环境里,V1.1里 A 的代码变更,可能造成业务中心 A 的不稳定,会影响 V1.0的正常测试,所以二者难以在一个环境里并行测试。

以前我们一般这么解决:

  1. 多整几个测试环境。V1.0 一个环境,V1.1 一个环境。但环境维护艰巨,对工程师来说也不胜其扰。

  2. 代码变更要求向上兼容。但第一,向上兼容没那么容易,第二,总有不能兼容的时候,咋办,只能串行测试。

那么我们向支付宝学习两点:

  • 项目经理/研发经理通过 paas 平台,为应用申请环境资源

    • 一切都通过交互界面完成,无需东奔西走(注:理想而已,有了流程,节点审批还是要打电话催的);

  • 引入 Stable 环境概念

    • 一般一个项目包括两套日常环境,一套开发用,一套测试用;

      • 开发环境:项目或升级包开始由开发申请,用于调试代码、自测以及后续修补缺陷调试使用

      • 测试环境:进入测试之前由测试申请,用于功能测试

    • 两套环境从域名上区别如下:

      • xxx.dxxx.yourcompany.net,开发用

      • xxx.txxx.yourcompany.net,测试用

    • Stable 环境是一套比较完整的系统,服务于日常开发环境和日常测试环境

    • 日常开发和测试环境申请机器时,通常只包含代码有变更的系统,所依赖的其他系统均来自于 Stable 环境

 

我们现阶段如何聚焦

paas 平台和 stable 环境如何发挥价值

明确了学习目标后,我们就要假想出现阶段的各种应用场景,作为系统的愿景。

首先,应用可以发布在虚拟机上,也可以发布在容器上,应该允许工程师选择。毕竟不是每一个应用都适合容器化。

其次,与 ACP 一样,应用发布的过程可视化,这包含两层意思:

  1. 状态变迁可视化,ACP 里的状态变迁如下图5所示:

    • 图5,ACP 应用发布状态

  2. 部署信息可以聚合展示,如果部署失败,我可以看到是哪一步出错,出错信息是什么。

按我的《如何从零搭建一个技术平台》所说,整理了首期应实现的六个主应用场景:

  1. 登记和维护应用,应用的配置管理

  2. 环境查看和监控

  3. 环境的公共配置管理

  4. 服务器资源(虚拟机和容器资源)申请和审核

  5. 服务器资源释放(和续租)

  6. 服务器资源找回帐号密码

CE简介

CloudEngine 像 ACP 一样,架设在我们的 TouchStone、SimpleWay 和 iDB 之上,可以理解为元数据管理和流程调度发起者,同时支持虚拟机和容器资源申请。这几者调用关系如下图6所示:

图6,有了CE之后的调用关系

它们可以粗糙地对应到蚂蚁金服系统上:

  • CloudEngine = ACP 的一小部分,更接近于 AQC 的功能角色

  • TouchStone = AQC 一部分+ Zpaas 一部分

  • SimpleWay = Zpaas

工程师角色进入 CE 后,可以在首页工作台看到自己名下有多少个应用,发出过多少个机器资源申请,已分配多少机器,能看到当前有几个环境,环境里虚拟机和容器的机器配额各是多少,已分配了多少机器(虚拟机或容器),如下图所示:

图7,CE首页工作台-工程师角色

上图中:

[vm]开发环境[2/90]:指开发联调环境的虚拟机(vm)配额为90,当前已分配2个虚拟机;

[docker]开发环境[1/90]:指开发联调环境的容器(docker)配额为90,当前已分配1个容器。

服务器申请,按审核节点分有两种:

  1. 有审核:申请 Stable 环境资源,意味着长期租用,需要审核;

  2. 无审核:否则是有限期的租用,无审核。

其他功能不再赘述。有机会再分享给大家。

小结

希望 CloudEngine 能促进云纵开发联调环境和测试环境的并行测试,减小工程师对环境和应用的维护成本,提高技术团队的项目吞吐率。

-EOF-

点击查看《如何从零搭建一个技术平台》。

欢迎长按二维码订阅我的微信订阅号『老兵笔记』

转载时请注明“转载自旁观者-博客园”或者给出本文的原始链接。

Cloud Engine:大杀器如何炼成的更多相关文章

  1. 使用docker-compose 大杀器来部署服务 上

    使用docker-compose 大杀器来部署服务 上 我们都听过或者用过 docker,然而使用方式却是仅仅用手动的方式,这样去操作 docker 还是很原始. 好吧,可能在小白的眼中噼里啪啦的对着 ...

  2. 使用docker-compose 大杀器来部署服务 上(转)

    使用docker-compose 大杀器来部署服务 上 我们都听过或者用过 docker,然而使用方式却是仅仅用手动的方式,这样去操作 docker 还是很原始. 好吧,可能在小白的眼中噼里啪啦的对着 ...

  3. [转]使用docker-compose 大杀器来部署服务 上

    本文转自:https://www.cnblogs.com/neptunemoon/p/6512121.html 使用docker-compose 大杀器来部署服务 上 我们都听过或者用过 docker ...

  4. 使用docker-compose 大杀器来部署服务

    使用docker-compose 大杀器来部署服务 上 我们都听过或者用过 docker,然而使用方式却是仅仅用手动的方式,这样去操作 docker 还是很原始. 好吧,可能在小白的眼中噼里啪啦的对着 ...

  5. 一文读懂机器学习大杀器XGBoost原理

    http://blog.itpub.net/31542119/viewspace-2199549/ XGBoost是boosting算法的其中一种.Boosting算法的思想是将许多弱分类器集成在一起 ...

  6. Postgresql-模糊匹配大杀器

    # Postgresql-模糊匹配大杀器 ## 问题背景 随着pg越来越强大,abase目前已经升级到5.0(postgresql10.4),目前abase5.0继承了全文检索插件(zhparser) ...

  7. [NewLife.XCode]反向工程(自动建表建库大杀器)

    NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netstandard,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode. 整个系列教程会大量结合示 ...

  8. 离群点检测与序列数据异常检测以及异常检测大杀器-iForest

    1. 异常检测简介 异常检测,它的任务是发现与大部分其他对象不同的对象,我们称为异常对象.异常检测算法已经广泛应用于电信.互联网和信用卡的诈骗检测.贷款审批.电子商务.网络入侵和天气预报等领域.这些异 ...

  9. DSP已经英雄迟暮了吗?FPGA才是未来的大杀器?

          DSP技术,在某些人看来,或者已经面临着英雄迟暮的感觉,就我们当前所知道的.Freesacle.ADI.NXP早就停掉了新技术发展,而当前从大的方面说只剩下TI一家扛着Digital Si ...

随机推荐

  1. ajax简单应用

    var xmlhttp;if (window.XMLHttpRequest) { // IE7+, Firefox, Chrome, Opera, Safari 浏览器执行代码 xmlhttp=new ...

  2. cocos2d-js 学习笔记 --安装调试(1)

    目前从国内来看,比较知名的,适合前端程序员使用的游戏框架,基本是 egret 和cocos2d-js;刚好两个框架都学习了下, egret的是最近兴起的一个框架主要使用TypeScript.js语言做 ...

  3. 【翻译】Fluent NHibernate介绍和入门指南

    英文原文地址:https://github.com/jagregory/fluent-nhibernate/wiki/Getting-started 翻译原文地址:http://www.cnblogs ...

  4. SQL中循环和条件语句

    .if语句使用示例: declare @a int begin print @a end else begin print 'no' end .while语句使用示例: declare @i int ...

  5. 【webGL】threejs入门 ---创建一个简单立方体

    开发环境 Three.js是一个JavaScript库,所以,你可以使用平时开发JavaScript应用的环境开发Three.js应用.如果你没什么偏好的话,我会推荐Komodo IDE. 调试建议使 ...

  6. Shell $? $* $@ 等含义

    $0 ------>脚本名 $1 ------>传入的第一个参数值 $? ------>脚本执行的结果.成功==0,不成功==非0 $* ------>所有参数的内容 $@ - ...

  7. iOS 对象和json互相转换

    // 将字典或者数组转化为JSON串 - (NSData *)toJSONData:(id)theData { NSError *error = nil; NSData *jsonData = [NS ...

  8. seo优化urlrewrite伪静态技术

    1.下载urlrewrite-3.2.0.jar 2.在WEB-INF下增加urlrewrite.xml <?xml version="1.0" encoding=" ...

  9. 9. 了解 Cocoa-百度百科

    Cocoa是苹果公司为Mac OS X所创建的原生面向对象的API,是Mac OS X上五大API之一(其它四个是Carbon.POSIX.X11和Java). 苹果的面向对象开发框架,用来生成 Ma ...

  10. 1.1Axure简介

    1.部件:点击部件右上角的?,可以看到相关注释,注释底部有网站链接,可查看部件的详细介绍.