上一篇服务版本的新增,是通过触发 gitlab 任务来实现的,那么如何得到任务的最终状态呢?

好在 gitlab 为我们提供了webhook,也就是消息钩子,可以发送pipeline消息到我们指定的地址。

当我们收到消息后,就可以跟据任务的最终状态(成功or失败)来更新数据库里相应的版本:

  • 失败时直接更新任务状态为失败
  • 成功时除了更新状态,还要记录版本的路径

版本的存储路径

gitlab 的pipeline任务有一个递增的ID号,我们可以直接拿过来使用,以此ID为版本目录,打包好的服务就存放在该目录下,具体的存储结构如下图:

然后是接收任务的视图

接收任务

这里放上 pipeline消息的关键内容:

'object_attributes': {
'before_sha': '0000000000000000000000000000000000000000',
'created_at': '2019-12-09 08:53:34 UTC',
'detailed_status': 'passed', # pending running passed failed
'duration': 69,
'finished_at': '2019-12-09 08:54:56 UTC',
'id': 123,
'ref': 'master',
'sha': 'ad02bfded9fed8a1ae478bc088378827c485cf94',
'stages': ['prepare', 'build', 'deploy'],
'status': 'success', # pending running success failed
'tag': False,
'variables': [
{'key': 'VERSION_ID', 'value': '3'},
{'key': 'SERVICE_ID', 'value': '2'},
{'key': 'SERVICE_NAME', 'value': 'A'},
{'key': 'USERNAME', 'value': 'zhangsan'}
],
},

object_attributes 这个字典里的信息就是我们需要的:

  • status 任务的最终状态,有 success、pending、running、canceled 等
  • variables 触发任务时发送的变量

那么接收任务的视图:

import json
from microservice.models import MicroServiceVersion, BuildStatus
from django.http import HttpResponse
from django.views import generic class GitWebhookReceiver(generic.View):
def post(self, request):
data = json.loads(request.body)
object_attributes = data.get('object_attributes', {})
task_id = object_attributes.get('id')
return self._git_build_result(task_id, object_attributes) def _git_build_result(self, task_id, object_attributes):
status = object_attributes.get('status', '')
if status in ('pending', 'running', 'canceled'):
return HttpResponse('') elif status in ('failed', 'success'):
version_id = ''
service_name = ''
for item in object_attributes.get('variables', []):
if item.get('key') == 'VERSION_ID':
version_id = item.get('value')
if item.get('key') == 'SERVICE_NAME':
service_name = item.get('value') if status in ('failed', ):
if version_id:
MicroServiceVersion.objects.filter(pk=version_id).update(status=BuildStatus.failed.value)
else: # status == 'success' and detailed_status == 'passed':
if version_id:
MicroServiceVersion.objects.filter(pk=version_id).update(
status=BuildStatus.success.value,
file_path='{}/{}'.format(service_name, task_id)
)
return HttpResponse('')

这里做一下重构,将接收任务和服务管理的视图分开,在microservice下新建包 views,重命名之前的 views.py -> srv_manage.py 并移动到 views 下,新增的任务接收代码存放到 webhook_receive.py ,最后microservice 的目录结构:

├── admin.py
├── apps.py
├── __init__.py
├── models.py
├── tests.py
├── urls.py
└── views
├── __init__.py
├── srv_manage.py
└── webhook_receive.py

当然,这里只是一个实现思路,我们在用的环境是pipeline完成后上传到软件仓库,django结合celery发起异步任务去获取版本号,之后的发布操作也是经由celery。 而且在实际使用中,经常会碰到gitlab的webhook发送超时的情况,我们又在发起任务后通过轮询的方式获取任务状态,这些都是后话。

这样就有了服务相关的版本,之后就是部署、升级、回退,相关的代码在 这里

Django实现自动发布(2视图-任务接收)的更多相关文章

  1. Django实现自动发布(2视图-服务管理)

    通常页面要能对资源进行增删改查,对应http的 POST.DELETE.UPDATE.GET 页面显示使用了layui,而layui的表格有自己的数据获取方式,所以我们的视图要做一些调整,不使用后端渲 ...

  2. Django实现自动发布(2视图-服务版本查找和新增)

    前面做好了服务的管理,接下来是服务版本的管理,和服务类似,版本也有增删改查.先在服务的管理页面做一个入口,如下图: 需要在上一步的服务管理页面增加按钮.按钮方法,点击按钮跳转时要打开一个新的页面,所以 ...

  3. Django实现自动发布(1数据模型)

    公司成立之初,业务量较小,一个程序包揽了所有的业务逻辑,此时服务器数量少,上线简单,基本开发-测试-上线都是由开发人员完成. 随着业务量逐渐上升,功能增多,代码量增大,而单一功能上线需要重新编译整个程 ...

  4. Django实现自动发布(3发布-升级和回退)

    发布实际上就是将服务的某个版本和一台主机关联,我用一张表(MicroServiceInstance)记录了主机id.服务id.版本id,目前一台主机只能部署一个版本,所以主机id和服务id要做联合索引 ...

  5. Django实现自动发布(3发布-安装)

    相对于服务的升级.回退,新部署一个服务要复杂一些,要满足以下要求: 已经运行了服务实例的主机不能重复部署 进程启动需要的配置文件要先同步到主机上 之前的升级.回退都是指进程的操作,不涉及配置文件的变更 ...

  6. nginx+uWSGI+django+virtualenv+supervisor发布web服务器

    nginx+uWSGI+django+virtualenv+supervisor发布web服务器   导论 WSGI是Web服务器网关接口.它是一个规范,描述了Web服务器如何与Web应用程序通信,以 ...

  7. Django基础(路由、视图、模板)

    目录导航 Django 路由控制 Django 视图层 Django 模版层 Django 路由控制 URL配置(URLconf)就像Django 所支撑网站的目录.它的本质是URL与要为该URL调用 ...

  8. Django - 将URL映射到视图

    URLconf 就像是 Django 所支撑网站的目录.它的本质是 URL 模式以及要为该 URL 模式调用的视图函数之间的映射表.你就是以这种方式告诉 Django,对于这个 URL 调用这段代码, ...

  9. 第三百零五节,Django框架,Views(视图函数),也就是逻辑处理函数里的各种方法与属性

    Django框架,Views(视图函数),也就是逻辑处理函数里的各种方法与属性 Views(视图函数)逻辑处理,最终是围绕着两个对象实现的 http请求中产生两个核心对象: http请求:HttpRe ...

随机推荐

  1. jQuery基础学习

    一.简介 jQuery是一个快速.简洁的JavaScript框架,是继Prototype之后又一个优秀的JavaScript代码库(或JavaScript框架).jQuery设计的宗旨是“Write ...

  2. 汽车行业如何个性化定制转型?看APS系统在这家企业的运用

    传统汽车行业中往往采用的是按库存推动式生产,一旦市场产生变动就会造成大量的生产,给企业带来大批的资金压力,而另一方面采用按单生产的方式企业往往面临供应链,产能的诸多约束条件限制,稍有不慎就会带来产线停 ...

  3. Linux系统MySQL的常用操作命令

    安装好MySQL服务后添加环境变量: #vi /etc/profile export MYSQL_HOME=/usr/local/mysql export PATH=$PATH:$MYSQL_HOME ...

  4. MongoDB的集群模式--Sharding(分片)

    分片是数据跨多台机器存储,MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署. 具有大型数据集或高吞吐量应用程序的数据库系统可能会挑战单个服务器的容量.例如,高查询率会耗尽服务器的CP ...

  5. MongoDB分片,唯一索引与upsert

    前言 分片,唯一索引和upsert,表面上看似没有直接联系的几个东西,到底存在怎样的瓜葛呢? 分片 为了保持水平扩展的有效性,分片功能必须保证各个片之间没有直接关联,不需要与其他分片交互就可以独立做出 ...

  6. Golang: 接收GET和POST参数

    GET 和 POST 是我们最常用的两种请求方式,今天结合前端 axios 请求库来讲一讲,如何在 golang 服务中,正确接收这两种请求的参数信息. 一.搭建一个简单的服务 首先,我们来创建一个最 ...

  7. VS2015配置Qt5

    目录 需要准备的东西 VS2015 Qt5 VS2015 Qt插件 rc.exe无法启动 基于CMake的Qt工程 reference 需要准备的东西 Visual Studio 2015 Qt5 V ...

  8. Linux 部署 YUM 仓库

    本篇主要写了怎么搭建自定义的YUM源,在一个拥有大量本地网络的主机环境中,可以减少对外网的依赖. Server 安装 vsftp 包 [root@server ~]# yum install vsft ...

  9. 自己开发SSO单点登录

    概述 单点登录指的是有一个中央的单点登录服务器,各个子系统和这个中央的单点登录服务器打交道,比如有A,B两个子系统. A登录后,B系统就不用再登录,直接可以访问,当其中有一个子系统选择注销时,那么所有 ...

  10. C++学习(11)—— 友元

    生活中你的家有客厅(Public),有你的卧室(Private) 客厅所有来的客人都可以过去,但是你的卧室是私有的,也就是说只有你能进去 但是呢,你也可以允许你的好闺蜜好基友进去   在程序里,有些私 ...