使用远程Docker进行集成测试
需求背景
团队有集成测试的需求,集成测试需要依赖一些中间件,比如mysql,rabbitmq。每个研发人员有对自己开发的那部分代码进行测试编写和运行检测的需求。
为了不互相影响,可以选择在研发本地搭建自己的依赖环境,我们希望这些环境搭建要容易、快速,且方便清理。
使用docker进行环境搭建
而docker,则能很好实现上述诉求。
但仅仅这样还不够,我们还面临着以下一些问题
- 本地环境搭建的繁琐。每个研发,都要在本地安装docker环境,这会导致在使用上的一些门槛和不便,以我司为例,由于有严格的网络管控,我们都是内网进行开发,无法联网。特别windows 在安装docker时,需要联网。虽然可以想办法解决,但每个新来小伙伴都要经历一些本地环境安装调试过程,实属繁琐
- 测试运行速度无法保证。当一个项目依赖中间件较多时,基于本地的docker也会占用大量的资源影响测试速度
- 多环境集成测试麻烦。由于集成测试依赖本地docker,那么这份代码在不同的环境,比如在Jenkins上打包运行时,需要在对应的环境也安装docker
总结来看,使用docker可以帮助我们快速的搭建项目依赖环境,但是本地化的docker依赖,依然让我们的代码在测试时,不够纯粹,对其各个运行环境,都有有本地docker安装的要求。
以中心化的docker server改进集成测试
而实际上,docker本身提供了远程链接模式,则使得我们可以中心化的部署docker,然后集成测试代码以tcp链接的方式,使用docker server,进行依赖中间件搭建,测试。
Docker Server远程链接配置
以centos 为例7.6为例,讲解如何将一个docker配置成可以远程链接。
在
/etc/docker/daemon.json
中开启远程链接端口{"hosts": ["tcp://0.0.0.0:2375", "unix:///var/run/docker.sock"]}
添加文件
/etc/systemd/system/docker.service.d/override.conf
,注意上述路径不存在则手动创建[Service]
ExecStart=
ExecStart=/usr/bin/dockerd
重载守护进程
systemctl daemon-reload
重启docker容器
systemctl restart docker.service
Testcontainers 框架
在部署好远程docker后,随之而来的问题是
- 如何在代码中连接和使用远程docker环境
- 两个研发同时跑测试用例时,怎么保证他们各自启动的container 在端口上不冲突
- 使用完后的container,怎么清理
幸运的是,Testcontainers框架,帮我们很好的解决了上述问题。
- 它能于junit 4 ,junit 5集成,帮助我们启停容器
- 每一次运行测试,都会启动全新的容器,暴露不一样的端口,使得两个研发同时跑测试用例时,环境互不干扰
- 它使用testcontainers/ryuk在指定延迟后,清理不再使用的container
- 上述这一切对使用者都是透明的
Testcontainers 同spring boot集成
更进一步的, 游戏公司Playtika提供了Testcontainers 同spring boot整合的测试框架https://github.com/Playtika/testcontainers-spring-boot
,使得Spring Boot或Spring cloud生态的应用在编写集成测试时,更方便
环境变量依赖
使用Testcontainers 或 playtika的testcontainers-spring-boot进行远程docker链接时,都不需要在本地安装docker客户端。但需要进行相关环境变量配置,使得代码可以知道远程docker的地址。该地址的配置有如下几种方式
- 方式1,系统环境变量配置,在当前系统配置环境变量
DOCKER_HOST=tcp://remote_docker_server_ip:2375
- 方式2,直接在java测试代码中,容器构造前,通过代码
System.setProperty("DOCKER_HOST","tcp://remote_docker_server_ip:2375")
指定环境变量 - 方式3,如果集成测试使用maven failsafe插件,则在插件上配置环境变量
以command line远程使用和管理docker
上述测试代码不需要安装docker 客户端。但倘若我们需要以命令行的方式,管理docker,则可以安装一些docker客户端,来跟远程docker通信。当然上述的Testcontainers 相当于客户端的一种。
不同操作系统的客户端程序安装方式见: https://gist.github.com/kekru/4e6d49b4290a4eebc7b597c07eaf61f2
参考资料
https://www.testcontainers.org/
https://gist.github.com/styblope/dc55e0ad2a9848f2cc3307d4819d819f
https://github.com/Playtika/testcontainers-spring-boot
https://gist.github.com/kekru/4e6d49b4290a4eebc7b597c07eaf61f2
欢迎关注我的个人公众号"西北偏北UP",记录代码人生,行业思考,科技评论
使用远程Docker进行集成测试的更多相关文章
- Docker-通过docker-maven-plugin插件实现docker镜像构建并自动发布到远程docker服务器
我们知道,docker能实现应用打包隔离,实现快速部署和迁移.如果我们开发应用使用了spring cloud + spring boot架构,那么,通过docker-maven-plugin实现快速构 ...
- 使用Maven插件快捷打包发布远程Docker镜像 dockerfile-maven-plugin
1.开放远程Docker远程访问端口 # vim /lib/systemd/system/docker.service ExecStart=/usr/bin/dockerd -H tcp://0.0. ...
- 一键部署 Spring Boot 到远程 Docker 容器,就是这么秀!
不知道各位小伙伴在生产环境都是怎么部署 Spring Boot 的,打成 jar 直接一键运行?打成 war 扔到 Tomcat 容器中运行?不过据松哥了解,容器化部署应该是目前的主流方案. 不同于传 ...
- 服务器搭建远程docker深度学习环境
服务器搭建远程docker深度学习环境 本文大部分内容参考知乎文章 Docker+PyCharm快速搭建机器学习开发环境 搭建过程中出现ssh连接问题可以查看最后的注意事项 Docker Docker ...
- 连接远程docker内的mysql(navicat)
拉取mysql镜像 docker pull mysql:5.6 查看mysql镜像 docker images | grep mysql 启动mysql容器 docker run -p 3306:33 ...
- 3.docker machine 连接 aliyun 远程docker 服务器
1.在aliyun ecs 创建docker 服务器 docker-machine create -d aliyunecs machine-aliyunecs 2.远程连接 docker 获取客户端 ...
- PyCharm配置远程Docker环境
1. docker 配置 使用-p参数暴露一个端口用于ssh连接. docker run -itd --name wangchao_paddle --gpus all -p 8899:8888 -p ...
- 深入浅出Docker(四):Docker的集成测试部署之道
1. 背景 敏捷开发已经流行了很长时间,如今有越来越多的企业开始践行敏捷开发所提倡的以人为中心.迭代.循序渐进的开发理念.在这样的场景下引入Docker技术,首要目的就是使用Docker提供的虚拟化方 ...
- win10 idea springboot上传镜像到远程docker服务器
1. 开启2375端口,供外部访问docker vim /usr/lib/systemd/system/docker.service 修改ExecStart为下面一行内容 #ExecStart=/us ...
随机推荐
- EFCore之增删改查
1. 连接数据库 通过依赖注入配置应用程序,通过startup类的ConfigureService方法中的AddDbContext将EFCore添加到依赖注入容器 public void Config ...
- CentOS7配置kdump
CentOS7配置kdump 简单生活,简单爱 2020-10-27 16:29:56 56 收藏 1 分类专栏: Linux实际开发总结 版权 文章目录 1.kdump简介 2.配置kdump ...
- 一、python入门练习题
题目: 练习1:华氏温度转摄氏温度. 练习2:输入圆的半径计算计算周长和面积. 练习3:输入年份判断是不是闰年. 答案: 练习1: """ 将华氏温度转换为摄氏温度 F ...
- Ansible_编写循环和条件任务
一.利用循环迭代任务 1️⃣:Ansible支持使用loop关键字对一组项目迭代任务,可以配置循环以利用列表中的各个项目.列表中各个文件的内容.生成的数字序列或更为复杂的结构来重复任务 1.简单循环 ...
- [转载]屏幕PPI、分辨率到底需要多大才能满足?
屏幕PPI.分辨率到底需要多大才能满足? 郝蛋儿 江湖骗子 13 人赞同了该文章 最近想买一个43寸的电视,720P和1080P差了500大洋.我不禁纠结了起来.看网上争得面红耳赤,有的人说不如108 ...
- python3 摆放家具练习
摆放家具 需求: 1)房子有户型,总面积和家具名称列表 新房子没有任何家具 2)家具有名字和占地面积.其中: 床:占4平米 衣柜:占2平米 餐桌:占1.5平米 3)将以上三件家具添加到房子中 4)打印 ...
- Jquery 常用方法及实例(Day_15)
想要做一件事,永远都不要怕晚.只要你开始做了,就不晚. 而若是你不开始,仅仅停留在思考.犹豫甚至焦虑的状态,那就永远都是零. mouseover() / mouserout() 当鼠标进入 / 离开某 ...
- 技术干货 | 关于 WKWebview 网络拦截,你想知道的都在这里
原生 WKWebView 在独立于 app 进程之外的进程中执行网络请求,请求数据不经过主进程,因此在 WKWebView 上直接使用 NSURLProtocol 是无法拦截请求的. 但是由于 mPa ...
- mysql数据库-简介
目录 1 MySQL 的三大主要分支 1.1 官方文档 1.2 版本演变 1.3 MySQL 安装方式 1.3.1 RPM包安装Mysql 1.3.2 二进制安装MySQL 1.4 mysql组成 1 ...
- Windows登录服务器CLI运行脚本出现 syntax error: unexpected end of file 错误的解决
0.前言 通常我们在编辑 Linux 服务器上的文件时,直接在 Linux 环境比较麻烦(当然熟练使用 VIM 的程序员除外哈哈),有时我们会使用 Windows 将文件编辑好再上传到服务器端,我用的 ...