需求背景

团队有集成测试的需求,集成测试需要依赖一些中间件,比如mysql,rabbitmq。每个研发人员有对自己开发的那部分代码进行测试编写和运行检测的需求。

为了不互相影响,可以选择在研发本地搭建自己的依赖环境,我们希望这些环境搭建要容易、快速,且方便清理。

使用docker进行环境搭建

而docker,则能很好实现上述诉求。

但仅仅这样还不够,我们还面临着以下一些问题

  • 本地环境搭建的繁琐。每个研发,都要在本地安装docker环境,这会导致在使用上的一些门槛和不便,以我司为例,由于有严格的网络管控,我们都是内网进行开发,无法联网。特别windows 在安装docker时,需要联网。虽然可以想办法解决,但每个新来小伙伴都要经历一些本地环境安装调试过程,实属繁琐
  • 测试运行速度无法保证。当一个项目依赖中间件较多时,基于本地的docker也会占用大量的资源影响测试速度
  • 多环境集成测试麻烦。由于集成测试依赖本地docker,那么这份代码在不同的环境,比如在Jenkins上打包运行时,需要在对应的环境也安装docker

总结来看,使用docker可以帮助我们快速的搭建项目依赖环境,但是本地化的docker依赖,依然让我们的代码在测试时,不够纯粹,对其各个运行环境,都有有本地docker安装的要求。

以中心化的docker server改进集成测试

而实际上,docker本身提供了远程链接模式,则使得我们可以中心化的部署docker,然后集成测试代码以tcp链接的方式,使用docker server,进行依赖中间件搭建,测试。

Docker Server远程链接配置

以centos 为例7.6为例,讲解如何将一个docker配置成可以远程链接。

  • /etc/docker/daemon.json中开启远程链接端口

     {"hosts": ["tcp://0.0.0.0:2375", "unix:///var/run/docker.sock"]}
  • 添加文件/etc/systemd/system/docker.service.d/override.conf,注意上述路径不存在则手动创建

     [Service]
    ExecStart=
    ExecStart=/usr/bin/dockerd
  • 重载守护进程 systemctl daemon-reload

  • 重启docker容器systemctl restart docker.service

Testcontainers 框架

在部署好远程docker后,随之而来的问题是

  • 如何在代码中连接和使用远程docker环境
  • 两个研发同时跑测试用例时,怎么保证他们各自启动的container 在端口上不冲突
  • 使用完后的container,怎么清理

幸运的是,Testcontainers框架,帮我们很好的解决了上述问题。

  • 它能于junit 4 ,junit 5集成,帮助我们启停容器
  • 每一次运行测试,都会启动全新的容器,暴露不一样的端口,使得两个研发同时跑测试用例时,环境互不干扰
  • 它使用testcontainers/ryuk在指定延迟后,清理不再使用的container
  • 上述这一切对使用者都是透明的

Testcontainers 同spring boot集成

更进一步的, 游戏公司Playtika提供了Testcontainers 同spring boot整合的测试框架https://github.com/Playtika/testcontainers-spring-boot,使得Spring Boot或Spring cloud生态的应用在编写集成测试时,更方便

环境变量依赖

使用Testcontainers 或 playtika的testcontainers-spring-boot进行远程docker链接时,都不需要在本地安装docker客户端。但需要进行相关环境变量配置,使得代码可以知道远程docker的地址。该地址的配置有如下几种方式

  • 方式1,系统环境变量配置,在当前系统配置环境变量DOCKER_HOST=tcp://remote_docker_server_ip:2375
  • 方式2,直接在java测试代码中,容器构造前,通过代码System.setProperty("DOCKER_HOST","tcp://remote_docker_server_ip:2375")指定环境变量
  • 方式3,如果集成测试使用maven failsafe插件,则在插件上配置环境变量

以command line远程使用和管理docker

上述测试代码不需要安装docker 客户端。但倘若我们需要以命令行的方式,管理docker,则可以安装一些docker客户端,来跟远程docker通信。当然上述的Testcontainers 相当于客户端的一种。

不同操作系统的客户端程序安装方式见: https://gist.github.com/kekru/4e6d49b4290a4eebc7b597c07eaf61f2

参考资料

https://www.testcontainers.org/

https://gist.github.com/styblope/dc55e0ad2a9848f2cc3307d4819d819f

https://github.com/Playtika/testcontainers-spring-boot

https://gist.github.com/kekru/4e6d49b4290a4eebc7b597c07eaf61f2

欢迎关注我的个人公众号"西北偏北UP",记录代码人生,行业思考,科技评论

使用远程Docker进行集成测试的更多相关文章

  1. Docker-通过docker-maven-plugin插件实现docker镜像构建并自动发布到远程docker服务器

    我们知道,docker能实现应用打包隔离,实现快速部署和迁移.如果我们开发应用使用了spring cloud + spring boot架构,那么,通过docker-maven-plugin实现快速构 ...

  2. 使用Maven插件快捷打包发布远程Docker镜像 dockerfile-maven-plugin

    1.开放远程Docker远程访问端口 # vim /lib/systemd/system/docker.service ExecStart=/usr/bin/dockerd -H tcp://0.0. ...

  3. 一键部署 Spring Boot 到远程 Docker 容器,就是这么秀!

    不知道各位小伙伴在生产环境都是怎么部署 Spring Boot 的,打成 jar 直接一键运行?打成 war 扔到 Tomcat 容器中运行?不过据松哥了解,容器化部署应该是目前的主流方案. 不同于传 ...

  4. 服务器搭建远程docker深度学习环境

    服务器搭建远程docker深度学习环境 本文大部分内容参考知乎文章 Docker+PyCharm快速搭建机器学习开发环境 搭建过程中出现ssh连接问题可以查看最后的注意事项 Docker Docker ...

  5. 连接远程docker内的mysql(navicat)

    拉取mysql镜像 docker pull mysql:5.6 查看mysql镜像 docker images | grep mysql 启动mysql容器 docker run -p 3306:33 ...

  6. 3.docker machine 连接 aliyun 远程docker 服务器

    1.在aliyun ecs 创建docker 服务器 docker-machine create -d aliyunecs machine-aliyunecs 2.远程连接 docker 获取客户端 ...

  7. PyCharm配置远程Docker环境

    1. docker 配置 使用-p参数暴露一个端口用于ssh连接. docker run -itd --name wangchao_paddle --gpus all -p 8899:8888 -p ...

  8. 深入浅出Docker(四):Docker的集成测试部署之道

    1. 背景 敏捷开发已经流行了很长时间,如今有越来越多的企业开始践行敏捷开发所提倡的以人为中心.迭代.循序渐进的开发理念.在这样的场景下引入Docker技术,首要目的就是使用Docker提供的虚拟化方 ...

  9. win10 idea springboot上传镜像到远程docker服务器

    1. 开启2375端口,供外部访问docker vim /usr/lib/systemd/system/docker.service 修改ExecStart为下面一行内容 #ExecStart=/us ...

随机推荐

  1. [DB] Zookeeper

    介绍 相当于"数据库",类似linux.hdfs的属性文件结构 分布式协调框架,实现HA(High Availability) 分布式锁管理框架 保证数据在zookeeper集群之 ...

  2. [Java] Spring 使用

    背景 JavaEE 应用框架 基于IOC和AOP的结构J2EE系统的框架 IOC(反转控制):即创建对象由以前的程序员自己new 构造方法来调用,变成了交由Spring创建对象,是Spring的基础 ...

  3. 在Linux中通过Top运行进程查找最高内存和CPU使用率

    按内存使用情况查找前15个进程,在批处理模式下为"top" 使用top命令查看有关当前状态,系统使用情况的更详细信息:正常运行时间,负载平均值和进程总数. 分类:Linux命令操作 ...

  4. 1.4 重置root用户密码

    图1-45  系统的欢迎界面 1.4 重置root用户密码 平日里让运维人员头疼的事情已经很多了,因此偶尔把Linux系统的密码忘记了并不用慌,只需简单几步就可以完成密码的重置工作.但是,如果您是第一 ...

  5. Linux 如何查看系统负载

    Linux 如何查看系统负载 310 博客 /  Linux/ 4个月前/  534 /  0   操作系统的负载状态,反映了应用程序的资源使用情况,从中能找出应用程序优化的瓶颈所在. 系统平均负载, ...

  6. HTML html5 语义化标签

    什么是语义化标签 语义化标签就是具有某种含义及结构的标签,让其更容易理解和使用. HTML5 新增了一些语义化标签,如下: article article 标签装载显示一个独立的文章内容.例如一篇完整 ...

  7. 8.12-14 df 、mkswap、swapon、swapoff、sync

    8.12 df:报告文件系统磁盘空间的使用情况   -a    显示所有文件系统 -h    以容易理解的格式显示磁盘的使用情况端 -i    显示文件系统的inode信息迷 -t    显示指定类型 ...

  8. wxPython开发之密码管理程序

    不想记密码?密码全设置成一样担心安全?用别人程序担心密码泄露?看完本博客,开发一个属于自己的密码管理程序吧 我们用到的是python的wxPython界面库包 先来看下成果界面:简洁主题明确  要想开 ...

  9. unity 2017 卡在 loading界面

    看了网上很多方法,都不奏效. 提供一个简单的方法,不妨一试! 打开其他版本unity,登陆你的账户,再打开unity2017即可!

  10. lms框架应用服务接口和服务条目详解

    目录 应用接口的定义 服务路由特性 服务条目 根据服务条目生成webAPI 服务条目的治理特性 缓存拦截 服务条目的例子 应用接口的实现 开源地址与文档 应用接口的定义 服务应用接口是微服务定义web ...