Gitlab+Gitlab-CI+Docker实现持续集成(CI)与持续部署(CD)

写在前面

记录一下，一个自动化开发部署项目的构建过程与简单使用，实现真正的DevOps

gitlab安装

步骤一：安装依赖

yum -y install git gcc glibc-static telnet

yum -y install curl policycoreutils-python openssh-server

systemctl enable sshd

systemctl start sshd

yum -y install postfix

ystemctl enable postfix

systemctl start postfix

步骤二：设置镜像源

设置清华镜像源

vim /etc/yum.repos.d/gitlab-ce.repo

[gitlab-ce]

name=Gitlab CE Repository

baseurl=https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el$releasever/

gpgcheck=0

enabled=1

步骤三：yum正式安装

yum -y install gitlab-ce

步骤四：修改配置文件

vim /etc/gitlab/gitlab.rb

重新加载配置文件进行启动

gitlab-ctl reconfigure

gitlab-ctl restart

gitlab-ctl status

Gitlab -CI 服务器的安装【这台服务器中安装好docker】

步骤一：下载配置yum repository信息：

curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-ci-multi-runner/script.rpm.sh | sudo bash

步骤二：安装gitlab-ci-multi-runner

yum install -y gitlab-ci-multi-runner

步骤三：安装完毕，就可以进行状态定位查看：

gitlab-ci-multi-runner status

/etc/hosts

192.168.1.113 gitlab.csylh.cn

步骤四=======补充：由于我们的CI服务器，即Gitlab-runner 需要执行docker的命令，因此需要将gitlab-runner这个用户进行授权等操作

保证gitlab-CI服务器上面有安装Docker服务

操作：将gitlab-runner用户添加到root或者docker组中去

usermod -aG root gitlab-runner

重启docker服务

service docker restart

systemctl restart docker.service

重启runner的service

gitlab-ci-multi-runner restart

这样一来，就可以在runner中去使用docker的命令了

步骤五：注册

[把runner注册到gitlab的服务器中去]，让gitlab服务器知道我们有这个runner

命令：gitlab-ci-multi-runner register

依次

输入gitlab服务器的地址： http://gitlab.csylh.cn

ps:这里的url地址需要注意：假如不和gitlab服务器在一台上，需要将url的映射地址添加在/etc/hosts

输入token：某一个具体项目中》details>settings》ci/cd>runners：找到token码

输入runner的描述：默认或自定义

输入tags: 比如：test,demo

回车

回车

这个时候，就是会看见succeeded

接下来，需要进行选择runner执行操作的方式

比如：shell

命令：gitlab-ci-multi-runner list 查看

或：回到页面，查看刚才的token位置 ，会多一个绿色的runner

如何去使用刚为HelloWorld项目注册的runner呢？？

在HelloWorld》CI/CD》pipelines

通过.gitlab-ci.yml的文件去定义CI的pipelines

接下来，为HelloWorld项目增加这个文件：

# .gitlab-ci.yml定义阶段
stages：
	- build
	- test
	- deploy
job1:
	stage: test
	tags:
		- demo
	script:
		- echo "I am job1"
		- echo "I am test stage"
job2:
	stage: build
	tags:
		- demo
	script:
		- echo "I am job2"
		- echo "I am build stage"
#部署阶段
job3:
	stage: deploy
	tags:
		- demo
	script:
		- echo "I am job3"
		- echo "I am deploy stage"

案例二：基于真实项目的CI操作

https://github.com/imooc-course/docker-cloud-flask-demo

步骤一：new project > import project > repo by url

步骤二：这个时候项目就在自己搭建gitlab服务器上了

可以把项目git clone的方式拷贝到gitlab-ci服务器上面来

步骤三：使用DockerFile文件进行构建镜像

docker build -t flask-demo .

docker build -t [镜像名] dockerfile的位置

生成了一个叫做flask-demo的image

步骤四：根据生成的镜像启动一个容器

docker run -d -p 5000:5000 flask-demo

docker run -d -p 5000:5000 [镜像名]

打开浏览器，就可以访问网站了

步骤五：

我们需要持续集成CI这一步骤，来完成单元测试和检测代码风格

我们在本地gitlab-ci服务器上面使用tox进行单元测试和代码风格的校验

tox应该是pyhton的一个第三方校验的工具

ps：使用docker的一个好处就是，不会让你的物理机环境变得脏乱

假如在gitlab-ci服务器上面使用docekr容器进行构建项目的话，

首要问题就是，你注册的runner的gitlab服务器的URL,

容器中是不能找到的

DNS服务的配置

【新机器】docker-mertion创建docker-host

启动一个dnsmasq ，其实就是一个DNS服务

Gitlab CI DNS Server

配置一个DNS的服务器，能够让其他的容器解析到gitlab的URL地址

步骤一：

将gitlab-ci 服务器上面的192.168.1.112 gitlab.csylh.cn 映射关系移除

保证，这个时候ping 不通gitlab.csylh.cn

步骤二：启动DNS服务器

找一台新的linux 主机，可以使用vagrant或docker-machine创建一台

在新的linux主机上，创建一个dnsmasq的容器

docker run -d -p 53:53/udp -p 53:53/tcp --cap-add=NET_ADMIN --name dns-server andyshinn/dnsmasq

步骤三：配置DNS服务

进入容器：

docker exec -it dns-server bash

docker exec -it dns-server /bin/sh

3.1配置上行的dns服务地址

vim /etc/resolv.dnsmasq

添加：

nameserver 114.114.114.114

nameserver 8.8.8.8

3.2添加本地解析规则

vim /etc/dnsmasqhosts

添加：

192.168.1.112 gitlab.csylh.cn

192.168.1.112是本地gitlab服务器的地址

3.3修改dnsmasq的默认配置文件，指定上述文件

vim /etc/dnsmasq.conf 修改如下配置

resolv-file=/etc/resolv.dnsmasq

addn-hosts=/etc/dnsmasqhosts

步骤四：

回到物理机：

重启docker服务

docker restart dns-server

步骤五： 回到gitlab-ci 这台机器上来

5.1： 指定dns的server 为刚才配置的这台机器的ip

vim /etc/resolv.conf

nameserver 192.168.1.113

5.2 ：使用ping gitlab.csylh.cn是可以通的

5.3： 使用gitlab-ci服务器创建的容器中 也是可以ping通gitlab.csylh.cn

添加docker类型的runner

1.在gitlab-ci服务器中注册python2.7版本的

命令：gitlab-ci-multi-runner register

输入gitlab服务器的地址：

输入token：某一个具体项目中》details

输入runner的描述：默认或自定义

输入tags:python2.7

回车

回车

选择runner执行操作：docker

输入默认的python镜像：python2.7

2.在gitlab-ci服务器中注册python3.4版本的

命令：gitlab-ci-multi-runner register

输入gitlab服务器的地址：

输入token：某一个具体项目中》details

输入runner的描述：默认或自定义

输入tags:python3.4

回车

回车

选择runner执行操作：docker

输入默认的python镜像：python3.4

3.通过gitlab-ci-multi-runner verify 查看这个时候正在运行的runner

或：回到页面，查看刚才的token位置

会发现有多个了

4.可以提前拉取容器中需要使用到的image

以便于CI服务器中的pipelines再跑的时候，不至于去找自己所需要的镜像

5.正式使用刚才注册的runner

做style

做test

stages:
	- style
	- test
pep8:
	stage: style
	script:
		- pip install tox
		- tox -e pep8
	tags:
		- python2.7
unittest-py27:
	stage:test
	script:
		- pip install tox
		- tox -e py27
	tags:
		- python2.7
unittest-py34:
	stage:test
	script:
		- pip install tox
		- tox -e py34
	tags:
		- python3.4

提交之后：就是会触发CI操作

重点：吧唧的配置

》HelloWorld》settings>CI/CD>General pipelines settings

复制到ReadMe.md文件中去

CD的持续部署操作

目的：本地提交代码到gitlab的master分支

进行触发runner 的pipelines ，从而自动部署

其实就是在.gitlab-ci.yml 文件中去定义部署的stage

参考DockerFile

runner的类型shell docker

如下：

定义阶段

stages:
	- style
	- test
	- deploy
pep8:
	stage: style
	script:
		- pip install tox
		- tox -e pep8
	tags:
		- python2.7
unittest-py27:
	stage:test
	script:
		- pip install tox
		- tox -e py27
	tags:
		- python2.7
unittest-py34:
	stage:test
	script:
		- pip install tox
		- tox -e py34
	tags:
		- python3.4
docker-deploy:
	stage:deploy
	script:
		- docker build -t flask-demo .
		- docker run -d -p 5000:5000 flask-demo
	tags:
		- demo # demo是shell类型的runner

这个时候，在gitlab服务器上面使用或者本地提交到gitlab上

git add .

git commit -am "add cd"

git push origin master

主要是想触发gitlab-ci服务器上面的runner的pipelines

这个时候在gitlab-ci上面就会执行

docker-deploy:

stage:deploy

script:

- docker build -t flask-demo .

- docker run -d -p 5000:5000 flask-demo

tags:

- demo # demo是shell类型的runner

这一段脚本，结果就是，可以浏览器访问到网站

ps：上面的脚本中docker run -d -p 5000:5000 flask-demo

在每一次，提交，都会启动5000端口，但是这是不可能的

只能是，强制kill 掉之前的，重新启动5000端口

实现：

docker-deploy:

stage:deploy

script:

- docker build -t flask-demo .

- if [ $(docker ps -aq --filter name=web) ]; then docker rm -rf web;fi

- docker run -d -p 5000:5000 --name web flask-demo

tags:

- demo # demo是shell类型的runner

做了上面的更改之后，重新提交到master分支

git add .

git commit -am "add cd"

git push origin master

这样就可以啦。浏览器成功访问

===========================================

步骤一 ：设置受保护的分支

HelloWorld》settings>repository 》protectd Branches

更改为 NO ONE

目的：任何人都不能随意动master分支

步骤二 ：

上面的master分支被设置之后，是不能够直接提交的

所以，只能够是在开发分支等上面进行提交代码

HelloWorld》settings> General > Merge Request settings》

[√]only allow merge requests to be merged

步骤三 ： 创建分支

HelloWorld》第三个》branche>new 一个dev 分支

步骤四：

本地开发，重新拉取dev分支

git fetch

git checkout dev

做简单修改

docker-deploy:

stage:deploy

script:

- docker build -t flask-demo .

- if [ $(docker ps -aq --filter name=web) ]; then docker rm -rf web;fi

- docker run -d -p 5000:5000 --name web flask-demo

tags:

- demo # demo是shell类型的runner

only:

- master # 只有master分支变化，才做CD部署操作

git add .

git commit -am "footer edit"

push到gitlab服务器上面的dev分支

git push origin dev

来到gitlab服务器对象项目的dev分支，

右上角的，create merge request

创建一个合并请求

小节：

以上的CI/CD 都是将项目部署在gitlab-ci服务器上面的，但是真实，可不一定是这样

接下来，就是需要将CD部署在其余的机器上

再就是，基于版本发布进行CD

CI实现版本自动发布=====

简单的CI/CD功能的实现：

只要master分支一变化，就会自动构建image 自动docker run

github或gitlab上面一有新的版本发布，

docker cloud 会基于这个新的版本进行自动build 一个新的镜像image[带有版本的tag]

一种方式如下：

=搭建一个私有的Docker registry==========

找一台docker host ，运行

docker run -d -v /opt/registry:/var/lib/registry -p 5000:5000 --restart=always --name registry registry:2

======接下来， 我们需要配置DNS server

,假设这台运行registry的机器ip为 192.168.1.113

找到，上次运行dns-server 容器的机器

进入容器：

docker exec -it dns-server bash

添加一条：

vim /etc/dnsmasqhosts

192.168.1.113 registry.csylh.cn

接下来， 使用gitlab-ci去ping registry.csylh.cn是可以ping通的

，而且，之前的gitlab.csylh.cn还是可以ping 通的

===测试：push image到registry.csylh.cn机器上

因为我们这个是不安全的registry

，需要修改gitlab-ci服务器上面的/etc/docker/daemon.json文件

添加：

{ "insecure-registries":["registry.csylh.cn"] }

接着，重启这个docker server【docker-ci 服务器上】

在gitlab-ci 中：

[从dockdr hub中拉取任意一个镜像]

docker pull busybox

把这个拉取的镜像打上我们自己的标签

docker tag busybox registry.csylh.cn:5000/busybox

然后，就是可以进行push到自己的私有仓库中去了

docker push registry.csylh.cn:5000/busybox

显示成功。

===到这里，准备工作完成

重点来了，修改.gitlab-ci.yml文件

增加stage

定义阶段

stages:

- style

- test

- deploy

- release

pep8:

stage: style

script:

- pip install tox

- tox -e pep8

tags:

- python2.7

except:

- tags #不包含有tags的改变都会执行

unittest-py27:

stage:test

script:

- pip install tox

- tox -e py27

tags:

- python2.7

except:

- tags #不包含有tags的改变都会执行

unittest-py34:

stage:test

script:

- pip install tox

- tox -e py34

tags:

- python3.4

except:

- tags #不包含有tags的改变都会执行

docker-deploy:

stage:deploy

script:

- docker build -t flask-demo .

- if [ $(docker ps -aq --filter name=web) ]; then docker rm -rf web;fi

- docker run -d -p 5000:5000 --name web flask-demo

tags:

- demo # demo是shell类型的runner

only:

- master # 只有master分支变化，才做CD部署操作

docker-inage-release:

stage:release

script:

# - docker build -t 【tag的名字】/【image的名字】