Docker Swarm从部署到基本操作

关于Docker Swarm

Docker Swarm由两部分组成：

Docker集群：将一个或多个Docker节点组织起来，用户就能以集群的方式进行管理；
应用编排：有一套API用来部署和管理容器；

官方资料：https://docs.docker.com/swarm/

网络图

下图是个典型的Docker Swarm集群部署图，来自Docker官网：

接下来照着上图来搭建一个Docker Swarm集群。

准备工作

本次实战一共用到了5台机器，配置信息全部相同，如下：

操作系统：CentOS Linux release 7.6.1810
Docker服务版本：1.13.1
防火墙都已经关闭；

机器的信息如下表所示：

IP地址	主机名	身份
192.168.121.142	m0	管理节点
192.168.121.139	m1	管理节点
192.168.121.140	m2	管理节点
192.168.121.141	w0	工作节点
192.168.121.138	w1	工作节点

为什么要三个管理节点？

从官方图可见，管理节点集群之间的内部管理协调使用了Raft共识算法，这样就保证了管理节点高可用（HA），一般情况下会参考以下两个原则：

部署奇数个管理节点，这样有利于减少脑裂；
不要部署太多管理节点，因为越多管理节点意味着需要花费跟多时间来达成共识；

部署集群步骤简介

接下来的整个部署过程分为以下几步：

初始化第一个管理节点（m0）；
加入新的管理节点（m1、m2）；
加入工作节点（w0、w1）；

接下来正式开始吧；

初始化第一个管理节点（m0）

m0节点的IP地址是192.168.121.142，因此在m0节点执行以下命令：

docker swarm init \

--advertise-addr 192.168.121.142:2377

--listen-addr 192.168.121.142:2377

关于advertise-addr和listen-addr这两个参数，前者用来指定其他节点连接m0时的地址，后者指定承载swarm流量的IP和端口，它们更详细和深入的区别可以参考文章：https://boxboat.com/2016/08/17/whats-docker-swarm-advertise-addr/

2. 控制台返回信息如下，表明Swarm集群初始化成功：

Swarm initialized: current node (7585zt09o2sat82maef0ocf42) is now a manager.

To add a worker to this swarm, run the following command:

    docker swarm join \

    --token SWMTKN-1-5huefb5501cv7p8i2op1am2oevasoqu4te8vpvapndkudvszb4-e8l6755jstd7urpdo5smyi8fv \

    192.168.121.142:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.

列出当前Swarm集群的所有节点，可以看到唯一的节点m0的状态和身份：

[root@m0 ~]# docker node ls

ID                           HOSTNAME  STATUS  AVAILABILITY  MANAGER STATUS

7585zt09o2sat82maef0ocf42 *  m0        Ready   Active        Leader

现在集群已经建立起来了，接下来我们需要加入更多的管理节点和工作节点；

如何加入新的节点？

Docker Swarm的新节点加入策略是从管理节点获取一长串命令，被称为join token，任何想加入集群的机器只要自己执行这个join token即可加入Swarm集群；
如果有新的管理节点需要加入，在m0执行命令docker swarm join-token manager即可得到管理节点的join token，如下所示：

[root@m0 ~]# docker swarm join-token manager

To add a manager to this swarm, run the following command:

    docker swarm join \

    --token SWMTKN-1-5huefb5501cv7p8i2op1am2oevasoqu4te8vpvapndkudvszb4-5tz9d4w7nwzu8r4ozd0ff2aiu \

    192.168.121.142:2377

如果有新的工作节点需要加入，在m0执行命令docker swarm join-token worker即可得到工作节点的join token，如下所示：

[root@m0 ~]# docker swarm join-token worker

To add a worker to this swarm, run the following command:

    docker swarm join \

    --token SWMTKN-1-5huefb5501cv7p8i2op1am2oevasoqu4te8vpvapndkudvszb4-e8l6755jstd7urpdo5smyi8fv \

    192.168.121.142:2377

两种join token都准备好了，接下来开始加入新节点。

加入管理节点m1、m2

在m1上执行前面取得的管理节点join token：

[root@m1 ~]# docker swarm join \

>     --token SWMTKN-1-5huefb5501cv7p8i2op1am2oevasoqu4te8vpvapndkudvszb4-5tz9d4w7nwzu8r4ozd0ff2aiu \

>     192.168.121.142:2377

This node joined a swarm as a manager.

在m2上做同样的操作；
在m0、m1、m2其中的任意一台上执行命令docker node ls查看Swarm集群的现状，如下图，可见三个管理节点都是正常状态，ID字段带有星号后缀表示当前执行命令的机器是m1：

[root@m1 ~]# docker node ls

ID                           HOSTNAME  STATUS  AVAILABILITY  MANAGER STATUS

0isfyre69mdu1hm11esf1q3dk    m2        Ready   Active        Reachable

7585zt09o2sat82maef0ocf42    m0        Ready   Active        Leader

slc0hjbs7jh2hdi8ai3wohy23 *  m1        Ready   Active        Reachable

加入工作节点w0、w1

在w0上执行前面取得的工作节点的join token：

[root@w0 ~]# docker swarm join \

>     --token SWMTKN-1-5huefb5501cv7p8i2op1am2oevasoqu4te8vpvapndkudvszb4-e8l6755jstd7urpdo5smyi8fv \

>     192.168.121.142:2377

This node joined a swarm as a worker.

在w1上做同样的操作；
在m0、m1、m2其中的任意一台上执行命令docker node ls查看Swarm集群的现状，可见工作节点已经全部就绪：

[root@m0 ~]# docker node ls

ID                           HOSTNAME  STATUS  AVAILABILITY  MANAGER STATUS

0isfyre69mdu1hm11esf1q3dk    m2        Ready   Active        Reachable

7585zt09o2sat82maef0ocf42 *  m0        Ready   Active        Leader

i71bcxt1auc804syybroajtan    w1        Ready   Active

slc0hjbs7jh2hdi8ai3wohy23    m1        Ready   Active        Reachable

wqcwcccva3d3mxgi5p423d4fv    w0        Ready   Active

至此，Swarm集群环境搭建完毕，接下来可以验证了。

验证Swarm集群环境

创建名为tomcat-net的覆盖网络(Overlay Netowork)，这是个二层网络，处于该网络下的docker容器，即使宿主机不一样，也能相互访问：

docker network create -d overlay tomcat-net

创建名为tomcat的服务，使用了刚才创建的覆盖网络：

docker service create --name tomcat \

--network tomcat-net \

-p 8080:8080 \

--replicas 3 \

tomcat:7.0.96-jdk8-openjdk

执行命令docker service ls查看当前所有服务：

[root@m0 ~]# docker service ls

ID            NAME    MODE        REPLICAS  IMAGE

kguawc4b5th4  tomcat  replicated  3/3       tomcat:7.0.96-jdk8-openjdk

执行命令docker service ps tomcat查看名为tomcat的服务，可见三个容器分别部署在m0、m2、w1机器上：

[root@m0 ~]# docker service ps tomcat

ID            NAME      IMAGE                       NODE  DESIRED STATE  CURRENT STATE           ERROR  PORTS

n1gs9f1plce2  tomcat.1  tomcat:7.0.96-jdk8-openjdk  w1    Running        Running 19 minutes ago

q8jyg088ci21  tomcat.2  tomcat:7.0.96-jdk8-openjdk  m2    Running        Running 19 minutes ago

h9ww33dpw56m  tomcat.3  tomcat:7.0.96-jdk8-openjdk  m0    Running        Running 19 minutes ago

执行命令docker service inspect --pretty tomcat查看名为tomcat的服务的详细信息(去掉--pretty可以看到更完整的)：

[root@m0 ~]# docker service inspect --pretty tomcat

ID:		kguawc4b5th4qlwlsv183qtai

Name:		tomcat

Service Mode:	Replicated

 Replicas:	3

Placement:

UpdateConfig:

 Parallelism:	1

 On failure:	pause

 Max failure ratio: 0

ContainerSpec:

 Image:		tomcat:7.0.96-jdk8-openjdk@sha256:91eadffb59d9a35ada2d39fcd616a749ac580aa5e834499b7128f27be2e46623

Resources:

Networks: tomcat-net

Endpoint Mode:	vip

Ports:

 PublishedPort 8080

  Protocol = tcp

  TargetPort = 8080

打开浏览器，尝试访问m0、m1、m2、w0、w1这个五个机器的8080端口，都可以成功访问tomcat首页：

服务模式

服务模式一共有两种：Ingress和Host，如果不指定，则默认的是Ingress；
Ingress模式下，到达Swarm任何节点的8080端口的流量，都会映射到任何服务副本的内部80端口，就算该节点上没有tomcat服务副本也会映射；
Host模式下，仅在运行有容器副本的机器上开放端口，使用Host模式的命令如下：

docker service create --name tomcat \

--network tomcat-net \

--publish published=8080,target=8080,mode=host \

--replicas 3 \

tomcat:7.0.96-jdk8-openjdk

服务扩缩容

执行命令docker service scale tomcat=5将副本数从3调整为5：

[root@m0 ~]# docker service scale tomcat=5

tomcat scaled to 5

执行命令docker service ps tomcat查看名为tomcat的服务，可见每台机器上都分布了一个容器：

[root@m0 ~]# docker service ps tomcat

ID            NAME      IMAGE                       NODE  DESIRED STATE  CURRENT STATE               ERROR  PORTS

w32tjahze2fk  tomcat.1  tomcat:7.0.96-jdk8-openjdk  m2    Running        Running 42 minutes ago

yj5czwwhrrsh  tomcat.2  tomcat:7.0.96-jdk8-openjdk  m0    Running        Running 42 minutes ago

pq40995nbd0k  tomcat.3  tomcat:7.0.96-jdk8-openjdk  w1    Running        Running 42 minutes ago

y1y6z1jczel1  tomcat.4  tomcat:7.0.96-jdk8-openjdk  m1    Running        Running about a minute ago

w0dcii8f79os  tomcat.5  tomcat:7.0.96-jdk8-openjdk  w0    Running        Running about a minute ago

滚动升级

当前tomcat服务中，tomcat镜像的tag是7.0.96-jdk8-openjdk，我们来尝试升级到9.0.24-jdk11-openjdk，执行以下命令：

docker service update \

--image tomcat:9.0.24-jdk11-openjdk \

--update-parallelism 1 \

--update-delay 10s tomcat

上述命令有几处需要注意：

a. update-parallelism：每次更新的容器数量，这里设置为1，表示每一个容器升级成功后才去升级下一个；

b. update-delay：每一批升级成功后，升级下一批之前的等待时间，这里表示升级一个容器后等10秒再升级下一个；

2. 在升级过程中执行命令docker service ps tomcat查看服务，可以看到新版本容器逐个启动的过程：

[root@m0 ~]# docker service ps tomcat

ID            NAME          IMAGE                        NODE  DESIRED STATE  CURRENT STATE                ERROR  PORTS

w32tjahze2fk  tomcat.1      tomcat:7.0.96-jdk8-openjdk   m2    Running        Running 56 minutes ago

yj5czwwhrrsh  tomcat.2      tomcat:7.0.96-jdk8-openjdk   m0    Running        Running 56 minutes ago

semuna9awsn7  tomcat.3      tomcat:9.0.24-jdk11-openjdk  w1    Running        Running 15 seconds ago

pq40995nbd0k   \_ tomcat.3  tomcat:7.0.96-jdk8-openjdk   w1    Shutdown       Shutdown about a minute ago

y1y6z1jczel1  tomcat.4      tomcat:7.0.96-jdk8-openjdk   m1    Running        Running 15 minutes ago

oot3yex74v4t  tomcat.5      tomcat:9.0.24-jdk11-openjdk  w0    Running        Preparing 5 seconds ago

w0dcii8f79os   \_ tomcat.5  tomcat:7.0.96-jdk8-openjdk   w0    Shutdown       Shutdown 3 seconds ago

升级完成后，用浏览器访问服务，可见tomcat版本已经升级：

删除服务

执行命令docker service rm tomcat即可删除服务：

[root@m0 ~]# docker service rm tomcat

tomcat

[root@m0 ~]# docker service ls

ID  NAME  MODE  REPLICAS  IMAGE

至此，Docker Swarm从部署到基本操都已经体验过一次了，希望您在搭建环境的时候，本文能给您一些参考。