Docker入门与进阶(下)

Docker入门与进阶(下)

作者	刘畅
时间	2020-11-12

实验主机配置

系统centos7.5

主机名	ip	配置	应用
harbor-master	172.16.1.71	2核4G/60G	docker、docker-compose、harbor、Grafana、 Prometheus、cAdvisor
harbor-backup	172.16.1.72	2核4G/60G	docker、docker-compose、harbor
docker-client	172.16.1.73	2核4G/60G	docker、docker-compose、cAdvisor、portainer

本文不赘述docker的安装。

目录

1 企业级镜像仓库Harbor 1

1.1
Harbor
概述 1

1.2
Harbor
HTTP搭建与使用 1

1.3
Harbor
HTTPS搭建与使用 3

1.4
Harbor主从复制 6

1.5
Harbor
基本使用 9

1.6
Harbor运维维护 9

2 单机编排利器Docker Compose 9

2.1
Compose是什么 9

2.2
Linux安装Compose 10

2.3
Compose常用选项与命令 10

2.4
docker-compose.yml编排 10

2.5
一键部署LNMP网站平台 11

2.6
一键部署Nginx反向代理Tomcat集群 14

2.7
小结 17

3 Prometheus+Grafana监控Docker主机 17

3.1
监控系统概述 17

3.2
监控系统部署 17

3.3
Grafana展示 19

3.4
监控多Docker主机 20

4 补充 21

4.1
docker图形化界面 21

4.2
grafana图标不出数据的原因 24

1 企业级镜像仓库Harbor

1.1
Harbor 概述

1 Harbor是由VMWare公司开源的容器镜像仓库。事实上，Harbor是在Docker Registry上进行了相应的企业级扩展，从而获得了更加广泛的应用，这些新的企业级特性包括：管理用户界面，基于角色的访问控制，AD/LDAP集成以及审计日志等，足以满足基本企业需求。

官方：https://goharbor.io/

Github：https://github.com/goharbor/harbor

2 Harbor 部署先决条件

(1)
服务器硬件配置

1) 最低要求：CPU2核/内存4G/硬盘40GB

2) 推荐：CPU4核/内存8G/硬盘160GB

(2)
软件

1) Docker CE 17.06版本+

2) Docker Compose 1.18版本+

(3) Harbor安装有2种方式

1) 在线安装：从Docker Hub下载Harbor相关镜像，因此安装软件包非常小。

2) 离线安装：安装包包含部署的相关镜像，因此安装包比较大，本文采用离线方式安装harbor。

下载docker compose地址

https://github.com/docker/compose/releases/download/1.27.4/docker-compose-Linux-x86_64

下载docker harbor离线包地址

https://github.com/goharbor/harbor/releases/download/v2.1.1/harbor-offline-installer-v2.1.1.tgz

1.2
Harbor HTTP搭建与使用

在172.16.1.71节点上操作

1 先安装Docker
Compose

# mv docker-compose-Linux-x86_64
/usr/bin/docker-compose

# chmod +x /usr/bin/docker-compose

2 部署Harbor
HTTP

# tar -xzf
harbor-offline-installer-v2.1.1.tgz

# cd harbor/

# cp -a harbor.yml.tmpl harbor.yml

# vim harbor.yml

hostname: reg.lc.com

# 先注释https相关配置

https:

harbor_admin_password: Harbor12345

# ./prepare

# ./install.sh

# docker-compose ps

3 通过浏览器访问

(1) 修改windows的C:\Windows\System32\drivers\etc\hosts文件添加如下内容

172.16.1.71 reg.lc.com

(2) 在浏览器中输入http://reg.lc.com 进行访问，用户：admin 密码：Harbor12345

4 通过linux主机访问

在172.16.1.73节点上操作

(1) 修改/etc/hosts文件解析

# vim /etc/hosts

172.16.1.71 reg.lc.com

(2) 登录

# docker login reg.lc.com

错误原因：docker
harbor默认使用https方式登录，现在配的docker harbor连接方式为http，所以需要在docker中配置信任该http域名，解决方法如下。

# vim /etc/docker/daemon.json

{

"registry-mirrors":
["https://b1cx9cn7.mirror.aliyuncs.com"],

"insecure-registries":["reg.lc.com"]

}

# systemctl daemon-reload

# systemctl restart docker

# docker login reg.lc.com

1.3
Harbor HTTPS搭建与使用

在172.16.1.71节点上操作，在"2 部署Harbor
HTTP"基础上更新配置

1 使用cfssl工具生成域名为reg.lc.com的自签名服务证书

(1) 下载cfssl工具

# cat cfssl.sh

wget
https://pkg.cfssl.org/R1.2/cfssl_linux-amd64

wget
https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64

wget
https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64

chmod +x cfssl*

mv cfssl_linux-amd64 /usr/bin/cfssl

mv cfssljson_linux-amd64
/usr/bin/cfssljson

mv cfssl-certinfo_linux-amd64
/usr/bin/cfssl-certinfo

# sh cfssl.sh

(2) 执行certs.sh脚本生成相关证书

# cat certs.sh

cat > ca-config.json <<EOF

{

"signing": {

"default": {

"expiry":
"87600h"

},

"profiles":
{

"server": {

"expiry":
"87600h",

"usages":
[

"signing",

"key
encipherment",

"server
auth",

"client
auth"

]

}

}

}

}

EOF

cat > ca-csr.json <<EOF

{

"CN": "harbor",

"key": {

"algo":
"rsa",

"size":
2048

},

"names": [

{

"C":
"CN",

"L":
"Beijing",

"ST":
"Beijing"

}

]

}

EOF

cfssl gencert -initca ca-csr.json | cfssljson -bare ca
-

cat > reg.lc.com-csr.json <<EOF

{

"CN": "reg.lc.com",

"hosts": [],

"key": {

"algo":
"rsa",

"size": 2048

},

"names": [

{

"C":
"CN",

"L":
"BeiJing",

"ST":
"BeiJing"

}

]

}

EOF

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem
-config=ca-config.json -profile=server reg.lc.com-csr.json
| cfssljson -bare reg.lc.com

# sh certs.sh

生成的证书中reg.lc.com-key.pem和reg.lc.com.pem是我所需要的

# mkdir -p /data/ssl

# cp -a reg.lc.com.pem reg.lc.com-key.pem
/data/ssl/

2 Harbor启用HTTPS

# cd harbor/

# cp -a harbor.yml.tmpl harbor.yml

# vim harbor.yml

hostname: reg.lc.com

https:

# https port for harbor, default is
443

port: 443

# The path of cert and key files for
nginx

certificate:
/data/ssl/reg.lc.com.pem

private_key:
/data/ssl/reg.lc.com-key.pem

harbor_admin_password: Harbor12345

3 重新配置并部署Harbor

# docker-compose down

down: 停止并删除容器，网络

harbor容器数据持久化目录为/data，日志持久化目录为/var/log/harbor，

删除harbor容器不会删除harbor中的数据。

# ./prepare

# docker-compose
up -d

up：创建和启动容器

-d：将容器放到后台运行

4浏览器访问查看自签证书信息

5 linux主机登录docker harbor

在172.16.1.73节点上操作

# docker login reg.lc.com

解决办法：

# mkdir /etc/docker/certs.d/reg.lc.com
-p

# scp -rp root@172.16.1.71:/data/ssl/reg.lc.com.pem
/etc/docker/certs.d/reg.lc.com/reg.lc.com.crt

提示：

出现上面报错的原因为证书为自签证书，如果是正规机构颁发的证书不会出现如上错误。

1.4
Harbor主从复制

1 harbor主从复制架构

2、在172.16.1.72节点上部署从harbor

# mv docker-compose-Linux-x86_64
/usr/bin/docker-compose

# chmod +x /usr/bin/docker-compose

# tar -xzf
harbor-offline-installer-v2.1.1.tgz

# cd harbor/

# cp -a harbor.yml.tmpl harbor.yml

# vim harbor.yml

hostname: 172.16.1.72

# 注释掉https证书相关的内容

#https:

# https port for harbor, default is
443

#  port: 443

# The path of cert and key files for
nginx

#  certificate:
/your/certificate/path

#  private_key:
/your/private/key/path

harbor_admin_password: Harbor12345

# ./prepare

# ./install.sh

3、在172.16.1.71节点上创建主从复制

(1)
系统管理—>仓库管理—>新建目标

(2)
系统管理—>仓库管理—>新建规则

(3)
测试

1) 当在172.16.1.71主节点上提交镜像后，172.16.1.72从节点会被同步到镜像。

2) harbor镜像同步只会同步镜像。

3) 比如一个项目和镜像只在主节点上存在，当启动复制规则后，会把项目名和镜像同步到

从节点，项目下的用户不会被同步，当主节点删除该项目，从节点的镜像会被删除，但项

目名会被保留。

1.5
Harbor 基本使用

以library项目为例

1 在项目中标记镜像

docker tag SOURCE_IMAGE[:TAG]
reg.lc.com/library/REPOSITORY[:TAG]

2 推送镜像到当前项目

docker push
reg.lc.com/library/REPOSITORY[:TAG]

1.6
Harbor运维维护

1 harbor相关容器及服务

容器	功能
harbor-core	配置管理中心
harbor-db PG	数据库
harbor-jobservice	负责镜像复制
harbor-log	记录操作日志
harbor-portal Web	管理页面和API
nginx	前端代理，负责前端页面和镜像上传/下载转发
redis	会话
registryctl	镜像存储

容器数据持久化目录：/data

日志文件目录：/var/log/harbor

数据库做好定期备份。

docker-compose命令引用的配置文件默认是当前目录下的docker-compose.yml文件。

2 单机编排利器Docker
Compose

在172.16.1.73节点上操作

2.1
Compose是什么

1 Compose是用于定义和运行多容器的工具。

2 通过Compose可以使用YAML文件来配置容器。然后，使用一个命令就可以从配置中创建并

启动所有服务。

3 使用Compose大致为三步

(1)
定义Dockerfile，以便可以在任意环境运行

(2)
定义应用程序启动配置文件docker-compose.yml

(3)
docker-compose启动并管理整个应用程序生命周期

4 官方文档

https://docs.docker.com/compose/

2.2
Linux安装Compose

1 下载二进制文件

curl -L
https://github.com/docker/compose/releases/download/1.27.4/docker-compose-Linux-x86_64
-o /usr/bin/docker-compose

2 添加可执行权限：

chmod +x /usr/bin/docker-compose

2.3
Compose常用选项与命令

1 常用选项

(1)
-f，--file
指定yaml文件，默认docker-compose.yml

1) Docker-compose读取文件的目录是根据指定"-f docker-compose.yml"所在的目录确定的。

2) 如果编写的文件名就是docker-compose.yml，docker-compose命令操作时可以不指定。

(2) -p，--project-name 指定项目名称，默认是当前目录

2 命令

build	重新构建服务
ps	列出所有容器(包括在线或不在线的)
up	创建和启动容器
exec	在容器里执行命令
scale	指定一个服务容器启动数量
down	删除容器、网络、数据卷和镜像
stop/start/restart	停止/启动/重启服务

2.4
docker-compose.yml编排

1 示例

https://docs.docker.com/compose/compose-file/

2 常用yml参数

2.5
一键部署LNMP网站平台

1 环境设置

[root@docker-client ~]# cd
/root/compose_lnmp/

[root@docker-client compose_lnmp]# tree -L
2

# docker-compose配置文件内容

2 构建镜像

[root@docker-client compose_lnmp]# docker-compose
build

3 创建容器并在后台运行

[root@docker-client compose_lnmp]# docker-compose up
-d

4 查看服务

[root@docker-client compose_lnmp]# docker-compose
ps

5 访问wordpress网站

http://172.16.1.73/wordpress/

因为所有的docker服务都在同一个docker网络中，在不暴露docker服务端口的情况下

可以通过docker容器的名称访问到docker容器内部服务的端口号。

2.6
一键部署Nginx反向代理Tomcat集群

1 环境设置

[root@docker-client ~]# cd
compose_lnmt/

[root@docker-client compose_lnmt]# tree -L
2

# docker-compose.yml文件内容

2 构建镜像

[root@docker-client compose_lnmt]# docker-compose
build

3 创建容器并在后台运行

[root@docker-client compose_lnmt]# docker-compose up
-d

4 查看服务

[root@docker-client compose_lnmt]# docker-compose
ps

5 访问网站

http://172.16.1.73/

6 查看docker网络信息

2.7
小结

以上通过docker-compose安装的lnmp、lnmt服务，执行docker-compose
down命令后不会删除挂

载卷中存储的数据，执行docker-compose up
-d命令即可在保留原来数据的情况下将容器服务拉起。

3 Prometheus+Grafana监控Docker主机

3.1
监控系统概述

1 cAdvisor(Container Advisor)

用于收集正在运行的容器资源使用和性能信息。

https://github.com/google/cadvisor

2 Prometheus(普罗米修斯)

容器监控系统。

https://prometheus.io

https://github.com/prometheus

3 Grafana

是一个开源的度量分析和可视化系统。

https://grafana.com/grafana

4 数据采集顺序

3.2
监控系统部署

1 Docker部署cAdvisor

在172.16.1.71、73节点上操作

# docker run -d \

--volume=/:/rootfs:ro \

--volume=/var/run:/var/run:ro \

--volume=/sys:/sys:ro \

--volume=/var/lib/docker/:/var/lib/docker:ro
\

--volume=/dev/disk/:/dev/disk:ro \

--publish=8080:8080 \

--detach=true \

--name=cadvisor \

--restart=always \

google/cadvisor:latest

# cadvisor访问url地址

http://172.16.1.73:8080/containers/

http://172.16.1.73:8080/metrics

2 Docker部署Grafana

在172.16.1.71节点上操作

# mkdir -p /opt/grafana/

# chown -R 472.472 /opt/grafana/

# docker run -d \

--name grafana7.1.5 \

-p 3000:3000 \

-v /opt/grafana:/var/lib/grafana \

--restart=always \

grafana/grafana:7.1.5

# 数据目录/var/lib/grafana

# grafana访问url地址

http://172.16.1.71:3000

grafana初次访问的用户名和密码都是"admin"，输入初始密码后会让你修改

密码，我这里密码设置为"123456"

3 Docker部署Prometheus

在172.16.1.71节点上操作

# mkdir -p /opt/prometheus/

# 上传prometheus.yml文件到/opt/prometheus/目录，添加监控主机如下

# docker run -d \

--name prometheus \

-p 9090:9090 \

-v /opt/prometheus:/etc/prometheus \

--restart=always \

prom/prometheus

# 配置文件目录/etc/prometheus

# Prometheus访问url地址

http://172.16.1.71:9090/

3.3
Grafana展示

1 添加prometheus库

2 添加模版

https://grafana.com/dashboards

ID：193

3 会看到一个监控172.16.1.71、72上所有容器(cpu、内存、网络)的dashboard。

3.4
监控多Docker主机

1 添加选择多节点按钮

label_values(up,instance)

2 图表增加筛选条件

' ,instance="$Node" '

4 补充

4.1
docker图形化界面

在172.16.1.73节点上操作

1 说明

Docker 图形化管理提供了很多工具，有Portainer、Docker UI、Shipyard等等，本文主要介绍Portainer。Portainer是一个开源、轻量级Docker管理用户界面，基于Docker API，提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作(包括上传下载镜像，创建容器等操作)、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理和控制等功能。功能十分全面，基本能满足中小型单位对容器管理的全部需求。

官方网站：https://portainer.io/

官方文档：https://portainer.readthedocs.io/

演示网址：http://demo.portainer.io
账号admin 密码
tryportainer

2 安装

# docker run -d \

--name portainerUI \

-p 9000:9000 \

-v /var/run/docker.sock:/var/run/docker.sock
\

-v /opt/portainer_data:/data \

portainer/portainer

# 数据目录/data

# 访问portainer

http://172.16.1.73:9000/

3 设置一个密码即可，点击创建用户

4 我们搭建的是单机版，直接选择Local ，点击连接

5 现在就可以使用了，点击Local进入仪表盘主页面

6 容器页面

7 portainer
管理远程docker主机

(1)
在172.16.1.72节点上开启DockerAPI

# vim
/usr/lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H
unix:///var/run/docker.sock

# systemctl daemon-reload

# systemctl restart docker

# netstat -tulp | grep docker

tcp6       0      0 [::]:2375               [::]:*                  LISTEN      2132/dockerd

(2)
添加远程docker主机

(3)
添加成功

4.2
grafana图标不出数据的原因

1 时间没有同步

2 promql有问题，可能是版本不兼容

3 prometheus里没有数据