Docker 核心技术之Docker Compose
Docker Compose 简介
Docker Compose是什么？
Docker Compose是一个能一次性定义和管理多个Docker容器的工具。
详细地说：
- Compose中定义和启动的每一个容器都相当于一个服务(service)
- Compose中能定义和启动多个服务，且它们之间通常具有协同关系
管理方式：
- 使用YAML文件来配置我们应用程序的服务。
- 使用单个命令（docker-compose up），就可以创建并启动配置文件中配置的所有服务。
Docker Compose 工作原理
Docker Compose安装
Docker for Mac与Docker for Windows自带docker-compose
Linux下需要单独安装：
第一步：
sudo curl -L https://github.com/docker/compose/releases/download/1.21.2/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose
第二步：
sudo chmod +x /usr/local/bin/docker-compose
终端中使用 docker-compose --version 查看安装的版本
docker-compose --version
这里示例安装版本是1.21.2，很可能您看到这里时，已经出现更新的版本，因此建议换成最新版本。查看最新版本。
其他安装方法查看
https://docs.docker.com/compose/install/#install-compose
Docker Compose CLI
利用docker-compose --help 查看
docker-compose --help
或者查看官方文档
https://docs.docker.com/compose/reference/overview/
对比后会发现：Docker Compose CLI的很多命令的功能和Docker Client CLI是相似的。最主要的区别就是前者能一次性运行管理多个容器，后者只能一次管理一个。
了解 Docker Compose File
Docker Compose File 有多个版本，基本是向后兼容的，但也有极个别配置项高版本中没有。
https://docs.docker.com/compose/compose-file/
在docker-compose.yml一开始就需要利用version关键词标明当前file使用的版本
Docker Compose File TOP配置参数概览
Docker Compose File 顶级配置项：
- version：指定Docker Compose File版本号 (很重要)
- services：定义多个服务并配置启动参数
- volumes：声明或创建在多个服务中共同使用的数据卷对象
- networks：定义在多个服务中共同使用的网络对象
- configs：声明将在本服务中要使用的一些配置文件
- secrets：声明将在本服务中要使用的一些秘钥、密码文件
- x-***：自定义配置。主要用于复用相同的配置。
更多详细配置
https://docs.docker.com/compose/compose-file/#service-configuration-reference
Docker Compose File 参考示例
Docker Compose 案例一 小型web服务项目搭建
项目结构如下
不知道镜像的版本的话，可以去 git 上找，网址如下
https://github.com/docker-library/docs
步骤：
- 搭建一个flask的小型web项目
- 根据项目环境，利用Dockerfile构建镜像
- 撰写docker-compose.yaml配置文件，启动项目
创建项目的工作目录
mkdir workspace cd workspace mkdir case1-flask-web
撰写项目代码
vi flask-web-code/app.py
代码如下
# encoding=utf-8
import time
import redis
from flask import Flask
app = Flask(__name__)
# 此处host是docker-compose.yaml配置文件中 redis服务的名称
cache = redis.Redis(host='redis', port=6379)
def get_hit_count():
'''利用redis统计访问次数'''
retries = 5
# 由于当redis重启时，可能会有短暂时间无法访问redis
# 因此循环的作用就是在这个期间重试，默认重试5次
while True:
try:
# redis的incr方法，如果hits值存在则自动+1，否则新增该键，值为1
return cache.incr("hits")
except redis.execeptions.ConnectError as exec:
if retries == 0:
raise exec
retries -= 1
time.sleep(0.5)
@app.route("/")
def main():
count = get_hit_count()
return "欢迎访问！网站已经累计访问{}次\n".format(count)
if __name__ == "__main__":
app.run(host="0.0.0.0", debug=True)
app.py
配置需求文件
vi flask-web-code/requirements.txt
配置如下
redis flask
requirements.txt
编写docker file文件
vi Dockerfile
内容如下
# flask web app v1.0 # 搭建一个基于 flask 的 web项目，实现访问量统计 # 第一步：获取一个镜像 python3.6 FROM python:3.6-alpine LABEL Description="本镜像用于启动建议的基于flask的web程序" Author="Itcast" Version="1.0" # 第二部拷贝项目代码到镜像中 ADD COPY COPY ./flask-web-code /code # 第三部:安装项目的环境依赖 flask redis WORKDIR /code RUN pip install -r requirements.txt CMD ["python", "app.py"]
构建镜像 在 Dockerfile 同级目录下输入以下命令
docker build . -t my-flask-image
查看构建的镜像
docker images
撰写 docker compose 文件
在 case1-flask-web 目录下创建 docker-compose.yaml 内容如下
version: '3.6'
services:
web:
build: .
ports:
- "5000:5000"
container_name: flask_web
networks:
- web
redis:
image: redis
volumes:
- redis-data:/data
container_name: redis
networks:
- web
volumes:
redis-data:
driver: local
networks:
web:
driver: "bridge"
检测 docker compose 配置是否正确
docker-compose config
启动容器
docker-compose up -d
访问服务
curl 127.0.0.1:5000
停止容器
docker-compose down
Docker Compose 案例二 单机环境ELK系统搭建
ELK工作原理介绍 官方文档
https://www.elastic.co/guide/index.html
步骤：
配置单机版的docker-compose.yaml文件（ELK镜像地址）
https://www.docker.elastic.co/
下载镜像
docker pull docker.elastic.co/elasticsearch/elasticsearch:6.2.4 docker pull docker.elastic.co/kibana/kibana:6.2.4 docker pull docker.elastic.co/logstash/logstash:6.2.4
结构如下
官方的 elasticsearch 的compose 拷贝下来 ，保存到 docker-compose.yaml 中
version: '2.2'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata1:/usr/share/elasticsearch/data
ports:
- 9200:9200
networks:
- esnet
elasticsearch2:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch2
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- "discovery.zen.ping.unicast.hosts=elasticsearch"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata2:/usr/share/elasticsearch/data
networks:
- esnet
volumes:
esdata1:
driver: local
esdata2:
driver: local
networks:
esnet:
利用 docker-compose up启动环境
docker-compose up -d
查看 compose log 日志
docker-compose logs
可以看到报了一个错误 virtual 太低了
这点在官方文档上就有说明
配置好后，再次启动
docker-compose down docker-compose up -d
再次查看日志
docker-compose logs -f
正常
访问 elas 服务
curl 127.0.0.1:9200
加入 logstash 到compose
logstash:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
container_name: logstash
networks:
- esnet
完整内容如下
version: '2.2'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata1:/usr/share/elasticsearch/data
ports:
- 9200:9200
networks:
- esnet
elasticsearch2:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch2
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- "discovery.zen.ping.unicast.hosts=elasticsearch"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata2:/usr/share/elasticsearch/data
logstash:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
container_name: logstash
networks:
- esnet
volumes:
esdata1:
driver: local
esdata2:
driver: local
networks:
esnet:
启动多个容器
docker-compose up -d
加入 Kibana 到 compose 中
kibana:
image: docker.elastic.co/kibana/kibana:6.2.4
container_name: kibana
ports:
- "5601:5601"
networks:
- esnet
depends_on:
- elasticsearch
- elasticsearch2
完整内容如下
version: '2.2'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata1:/usr/share/elasticsearch/data
ports:
- 9200:9200
networks:
- esnet
elasticsearch2:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch2
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- "discovery.zen.ping.unicast.hosts=elasticsearch"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata2:/usr/share/elasticsearch/data
logstash:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
container_name: logstash
networks:
- esnet
depends_on:
- elasticsearch
- elasticsearch2
kibana:
image: docker.elastic.co/kibana/kibana:6.2.4
container_name: kibana
ports:
- "5601:5601"
networks:
- esnet
depends_on:
- elasticsearch
- elasticsearch2
volumes:
esdata1:
driver: local
esdata2:
driver: local
networks:
esnet:
启动 compose
docker-compose up -d
在浏览器中输入
http://192.168.1.112:5601
再次网compose 中添加一个logstash 服务这时
elastic有两个服务，logstash 也有两个服务，一个kibana服务，此时compose 文件内容如下所示
version: '2.2'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata1:/usr/share/elasticsearch/data
ports:
- 9200:9200
networks:
- esnet
elasticsearch2:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch2
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- "discovery.zen.ping.unicast.hosts=elasticsearch"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata2:/usr/share/elasticsearch/data
logstash:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
container_name: logstash
networks:
- esnet
depends_on:
- elasticsearch
- elasticsearch2
logstash2:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
container_name: logstash2
networks:
- esnet
depends_on:
- elasticsearch
- elasticsearch2
kibana:
image: docker.elastic.co/kibana/kibana:6.2.4
container_name: kibana
ports:
- "5601:5601"
networks:
- esnet
depends_on:
- elasticsearch
- elasticsearch2
volumes:
esdata1:
driver: local
esdata2:
driver: local
networks:
esnet:
Docker Compose 多主机环境ELK系统搭建
Swarm 介绍
集群版Docker Compose工作原理
步骤
- 使用docker swarm配置多个docker node集群节点
- 配置集群版ELK的docker-compose.yaml文件
- 利用docker stack deploy部署集群版ELK环境
官方文档
https://docs.docker.com/engine/reference/commandline/swarm/
初始化 swarm
docker swarm init
这个保存下来
docker swarm join --token SWMTKN-1-3kulbpf51q5gmtl8hoa2bow2x9ea1pcx6ficg1w2tntrami4f7-cqgtgc5vf8b449sio740pqrh9 192.168.1.112:2377
只需在另一个服务器上执行上面的即可
查看 节点
docker node ls
swarm-elk.yaml
version: '3.6'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=false
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
volumes:
- esdata1:/usr/share/elasticsearch/data
ports:
- 9200:9200
networks:
- esnet
deploy:
placement:
constraints:
- node.role == manager
elasticsearch2:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=false
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- "discovery.zen.ping.unicast.hosts=elasticsearch"
volumes:
- esdata2:/usr/share/elasticsearch/data
networks:
- esnet
deploy:
placement:
constraints:
- node.role == worker
logstash:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
networks:
- esnet
deploy:
replicas: 2
logstash2:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
networks:
- esnet
deploy:
replicas: 2
kibana:
image: docker.elastic.co/kibana/kibana:6.2.4
ports:
- "5601:5601"
networks:
- esnet
deploy:
placement:
constraints:
- node.role == manager
volumes:
esdata1:
driver: local
esdata2:
driver: local
networks:
esnet:
driver: "overlay"
docker stack deploy 启动
docker stack deploy -h
docker stack deploy -c swarm-elk.yaml elk
查看所有服务
docker service ls
查看一个服务的日志
docker service logs elk_elasticsearch -f
把所有启动的服务都删掉
docker stack rm elk
Docker 核心技术之Docker Compose的更多相关文章
- Docker(四)：Docker 三剑客之 Docker Compose
前两篇文章我们介绍了 Dockerfile 的使用Docker(二):Dockerfile 使用介绍,我们知道使用一个 Dockerfile 模板文件可以定义一个单独的应用容器,如果需要定义多个容器就 ...
- Docker 核心技术与实现原理
提到虚拟化技术,我们首先想到的一定是 Docker,经过四年的快速发展 Docker 已经成为了很多公司的标配,也不再是一个只能在开发阶段使用的玩具了.作为在生产环境中广泛应用的产品,Docker 有 ...
- Docker三剑客之Docker Compose
一.什么是Docker Compose Compose 项目是Docker官方的开源项目,负责实现Docker容器集群的快速编排,开源代码在https://github.com/docker/comp ...
- [Docker] Converting from Docker Compose to Kubernetes
kompose is a tool to help users who are familiar with docker-compose move to Kubernetes. kompose tak ...
- Docker核心技术
Docker核心技术 1.cgroup 即controller group,其重要概念是子系统,首先挂载子系统,然后才有control group.例如cpu子系统,挂载至系统之后,创建一个cgrou ...
- AspNetCore容器化(Docker)部署(三) —— Docker Compose容器编排
一.前言 上一篇部署了一个最基础的helloworld应用,创建了两个容器和一个network,还算应付得过来. 如果该应用继续引入mysql.redis.job等若干服务,到时候发布一次得工作量之大 ...
- 后端技术杂谈10：Docker 核心技术与实现原理
本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 https://github.com/h2pl/Java-Tutorial 喜欢的话麻烦点下 ...
- docker核心技术(2)
鸟瞰容器生态系统 一谈到容器,大家都会想到 Docker. Docker 现在几乎是容器的代名词.确实,是 Docker 将容器技术发扬光大.同时,大家也需要知道围绕 Docker 还有一个生态系统. ...
- Docker深入浅出系列 | Docker Compose多容器实战
目录 前期准备 Docker Compose是什么 为什么要用Docker Compose Docker Compose使用场景 Docker Compose安装 Compose Yaml文件结构 C ...
随机推荐
- 在Windows 10 + Python 3.6.5 中用 pip 安装最新版 TensorFlow v1.8 for GPU
声明 什么cuDNN之类的安装,应该是毫无难度的,按照官网的教程来即可,除非...像我一样踩了狗屎运.咳咳,这些问题不是本文的关键. 本文的关键是解决pip安装tensorflow gpu版的问题. ...
- 源码安装Nginx加TCP反向代理模块
说明: 安装方式是源码编译安装,因此先安装相关依赖,否则报错. yum -y install gcc* patch openssl openssl-devel 安装步骤: 下载nginx源码包: wg ...
- 禁用 Chrome 的黑色模式/Dark Mode
macOS Mojave 中引入了系统层面的黑色模式,Chrome 73 在应用中支行了这一模式,即系统设置为黑色模式时,Chrome 会自动适应切换到 Dark Mode. Chrome 跟随系统设 ...
- Eureka配置instanceId显示IP
直接配置: eureka: client: serviceUrl: defaultZone: http://localhost:8761/eureka/ instance: prefer-ip-add ...
- docker run 之后执行多条命令
执行 ls docker run microsoft/dotnet ls && cd /root 执行 多条使用sh -c命令 在run后面加了一个sh -c命令,后面直接加多条语句即 ...
- 基于vue-cli快速构建
基于vue-cli快速构建 https://www.jianshu.com/p/2769efeaa10a Vue是近两年来比较火的一个前端框架(渐进式框架吧),与reactjs和angularjs ...
- c# List根据某个属性进行分类，变成以属性名称作为分类的多个List
在平时的开发中,我们从数据库中得到List列表,但是我们希望可以根据属性名称再次进行分类. 其实LINQ中已经内置相应的算法. 长话短说,直接上代码: var dataList = JsonHelpe ...
- python3爬取网页图片路径并写入文件
import reimport urllib.request # 获取网页文件def getHtml(url): response = urllib.request.urlopen('https:// ...
- Django 传递额外参数及 URL别名
传递额外参数到视图函数中 在 urls.py 文件中添加下面内容 from django.conf.urls import url urlpatterns = [ url(r'index', view ...
- C++ 子类继承父类纯虚函数、虚函数和普通函数的区别
C++三大特性:封装.继承.多态,今天给大家好好说说继承的奥妙 1.虚函数: C++的虚函数主要作用是“运行时多态”,父类中提供虚函数的实现,为子类提供默认的函数实现.子类可以重写父类的虚函数实现子类 ...