Docker Compose 一键部署多节点爬虫程序
Docker Compose 一键部署多节点爬虫程序
目录结构
[root@localhost ~]# tree compose_crawler/
compose_crawler/
├── centos
│ ├── curl.sh
│ └── Dockerfile
└── docker-compose.yml
1、创建DockerCompose项目目录
mkdir compose_crawler
cd compose_crawler/
2、创建centos管理目录
mkdir centos
cd centos
3、创建脚本模拟爬虫文件
vim curl.sh
for i in {1..100}; do
curl http://192.168.1.72 -o /dev/null
sleep 1
done
# 添加执行权限
chmod +x curl.sh
4、创建Dockerfile文件
vim Dockerfile
# 指定镜像
FROM centos:6
# 指定管理员
MAINTAINER xiangsikai
# 复制本地文件到容器内
COPY curl.sh /
# 运行脚本文件
CMD ["/bin/bash", "curl.sh"]
5、项目目录下创建docker-compose.yml文件
vim docker-compose.yml
# 指定服务版本号
version: ''
# 服务
services:
# 服务名称
curl-test:
# 构建
build:
# 指定目录上下文构建镜像
context: ./centos
# 指定dockerfile文件名称
dockerfile: Dockerfile
6、启动dockercompose构建镜像容器
# 后台执行容器
docker-compose up -d
# 扩展添加容器数量 curl-test为容器名
docker-compose scale curl-test=20
# 查看启动容器数量
docker-compose ps
Name Command State Ports
------------------------------------------------------------------
compose_crawler_curl-test_1 /bin/bash curl.sh Exit 0
compose_crawler_curl-test_10 /bin/bash curl.sh Up
compose_crawler_curl-test_100 /bin/bash curl.sh Up
compose_crawler_curl-test_11 /bin/bash curl.sh Up
compose_crawler_curl-test_12 /bin/bash curl.sh Up
compose_crawler_curl-test_13 /bin/bash curl.sh Up
compose_crawler_curl-test_14 /bin/bash curl.sh Up
compose_crawler_curl-test_15 /bin/bash curl.sh Up
compose_crawler_curl-test_16 /bin/bash curl.sh Up
compose_crawler_curl-test_17 /bin/bash curl.sh Up
compose_crawler_curl-test_18 /bin/bash curl.sh Up
compose_crawler_curl-test_19 /bin/bash curl.sh Up
compose_crawler_curl-test_2 /bin/bash curl.sh Up
compose_crawler_curl-test_20 /bin/bash curl.sh Up
Docker Compose 一键部署多节点爬虫程序的更多相关文章
- Docker Compose 一键部署LNMP
Docker Compose 一键部署LNMP 目录结构 [root@localhost ~]# tree compose_lnmp/ compose_lnmp/ ├── docker-compose ...
- Docker Compose 一键部署Nginx代理Tomcat集群
Docker Compose 一键部署Nginx代理Tomcat集群 目录结构 [root@localhost ~]# tree compose_nginx_tomcat/ compose_nginx ...
- 开源跨境ERP - 小老板 Docker/Docker Compose一键部署
先上部署成功后的截图,各个菜单点击均无报错 DockerCompose 包含: 1. 三个mysql5.7数据库 2. redis php会话存储+ memcached 3. 小老板php主程序 do ...
- [Docker]compose一键部署nginx
Docker-compose部署nginx 创建配置文件 mkdir -p /usr/local/docker/nginx cat > /usr/local/docker/nginx/docke ...
- Docker Compose一键部署Nginx反向代理Tomcat集群
目录结构如下 mysql/conf/my.cnf [mysqld] user=mysql port=3306 datadir=/var/lib/mysql socket=/var/lib/mysql/ ...
- centos7+docker 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker
1.先决条件centos7+docker最新版本 sudo yum updat 2.配置一下镜像源,创建/etc/docker/daemon.conf文件,在其中输入如下内容 { "regi ...
- Docker Compose安装部署Jenkins
流水线可以让项目发布流程更加清晰,docker可以大大减少Jenkins配置. 1.前言 数据卷挂载到 /var 磁盘目录下,因为该磁盘空间较大,后面需要挂载容器数据卷,以防内存吃紧. 为了可以留存启 ...
- Docker compose自动化部署
安装 https://docs.docker.com/compose/install/#install-compose
- idea连接docker实现一键部署
一.修改配置文件,打开2375端口 [root@microservice ~]# vim /usr/lib/systemd/system/docker.service 在ExecStart=/usr/ ...
随机推荐
- js this指向理解
1.如果调用this的函数上级有多个对象,this只会指向上一级对象 下面实例fn函数调用this时,this指向b对象,如果b里面有a属性就输出值: 如果没有就是undefined 在来看下下面的实 ...
- memcached解压报错gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting now的解决方法
最近在部署环境,在安装memcached的过程中解压时, 解压命令:tar -zvxf memcached-1.4.34.tar.gz 遇到了一个问题, gzip: stdin: not in gzi ...
- js中 变量的解构赋值
es6新特性, 提取数组或对象中的值,按照对应位置, 为变量赋值. let [a, b, c] = [1, 2, 3]; 交换变量的值变得容易 let x = 1; let y = 2; [x, y] ...
- 基本的sqlplus命令
以下是一些sqlpus命令 remark 注释行set headsep 标题分隔符ttitle 头标题btitle 尾标题column ...
- 支持多文件上传,预览,拖拽,基于bootstrap的上传插件fileinput 的ajax异步上传(转载)
首先需要导入一些js和css文件 <link href="__PUBLIC__/CSS/bootstrap.css" rel="stylesheet"&g ...
- Docker win10安装
因为虚拟机还没装好,所以现在win10上安装Docker 1.首先下载Docker Toolbox,因为Docker for windows需要win10专业版或者其他64位版本,我的系统虽然也是wi ...
- PHP(数据类型、水仙花数(重点)运算符)
<!--三个弹窗 alert():打开页面只是提示一下,告警框 仅仅提示,关了就关了 confirm():选择框 有返回值 prompt():输入框 控制台输出console.log() 字符串 ...
- Linux命令更新系统时间,更新所有文件的时间(转)
https://blog.csdn.net/ccj2020/article/details/76026606
- 转载:MySQL EXPLAIN 命令详解学习
转载自:https://blog.csdn.net/mchdba/article/details/9190771 MySQL EXPLAIN 命令详解 MySQL的EXPLAIN命令用于SQL语句的查 ...
- Kruskal和prime算法的类实现,图的遍历BFS算法。
一.图的遍历 #include<iostream> #include<queue> #include<vector> using namespace std; in ...