Docker Compose 一键部署多节点爬虫程序

目录结构

[root@localhost ~]# tree compose_crawler/
compose_crawler/
├── centos
│ ├── curl.sh
│ └── Dockerfile
└── docker-compose.yml

1、创建DockerCompose项目目录

mkdir compose_crawler
cd compose_crawler/

2、创建centos管理目录

mkdir centos
cd centos

3、创建脚本模拟爬虫文件

vim curl.sh

for i in {1..100}; do
curl http://192.168.1.72 -o /dev/null
sleep 1
done
# 添加执行权限
chmod +x curl.sh

4、创建Dockerfile文件

vim Dockerfile

# 指定镜像
FROM centos:6
# 指定管理员
MAINTAINER xiangsikai
# 复制本地文件到容器内
COPY curl.sh /
# 运行脚本文件
CMD ["/bin/bash", "curl.sh"]

5、项目目录下创建docker-compose.yml文件

vim docker-compose.yml

# 指定服务版本号
version: ''
# 服务
services:
# 服务名称
curl-test:
# 构建
build:
# 指定目录上下文构建镜像
context: ./centos
# 指定dockerfile文件名称
dockerfile: Dockerfile

6、启动dockercompose构建镜像容器

# 后台执行容器
docker-compose up -d
# 扩展添加容器数量 curl-test为容器名
docker-compose scale curl-test=20
# 查看启动容器数量
docker-compose ps
            Name                     Command        State    Ports
------------------------------------------------------------------
compose_crawler_curl-test_1 /bin/bash curl.sh Exit 0
compose_crawler_curl-test_10 /bin/bash curl.sh Up
compose_crawler_curl-test_100 /bin/bash curl.sh Up
compose_crawler_curl-test_11 /bin/bash curl.sh Up
compose_crawler_curl-test_12 /bin/bash curl.sh Up
compose_crawler_curl-test_13 /bin/bash curl.sh Up
compose_crawler_curl-test_14 /bin/bash curl.sh Up
compose_crawler_curl-test_15 /bin/bash curl.sh Up
compose_crawler_curl-test_16 /bin/bash curl.sh Up
compose_crawler_curl-test_17 /bin/bash curl.sh Up
compose_crawler_curl-test_18 /bin/bash curl.sh Up
compose_crawler_curl-test_19 /bin/bash curl.sh Up
compose_crawler_curl-test_2 /bin/bash curl.sh Up
compose_crawler_curl-test_20 /bin/bash curl.sh Up

Docker Compose 一键部署多节点爬虫程序的更多相关文章

  1. Docker Compose 一键部署LNMP

    Docker Compose 一键部署LNMP 目录结构 [root@localhost ~]# tree compose_lnmp/ compose_lnmp/ ├── docker-compose ...

  2. Docker Compose 一键部署Nginx代理Tomcat集群

    Docker Compose 一键部署Nginx代理Tomcat集群 目录结构 [root@localhost ~]# tree compose_nginx_tomcat/ compose_nginx ...

  3. 开源跨境ERP - 小老板 Docker/Docker Compose一键部署

    先上部署成功后的截图,各个菜单点击均无报错 DockerCompose 包含: 1. 三个mysql5.7数据库 2. redis php会话存储+ memcached 3. 小老板php主程序 do ...

  4. [Docker]compose一键部署nginx

    Docker-compose部署nginx 创建配置文件 mkdir -p /usr/local/docker/nginx cat > /usr/local/docker/nginx/docke ...

  5. Docker Compose一键部署Nginx反向代理Tomcat集群

    目录结构如下 mysql/conf/my.cnf [mysqld] user=mysql port=3306 datadir=/var/lib/mysql socket=/var/lib/mysql/ ...

  6. centos7+docker 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker

    1.先决条件centos7+docker最新版本 sudo yum updat 2.配置一下镜像源,创建/etc/docker/daemon.conf文件,在其中输入如下内容 { "regi ...

  7. Docker Compose安装部署Jenkins

    流水线可以让项目发布流程更加清晰,docker可以大大减少Jenkins配置. 1.前言 数据卷挂载到 /var 磁盘目录下,因为该磁盘空间较大,后面需要挂载容器数据卷,以防内存吃紧. 为了可以留存启 ...

  8. Docker compose自动化部署

    安装 https://docs.docker.com/compose/install/#install-compose

  9. idea连接docker实现一键部署

    一.修改配置文件,打开2375端口 [root@microservice ~]# vim /usr/lib/systemd/system/docker.service 在ExecStart=/usr/ ...

随机推荐

  1. js this指向理解

    1.如果调用this的函数上级有多个对象,this只会指向上一级对象 下面实例fn函数调用this时,this指向b对象,如果b里面有a属性就输出值: 如果没有就是undefined 在来看下下面的实 ...

  2. memcached解压报错gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting now的解决方法

    最近在部署环境,在安装memcached的过程中解压时, 解压命令:tar -zvxf memcached-1.4.34.tar.gz 遇到了一个问题, gzip: stdin: not in gzi ...

  3. js中 变量的解构赋值

    es6新特性, 提取数组或对象中的值,按照对应位置, 为变量赋值. let [a, b, c] = [1, 2, 3]; 交换变量的值变得容易 let x = 1; let y = 2; [x, y] ...

  4. 基本的sqlplus命令

    以下是一些sqlpus命令 remark          注释行set headsep     标题分隔符ttitle          头标题btitle          尾标题column   ...

  5. 支持多文件上传,预览,拖拽,基于bootstrap的上传插件fileinput 的ajax异步上传(转载)

    首先需要导入一些js和css文件 <link href="__PUBLIC__/CSS/bootstrap.css" rel="stylesheet"&g ...

  6. Docker win10安装

    因为虚拟机还没装好,所以现在win10上安装Docker 1.首先下载Docker Toolbox,因为Docker for windows需要win10专业版或者其他64位版本,我的系统虽然也是wi ...

  7. PHP(数据类型、水仙花数(重点)运算符)

    <!--三个弹窗 alert():打开页面只是提示一下,告警框 仅仅提示,关了就关了 confirm():选择框 有返回值 prompt():输入框 控制台输出console.log() 字符串 ...

  8. Linux命令更新系统时间,更新所有文件的时间(转)

    https://blog.csdn.net/ccj2020/article/details/76026606

  9. 转载:MySQL EXPLAIN 命令详解学习

    转载自:https://blog.csdn.net/mchdba/article/details/9190771 MySQL EXPLAIN 命令详解 MySQL的EXPLAIN命令用于SQL语句的查 ...

  10. Kruskal和prime算法的类实现,图的遍历BFS算法。

    一.图的遍历 #include<iostream> #include<queue> #include<vector> using namespace std; in ...