gerapy 爬虫web调度可视化工具（基于scrapyd）

web

• 基于scrapyd
• 提供主机管理功能
  1. 基于scrapyd管理已安装服务的主机。
  2. 进入具体主机管理页面，会自动加载所有已知爬虫任务；
  3. 可直接可以调度、运行、查看日志。
• 提供项目管理功能
  1. 将已知项目放到project目录下，可进行爬虫项目单台机器、多台机器部署。
  2. 提供项目代码在线编辑功能
• 提供任务管理功能
  1. 基于项目-爬虫的管理，可以构建爬虫调度任务。
  2. 目前支持三种类型调度，date、interval、cron（基本能满足日常需求）

Installation

注：从 Gerapy 2.x 开始，其定位发生改变，不再支持 Scrapyd，转而支持 Docker、Kubernetes 的部署，另外开发还会迁移到 Scrapy 可视化配置和智能解析方面，敬请期待

pip3 install -U gerapy

Initialization

gerapy init / gerapy init GerapySpace

Database Configuration

cd gerapy
gerapy migrate

New User

gerapy initadmin
	会初始化一个超级管理员账号， username： admin  password： admin

gerapy createsuperuser
	如果不想用admin,也可以根据提示，创建一个超级用户

Startup service

gerapy runserver

如果想要在公网访问服务
gerapy runserver 0.0.0.0:8000

如果想后台启动服务可以使用
gerapy runserver 0.0.0.0:8000 > /dev/null 2>&1 &

Docker

Pull gerapy

docker pull germey/gerapy

run docker

docker run -d --name gerapy -v ~/gerapy:/app/gerapy -p 8000:8000 germey/gerapy

docker run -d -v <workspace>:/app/gerapy -p <public_port>:<container_port> germey/gerapy

link

参考：

https://docs.gerapy.com/en/latest/

https://github.com/Gerapy/Gerapy