Gerapy框架的使用

Gerapy

基于Scrapy，Scrapyd，Scrapyd-Client，Scrapyd-API，Django和Vue.js的分布式爬虫管理框架。

支持

Gerapy是在Python 3.x上开发的。稍后将支持Python 2.x.

用法

通过pip安装Gerapy：

pip3 install gerapy

安装完成后，您需要执行以下操作以运行Gerapy服务器：

如果已成功安装Gerapy，则可以使用命令gerapy。如果没有，请检查安装。

首先使用此命令初始化工作区：

gerapy init

现在您将获得一个名为的文件夹gerapy。

然后cd到此文件夹，并运行此命令以初始化数据库：

cd gerapy
gerapy migrate

接下来，您可以通过此命令运行server：

gerapy runserver

然后你可以访问http：// localhost：8000来享受它。

或者您可以像这样配置主机和端口：

gerapy runserver 0.0.0.0:8888

然后它将与公共主机和端口8888一起运行。

您可以创建一个可配置项目，然后自动配置和生成代码。您还可以将Scrapy项目拖动到gerapy/projects文件夹。然后刷新Web，它将出现在项目索引页面中并且不可配置，但您可以在Web界面中编辑此项目。

对于部署，您可以转到“部署页面”。首先，您需要构建项目并在客户端索引页面中添加客户端，然后您可以通过单击按钮来部署项目。

部署后，您可以在Monitor Page中管理作业。

搬运工人

只需运行此命令：

docker run -d -v ~/gerapy:/app/gerapy -p 8000:8000 thsheep/gerapy:master

然后它将在端口8000运行。

命令：

docker run -d -v <your_workspace>:/app/gerapy -p <public_port>:<container_port> thsheep/gerapy:master

请指定您的工作区以安装Gerapy工作区-v <your_workspace>:/app/gerapy并指定服务器端口-p <public_port>:<container_port>。

如果您通过Docker运行Gerapy，您可以访问Gerapy网站，例如http：// localhost：8000并享受它，无需进行其他初始化操作。

预习

客户管理：

蜘蛛监视器：

项目管理：

项目编辑：

项目部署：

项目配置：

TodoList的

• 使用预览网站添加Spider的可视配置
• 添加Scrapyd Auth Management
• 添加自动Python和Scrapyd环境部署
• 添加MongoDB和Redis和MySQL监视器
• 添加定时任务计划程序