Scrapyd+Gerapy部署Scrapy爬虫进行可视化管理

Scrapy是一个流行的爬虫框架，利用Scrapyd，可以将其部署在远程服务端运行，并通过命令对爬虫进行管理，而Gerapy为我们提供了精美的UI，可以在web页面上直接点击操作，管理部署在scrapyed上的爬虫，本文介绍Scrapyd与Gerapy的基本安装与使用方法

 

一、Scrapyd简介:

　　Scrapyd是一个服务，允许用户将爬虫部署在服务端，并通过HTTP JSON的方式控制爬虫，并且可以通过web页面监控爬虫状态

二、Scrapyd安装部署:

　　在向服务器部署爬虫时，我们需要下载2个模块

　　1、scrapyd（安装在服务端，运行服务）

　　2、scrapy-client（安装在客户端，用于将自己的爬虫部署到服务器上）

• 服务端安装部署：

　　　　首先在远程的Ubuntu服务器上安装scrapyd：

　　　　pip install scrapyd

　　　　安装完毕后，查看scrapyd的配置文件，scrapyd会在如下位置依次查找配置文件，并以最后一个找到的配置文件为准进行配置

　　　　/etc/scrapyd/scrapyd.conf (Unix)

　　　　c:\scrapyd\scrapyd.conf (Windows)

　　　　/etc/scrapyd/conf.d/* (in alphabetical order, Unix)

　　　　scrapyd.conf

　　　　~/.scrapyd.conf (users home directory)

　　　　查看scrapyd的安装目录  */site-packages/scrapyd，发现有一个default_scrapyd.conf默认配置文件，打开该文件，显示如下内容

　　　　这里有一个名为bind_address的选项，默认值为127.0.0.1，我们将其改为0.0.0.0（ 在服务器中，0.0.0.0指的是本机上的所有IPV4地址，如果一个主机有多个IP地址，并且该主机上的一个服务监听的地址是0.0.0.0,那么通过多个ip地址都能够访问该服务。）

 

　　　　配置完毕后输入Scrapyd &启动后台服务

　　　　此时输入netstat -an | grep 6800查看，发现6800端口已经启动监听

　　　　随后，打开浏览器，输入 服务端地址:6800，显示如下页面，配置成功

　　　　不过，此时，我们发现页面中的Available projects一行为空，这是因为我们还没有部署任何Scrapy爬虫项目，接下来，我们要将客户端的Scrapy项目部署到服务器上运行

 

• 客户端安装部署：

　　　　pip install scrapy-client

　　　　执行完毕后，找到scrapy-client的安装目录，发现一个名为scrapyd-deploy的文件，我们把它复制到scrapy项目中与scrapy.cfg同级的目录中（不复制也可以，但这样操作会方便一点）

　　　　打开scrapy.cfg文件，有如下内容，需要做的就是把[deploy]改为[deploy:target]的形式，target名称自拟，然后再把url前的注释去掉，并且将地址改为scrapyd的服务器地址。

　　　　修改完毕后，我们需要用刚刚复制来的scrapyd-deploy来部署爬虫，打开scrapyd-deploy文件，找到如下部分，给出了scrapyd-deploy可以接收的参数以及相应的作用

 

　　　　我们发现输入-l可以列出所有可用的target，由于scrapyd-deploy本身是一个python文件，因此我们输入

　　　　python scrapyd-deploy -l来查看target的配置情况

　　　　

　　　　查看结果与刚才在scrapy.cfg文件中的配置相同。

　　　　随后输入python scrapyd-deploy -L test来查看名为test的target下可用的爬虫项目

　　　　同样与配置相符

 

　　　　随后我们输入python scrapy-deploy test -p toolspider 将test中的toolspider项目部署到scrapyd服务端

　　　　出现以上信息，代表部署成功，此时打开 服务器地址:6800 这个页面，发现Available projects中已经有了我们刚刚部署的toolspider项目

　　　　

 

三、使用Scrapyd管理爬虫

 

　　Scrapyd采用http与json的方式管理爬虫，下面来看一下具体的用法

　　1、执行爬虫

　　　　执行爬虫用到的是schedule.json,通过向http://localhost:6800/schedule.json提交post请求并附带项目名以及爬虫名参数完成

　　　　在服务端输入curl http://localhost:6800/schedule.json -d project=toolspider -d spider=toolspider执行刚才部署的爬虫（d表示data，即post请求提交的数据），执行完毕后返回如下结果

　　　　此时再查看浏览器，Scrapyd页面，点击Jobs，出现如下信息，爬虫执行完毕

　　　　

　　2、查看项目

　　　　查看项目用到的是listprojects.json,此方法采用get方式提交，不接受参数，可以直接在浏览器端提交并查看返回结果

　　　　

　　　　同样，在服务端输入curl http://localhost:6800/schedule.json也可以得到结果

　　　　查看项目中的爬虫，用到的是listspider.json，同样也是get方法，接受一个project参数，即具体项目名，效果如图

　　　　

　　3、删除项目

　　　　删除项目用到的是delproject.json，采用post方法，提交一个项目名称的数据

　　　　在服务端输入curl http://localhost:6800/schedule.json -d project=toolspider即可删除

　　4、其他

　　　　除此之外还有daemonstatus.json,addversion.json,listversions.json,delversion.json,cancel.json,listjobs.json,具体使用方法可以查看scrapyd官方文档https://scrapyd.readthedocs.io/en/stable/

 

四、采用Gerapy管理爬虫

　　scrapyd采用命令行的形式，通过http与json对爬虫进行管理，操作显得有些繁琐，对爬虫的状态展示也不直观，而Gerapy为我们提供了精美的UI与简介的操作方式，只需要用鼠标在浏览器上点击操作便可以完成对爬虫的管理，需要注意的是，Gerapy只为我们提供了操作界面，真正的爬虫还是部署在服务器的Scrapyd上，

　　1、Gerapy下载

　　　　pip install gerapy

　　　　下载完成后在命令行中输入gerapy，出现如下信息说明安装成功

　　2、Gerapy初始化

　　　　gerapy init

　　　　cd gerapy

　　　　gerapy migrate

　　　　在命令行中输入gerapy init，执行完毕后在当前目录下会生成一个名称为gerapy的文件夹，随后进入该文件夹，下输入gerapy migrate ，成功后在gerapy目录下生成一个sqlite数据库

 

　　3、运行Gerapy

　　　　gerapy runserver

　　　　出现如下信息表示执行成功

　　　　随后在浏览器中输入127.0.0.1:8000打开gerapy界面如图，我这里已经配置了一台远程服务器，因此normal显示为1

　　　　点击左侧的Client，随后在Client界面的右上角点击create创建远程主机

　　　　输入Scrapyd服务器的ip与端口（6800），自己随便起个名字，完成配置，结果显示如下

　　　　要执行爬虫，直接点击右侧的schedule便可以显示出当前项目中的所有爬虫信息，点击run按钮便可直接运行爬虫，并实时在页面上显示状态