scrapy入门到放弃02：整一张架构图，开发一个程序

前言

Scrapy开门篇写了一些纯理论知识，这第二篇就要直奔主题了。先来讲讲Scrapy的架构，并从零开始开发一个Scrapy爬虫程序。

本篇文章主要阐述Scrapy架构，理清开发流程，掌握基本操作。

整体架构

自己动手画架构图一张：

这就是Scrapy的整体架构，看起来流程比较复杂，但其实需要开发者参与的部分不多。这里先介绍一下各个部分。

1. Spider：要开发的爬虫程序，用来定义网站入口，实现解析逻辑并发起请求。
2. Pipeline：数据管道，可自定义实现数据持久化方式。
3. Middleware：中间件，分为两类。一类是下载器中间件，主要处理请求，用于添加请求头、代理等；一类是spider中间件，用于处理响应，用的很少。
4. Scheduler：调度器，用来存放爬虫程序的请求。
5. Downloader：下载器。对目标网站发起请求，获取响应内容。

一个完整的爬虫，开发者需要参与1、2、3部分的开发。甚至最简单的爬虫，只需要开发Spider部分即可。

准备工作

安装Scrapy

Scrapy的安装和普通模块相同：

pip3 install scrapy

安装之后，就会多出一个scrapy命令，我们可以使用此命令来新建项目、新建爬虫程序、进入shell交互环境等等。

命令说明如下图：

新建项目

和普通python项目不同的是，Scrapy需要使用命令行新建项目，然后再导入IDE进行开发。

scrapy startproject [ProjectName]

执行上面命令，新建一个新的Scrapy项目。

从项目结构可以看出，一个Scrapy项目分为四大模块，与架构中各个部分对应。

新建爬虫程序

将项目导入IDE，spiders包用于存放开发的爬虫程序。而爬虫程序的新建也是通过命令行操作。

# domain就是域名，例如百度域名就是www.baidu.com
scrapy genspider [SpiderName] [domin]

在本scrapy项目任何目录下的命令行中执行此命令，都会在spiders下新建一个爬虫程序。

爬虫程序开发

如图，scrapy爬虫程序已经生成，在其中实现解析规则代码即可完成开发。

这里依然以斗罗大陆为例，程序代码如下。

程序结构

每个Scrapy程序都会有三个模块：

1. name：每个项目中的爬虫的名称，作为唯一标识用于爬虫的启动
2. allowed_domains：主要用于限定运行爬虫网站的域名
3. start_urls：：网站入口，起始url
4. parse：预设的第一个解析函数

上面说道，start_urls是爬虫程序的入口，那么它是怎么发起请求，并将Res响应传给parse解析？作为一个list类型，是否可以有多个入口url？

start_requests()

每个爬虫程序都继承了Spider类，里面的start_requests方法用来发起请求，并自动将响应传递给parse()。

如图，我们可以看到，此方法遍历了start_urls来发起了请求。那么，我就不想传递给parse()解析，我就想自定义方法，啷个怎么办来？

小事莫慌，我们重写start_requests就好了嘛。

如图，我们自定义了parse_first解析函数，在发起请求时使用callback来指定回调函数，这里记住：函数名一定不要加括号，加括号表示立即执行此函数，不加代表是引用。

修改后的程序输出结果和之前相同。

Request

我们使用yield Request发起一个请求，为什么不用return？因为yield不会立即返回，不会终结方法。这里就涉及到了生成器的问题，有兴趣的可以去研究一下。

Request使用的参数如下顺序排列：

1. url：要请求的url
2. callback：处理响应的回调函数
3. meta：字典，通过响应传递kv数据给回调函数
4. dont_filter：默认为False，即开启url去重。如果我们在start_urls写入两条一样的url时，只会输出一次结果，如果我们修改为True，则输出两次。
5. method：请求方式，默认为get
6. priority：请求优先级，默认为0，数值越大优先级越大

至于cookies、headers参数，我们可以在Request设置，但大多时候都是在下载器middleware中进行设置。

爬虫程序启动

Scrapy爬虫程序的启动主要有两种方式。

命令行启动

第一种就是在scrapy项目目录下的命令行下启动。

scrapy crawl [SpiderName]

这种启动方式的缺点显而易见，就是无法IDE中使用Debug功能，所以这种方式通常用于生产。

IDE启动

我们在开发过程中通常使用第二种启动方式，这也是符合我们常规启动程序的方式。新建一个python程序，引入命令行工具执行爬虫启动命令。

from scrapy.cmdline import execute

if __name__ == "__main__":
    execute("scrapy crawl DouLuoDaLu".split(" "))

这样就可以在IDE中启动程序，并使用Debug功能。

scrapy shell交互环境

我们可以shell交互环境中进行解析代码的调试。

scrapy shell https://v.qq.com/detail/m/m441e3rjq9kwpsc.html

输入命令回车，对斗罗大陆页面发起请求并进入shell环境。

如图所示，在进入shell环境后，自动封装了一些变量，这里我们只关注响应response。

如图，我们在shell交互环境中对网页进行了解析。这样，我们将测试好的解析代码复制到程序中即可，这样提高了开发效率。

输入view(response)，敲击回车，将自动在浏览器打开页面。

结语

在样例程序中，请求和响应只在架构图右半边简单地流转，如果想要持久化，还需要定义pipeline等等，而且程序中也只写了一层解析函数，即parse()。

如果在parse中还要进行深度爬取，我们也要在parse中发起请求，并定义新的callback回调函数来进行解析，一直到我们想要的数据页面为止。当然，这些后面都会讲到。

自Scrapy系列写了开篇之后，就搁置了很久。一是最近的确挺忙的，二是Scrapy知识点比较多，一时间不知该从何处写起。不过我还是会继续写下去的，虽然可能更新的有点慢，欢迎小伙伴催更、也希望多多提出宝贵的意见。

---

95后小程序员，写的都是日常工作中的亲身实践，置身于初学者的角度从0写到1，详细且认真。

文章会在公众号 [入门到放弃之路] 首发，期待你的关注。