Scrapy爬虫框架补充内容一(Linux环境)

Scrapy爬虫框架结构及工作原理详解

---

scrapy框架的框架结构如下：

组件分析：

ENGINE:(核心)：处理整个框架的数据流，各个组件在其控制下协同工作

SCHEDULER（调度器）：负责接收引擎发送来的请求，并压入队列，在引擎再次请求时返回

SPIDER（蜘蛛）：负责从网页中提取指定的信息，即item并产生对新页面的下载请求

DOWNLOADER(下载器):用于下载网页内容(即发送HTTP请求/接受HTTP请求)并将内容返回给ENGINE

ITEM PIPELINES(项目管道)：主要对爬取到的数据进行处理（去重、过滤、清洗），最终保存数据

DOWNLOADER MIDDLEWARES(下载中间件)：位于ENGINE和DOWNLOADER中间，处理请求和响应（该组件是反反爬虫的重点）

SPIDER MIDDLEWARES(爬虫中间件)：位于SPIDER和ENGINE中间，处理蜘蛛的请求和响应

---

数据流对象分析：（主要有三）

（1）REQUEST:scrapy中的hettp请求对象

（2）RESPONSE:scrapy中的http响应对象

（3）ITEM：页面爬取到的数据

---

工作原理：

（1）、Spiders发送第一个URL给引擎

（2）、引擎从Spider中获取到第一个要爬取的URL后，在调度器(Scheduler)以Request调度

（3）、调度器把需要爬取的request返回给引擎

（4）、引擎将request通过下载中间件发给下载器(Downloader)去互联网下载数据

（5）、一旦数据下载完毕，下载器获取由互联网服务器发回来的Response，并将其通过下载中间件发送给引擎

（6）、引擎从下载器中接收到Response并通过Spider中间件发送给Spider处理

（7）、Spider处理Response并从中返回匹配到的Item及(跟进的)新的Request给引擎

（8）、引擎将(Spider返回的)爬取到的Item给Item Pipeline做数据处理或者入库保存，将(Spider返回的)Request给调度器入队列

（9）、重复第（3）步循环运行直至SCHCULAR中没有REQUEST为止

---

总结：这章我们学习了整个scrapy框架的结构及工作原理，小伙伴们清楚了吗？（刚全宿舍去看了复联3，突然发现灭霸并没有那么坏！雷神真tm叼！）