Scrapy爬虫框架 基础

1< scrapy的安装

---

命令行安装

pip install scrapy

<常见错误是缺少 wim32api

安装win32api

pip install pywin32

<还有就是twisted没有安装

到链接找到对应的版本下载安装

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

命令行打开输入pip install 把文件拖进来就OK了

2<scrapy基础

---

scrapy优点：

• 提供了内置的HTTP缓存，以加速本地开发

• 童工了自动节流调节机制，而且具有遵守robots.txt的内置的能力

• 可以定义爬行深度的限制，以避免爬虫进入死循环链接

• 会自动保留会话

• 执行自动HTTP基本认证，不需要明确保存状态

• 可以自动填写登入表单

• scrapy有一个内置的中间件，可以自动设置请求中的引用头referrer

• 支持通过3XX响应重定向，也可以通过HTML元刷新

• 避免被网站使用的<noscript>meta重定向困住，以检测没有JS支持的页面

• 默认使用CSS选择器或者Xpath编写解析器

• 可以通过Splash或任何其他技术Selenium呈现JavaScript页面

• 拥有强的社区支持和丰富的插件和扩展来扩展其功能

• 提供了通用的蜘蛛来抓取常见的格式，站点地图CSV和XML

• 内置支持以多种格式（JSON，CSV，XML，JSON-lines）导出收集的数据并储存在多个后端FTP S3 本地文件系统中

Scrapy 架构

Scrapy 执行过程

1 引擎打开一个网站 open a domain 找到处理该网站的Spider并向该Spider请求第一个爬取的URL

2 引擎从Spider中获取第一个要爬取的URL并在调度器Scheduler中以Request调度

3 引擎向调度器请求下一个要爬取的URL

4 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件请求request方向转发给下载器

5 一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件（返回Response方向）发送给引擎

6 引擎从下在其中接收Response并通过Spider中间件（输入方向）发送给Spider处理

7 Spider处理Response并返回爬取到的Item及（跟进的新的Request给引擎

8 引擎将（Spider返回的）爬取到的Item给Item Pipeline，将Spider返回的Request给调度器

9 从第2步 重复知道调度器中没有更多的Request，引擎关闭对该网站的执行进程

3<scrapy使用

---

scarpy 使用命令操作

创建一个scrapy工程

scrapy startproject <your-project-name>
# 例如 创建一个名为first_spider工程
scrapy startproject first_spider

所在的目录就创建了一个first_spider的目录

我们看一下这个目录的结构

• __init__.py 　　#包定义

• items.py 　　    #模型定义

• pipeline.py        #管道定义

• settings.py        #配置文件

• spiders              #蜘蛛文件夹

• __init__.py    #默认的蜘蛛代码文件

• scrapy,py          #Scrapy的运行配置文件