爬虫 scrapy 笔记

scrapy 基础

1、  创建一个spider项目

a)         Scrapy startproject project_name [project_dir]

b)         Cd project 进入项目

2、  命令：

a)         Global commands:

i.              startproject 创建项目

ii.              genspider 创建一个爬虫

iii.              settings

iv.              runspider

v.              shell

vi.              fetch

vii.              view

viii.              version

b)         Project-only commands:

i.              crawl

ii.              check

iii.              list

iv.              edit

v.              parse

vi.              bench

3、  创造一个爬虫

$ scrapy genspider -l

Available templates:

Basic  默认

crawl

csvfeed

xmlfeed

a)         Scrapy genspider mydomain mydomain.com  ---》basic

b)         Scrapy genspider –t crawl mydomain mydomain.com

4、  运行spider

a)         Scrapy crawl myspider

理解一个scrapy：

Spider.py :

1、  start_url：是要爬取的第一个URL地址，可以有多个值

2、  parse（response）：是request请求的结果，使用response.text()获取页面信息。

3、  response是一个‘scrapy.http.response.html.HtmlResponse’对象，可以使用xpath和css来提取数据。

4、  提取出来的数据是一个‘selector’或者‘selectorList’对象，可以使用get(),或者getall（）来获取内容。

5、  Getall（）是获取一个列表，get（）是获取列表的第一个值

6、  如果数据解析出来，可以使用yield一个一个返回，也可以一次使用return返回多个。

7、  Item：建议使用item，数据结构化处理，数据更清晰。

8、  Pipline:用来处理item数据：

a)         Open_spider（）：再启动爬虫时执行，可以做一些预处理操作

b)         Process_item():处理spider.py传过来的数据可以保存、去重等操作。

c)         Close_spider（）：关闭爬虫时执行，坐一些善后操作。

注：要使用pipline,必须先在setting中激活pipline

Request 与  Response  请求与响应

Request：参数

1、  URL：request对象发送请求的URL

2、  Callback：请求之后的回调函数

3、  Method：默认Get，可以设置为其他方式，如果是post，建议使用formRequest

4、  Headers：请求头：对于一般固定的设置放在setting中，非固定的可以在发送请求的时候指定

5、  Meta：比较常用，用于在不同的请求之间使用传递使用

6、  Encoding：编码，默认是utf-8

7、  Dot_filter：表示不由调度器过滤，在使用多次重复请求的使用用的比较多，比如：验证码失败的时候

8、  Errback：在发生错误的时候执行的函数。

Response：对象属性，可以用来提取数据

1、  meta：从其他请求传过来的meta属性，可以用来保持多个请求之间的数据连接

2、  encoding：返回当前字符串编码和解码的格式

3、  text：将返回的数据作为Unicode字符串返回

4、  body：将返回的数据作为bytes字符串返回

5、  xpath：xpath选择器

6、  css：css选择器

POST请求：

1、重写‘start_requests’方法

以json的形式导出：pipline操作

1、使用JSonItemExporter 先是保存在列表中，最后在finish一次写入，占用内存。满足json格式

2、JsonLinerItemExporter、多次写入不是json格式，数据比较安全，防止发生意外

================crawlspider ====

需要使用“LinkExtrator”和“Rule”。这两个东西是（crawlspider）爬虫的主要内容。

1 、allow设置规则的方法：要能够限制在我们我们想要的URL上面，不要跟其他的URL产生相同的正则表达式即可。

2、使用Fallow的情况：如果在爬取页面的时候，需要将满足条件的URL连接进行跟进，那么就设置为True，否则设置为False。

3、callkack:如果这个URL对应的页面，只是为了获取更多的URL，并不需要里面的数据，那么可以不指定callkack。如果想要获取URL对应的页面的数据，那么就需要指定一个callback。

===========scrapy  shell  URL==========

1、可以方便我们做一些数据提取的测试代码。

2、如果想要执行scrapy命令，要先进入scrapy的环境中

3、如果想要读取某个项目的配置信息，那么应该先进入这个项目，在执行“scrapy shell URL”命令。

反 爬虫：

验证码：阿里云接口识别

File pipline文件下载管道

image pipline图片下载管道

下载器中间件：自定义 重写两个方法

1、process_request（）

参数1：request 发送请求的request

参数2：spider 发送请求的spider

返回值：

1、  None： 如果返回none，scrapy继续执行该请求，执行其他的中间件的相应方法，直到合适的下载器函数被相应调用。

2、  Response： 如果返回response，那么scrapy将不会调用其他的process_request方法，将直接返回这个response对象，已经激活的中间件的process_response方法则会在每个response返回时调用

3、  Request ：不再使用之前的request对象去下载数据，而是根据现在返回的request对象返回数据

4、  如果这个方法抛出异常，则会调用process_exception方法

2、process_response（）

 参数：

1、  request：请求对象

2、  response：被处理的response对象

3、  spider：spider对象

返回值：

1、  response：会将这个新的response对象传递给其他中间件，最终给爬虫

2、  request：下载器链被切断，返回的request会重新被下载器调度下载

3、  异常：那么将调用request的errback方法，如果没有指定这个方法，那么会抛出异常