007 爬虫（Scrapy库的使用）

推荐网址：

　　http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/architecture.html

1.简介

　　python开发的一个快速，高层次的屏幕抓去和web抓取框架，用于抓取web站点并从网页中提取结构化的数据。

　　是一个框架，可以根据需要进行修改。

　　提供了多种类型爬虫的基类，如BaseSpider，sitemap爬虫等。

2.框架

　　

3.Scrapy的运行流程

　　引擎从调度器中取出一个链接用于接下来的抓取

　　引擎把url封装成一个请求传给下载器

　　下载器把资源下载下来，并封装成应答包

　　爬虫解析response

　　解析出实体Item，则交给实体管道进行进一步的处理

　　解析出的是链接，则把url交给调度器等待抓取。

二：安装

1.第一步安装lxml

　　lxml是一个非常有用的python库，可以灵活高校的解析xml，与bs，requests相结合，是编写爬虫的标准姿势。

　　

2.第二步安装zope.interface

　　python支持多继承，但是不支持接口，zope.interface是其三方的接口实现库，在twisted中有大量的使用

　　

3.第三步安装twisted

　　twisted是python实现的基于事件驱动的网络引擎框架。

　　支持很多框架，包括UDP,TCP,TLS和其他应用层协议（http，smtp，nntm，irc，xmpp等）

　　

4.第四步安装pyOpenSSL

　　生成网络安全需要的CA和证书

　　

5.第五步pywin32

　　pywin32是一个python库，为python访问windows API的扩展，提供了齐全的windows常量，接口，线程以及com机制等

　　下载地址：

　　　　https://sourceforge.net/projects/pywin32/files/pywin32/

　　　　

　　双击安装

　　　　

6.安装Scrapy

　　scrapy不同简单的单线爬虫，采用scrapy框架写python会生成许多的文件，这一件类似java里的web框架，许多工作可以通过配置文件来生成。

　　pip install scrapy

　　

三：生成项目

1.添加系统变量

　　使得scrapy.exe可以被访问到。

　　

2.找到要生成项目的目录

　　

3.从cmd中进入这个目录

　　

4.在这里执行语句

　　scrapy startproject test2

　　

5.如图

　　

四：制作爬虫

1.完成爬虫的流程

　　新建项目

　　明确目标

　　制作爬虫

　　存储内容

2.新建项目的目录结构

　　

3.解释文件的作用

　　scrapy.cfg：项目的配置文件

　　test2/：项目中的python模块，将会从这里引用代码

　　items.py：项目中items文件用来存放抓取内容容器的文件

　　pipelines.py：负责处理爬虫从网页中抽取的实体，持久化实体，验证实体的有效性，清除不需要的信息

　　settings.py：项目的设置文件

　　spiders：爬虫的目录

4.定义Item

　　是用来保存爬取到的数据的容器，

　　创建一个scrapy.Item类，并定义类型为scrapy.Field类属性来定义一个Item。

　　将爬取的内容与Field()定义的属性对应。

程序：

 # -*- coding: utf-8 -*-
 from scrapy import Item,Field

 class Test2Item(Item):
     #电影名
     title=Field()
     #评分
     start=Field()
     #评分人数
     critical=Field()
     #短评
     quote=Field()

5.编写Spiders

　　创建继承了scrapy.Spider的子类，并定义以下三个属性：

　　name：用于区别spider

　　start_urls：包含了spider在启动时进行爬取的url列表

　　parse（）：是spider的一个方法，每个初始url完成下载后生成的response对象将会作为唯一的参数传递给该函数，该方法负责解析返回的数据，提取数据以及需要进一步处理的url的request对象。

程序：

 # -*- coding: utf-8 -*-
 #下面三行解决的是编码问题。python3不会出现
 import sys
 reload(sys)
 sys.setdefaultencoding('utf-8')

 from scrapy.spiders import CrawlSpider
 from scrapy.http import Request
 from scrapy.selector import Selector
 from test2.items import Test2Item
 import re

 #继承scrapy.spiders
 class Doban(CrawlSpider):
     name = "douban"
     start_urls=['http://movie.douban.com/top250']
     url='http://movie.douban.com/top250'
     def parse(self, response):
         item=Test2Item()
         selector=Selector(response)
         Movies=selector.xpath('//div[@class="info"]')
         for eachMovie in Movies:
             #获取各个字段
             fullTitle=eachMovie.xpath('div[@class="hd"]/a/span[@class="title"][1]/text()').extract()

             start=eachMovie.xpath('div[@class="bd"]/div/span[@class="rating_num"]/text()').extract()

             criticalStr=eachMovie.xpath('div[@class="bd"]/div/span[4]/text()').extract()[0]
             critical=  filter(str.isdigit,str(criticalStr))

             quote=eachMovie.xpath('div[@class="bd"]/p[@class="quote"]/span/text()').extract()

             if quote:
                 quote=quote[0]
             else:
                 quote=''

             #赋值
             item['title']=fullTitle
             item['start']=start
             item['critical']=critical
             item['quote']=quote

             #提交
             yield item
         nextLink=selector.xpath('//span[@class="next"]/link/@href').extract()
         if nextLink:
             nextLink=nextLink[0]
             print nextLink
             yield Request(self.url+nextLink,callback=self.parse)
         return

6.修改settings.py

 USER_AGENT ='Mozilla/5.0 (Macintosh:Intel Mac OS X 10_8_3)' \
             'AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5'

 FEED_URI=u'file:///D:/WorkSpace/python/test2/doban.csv'
 FEED_FORMAT='CSV'

7.添加主函数运行

 # -*- coding: utf-8 -*-
 from scrapy import cmdline
 cmdline.execute("scrapy crawl douban".split())

8.运行结果