Scrapy003-项目流程

@(Spider)[POSTS]

前两篇文章我们了解到Scrapy的原理和安装的相关知识，这节就需要知道创建项目流程的小知识。

根据官方文档：http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html中的入门教程，将流程进一步细化。

有些知识现在不需要明白，理解这个流程工作流程即可。

1. 创建项目工程

这里和Django很类似，基本上一个模子出来的。

python

scrapy startproject tutorial

此命令属于全局命令，帮我们创建很多内容：

python

tutorial/

    scrapy.cfg

    tutorial/

        __init__.py

        items.py

        pipelines.py

        settings.py

        spiders/

            __init__.py

这些文件的作用：

scrapy.cfg

项目的配置文件，用于检测项目所在位置，加载默认配置文件的入口
tutorial

创建的项目目录
items.py

项目中的Item文件，就是前面说过的：创建容器用于存储目标结果
piplines

项目管道文件，对结果的进一步处理，然后持久化结果
settings

整个项目的配置文件
spiders

自定义爬虫的目录，将所有自定义的爬虫文件全部放在该目录

还有很多其他目录，但是需要自己去添加，比如：添加自定义的中间件

2. 定义数据容器`Item`

Item是用来保存爬取到的数据的容器，其实Item是继承于Dict，也可以理解为Python字典的别名，并且提供了额外的保护机制来避免错误导致的未定义字段错误。

　具体情况，看看Item的源码就清楚了！

类似Django里面的ORM操作，通过继承scrapy.Item类，根据定义类型scrapy.Field，来定义一个Item数据容器。

比如：我们需要获取目标网页的

名称
链接
描述内容

对此，在items.py中定义相关的字段，具体如下：

import scrapy

class TutorialItem(scrapy.Item):

    # define the fields for your item here like:

    # name = scrapy.Field()

    title = scrapy.Field()

    link = scrapy.Field()

    desc = scrapy.Field()

在项目创建的时候，就已经为我们创建好对应的TutorialItem类，只需要我们添加对应的字段即可。

3. 编写爬虫`Spider`

我们需要在tutorial/spiders/目录下载创建自定义的爬虫文件，这里我们使用命令行工具（你也可以鼠标创建）：

scrapy genspider -t basic dmoz dmoz.org

#scrapy genspider生成爬虫命令

#-t 模板类型

#domz 爬虫名称

#dmoz.org 爬取的域名

这里需要知道有这个命令即可。

执行完以上命令后，会在tutorial/spiders/下自动生成dmoz.py文件，文件内容：

import scrapy

class DmozSpider(scrapy.Spider):

    name = "dmoz"

    allowed_domains = ["dmoz.org"]

    start_urls = ['http://dmoz.org/']

    def parse(self, response):

        pass

命令行工具下，为我们自动创建了很多内容：

DmozSpider(scrapy.Spider)类

定义的爬虫类：名称+Spider，并继承scrapy.Spider类
name

定义的爬虫名称，该名称必须是唯一的，用于区分Spider。
allowed_domains

可爬取的域名
start_urls

Spider启动时进行爬取的URL列表，也就是我们所说的种子URL。后续的URL从这些种子URL获取到数据。
parse()

父类中的一个方法，该方法负责解析返回的数据（response data），并提取数据生成数据容器Item或生成需要进一步处理的URL的Request对象。当该爬虫被调用时，每个初始URL（种子URL）经过一系列流程到下载器处理后生成的响应对象(response)将会作为唯一的参数传递给该函数。

response和Django视图函数中的request原理一样

下面开始写一个简单的爬虫实例

在dmoz.py文件中，进行如下修改：

import scrapy

class DmozSpider(scrapy.Spider):

    name = "dmoz"

    allowed_domains = ["dmoz.org"]

    start_urls = [

        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",

        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"

    ]

    def parse(self, response):

        filename = response.url.split("/")[-2]

        with open(filename, 'wb') as f:

            f.write(response.body)

上面是使用官方文档的例子

4. 爬取

此时，我们需要进入项目的根目录下，执行下列命令启动spider：

scrapy crawl dmoz #局部命令

屏幕输出：

2016-12-01 11:45:42 [scrapy] INFO: Scrapy 1.2.1 started (bot: tutorial)

2016-12-01 11:45:42 [scrapy] INFO: Overridden settings: {'SPIDER_MODULES': ['tutoria

l.spiders'], 'BOT_NAME': 'tutorial', 'NEWSPIDER_MODULE': 'tutorial.spiders', 'ROBOTS

TXT_OBEY': True}

2016-12-01 11:45:42 [scrapy] INFO: Enabled extensions:

['scrapy.extensions.corestats.CoreStats',

 'scrapy.extensions.logstats.LogStats',

 'scrapy.extensions.telnet.TelnetConsole']

2016-12-01 11:45:42 [scrapy] INFO: Enabled downloader middlewares:

['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',

 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',

 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',

 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',

 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',

 'scrapy.downloadermiddlewares.retry.RetryMiddleware',

 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',

 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',

 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',

 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',

 'scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware',

 'scrapy.downloadermiddlewares.stats.DownloaderStats']

2016-12-01 11:45:42 [scrapy] INFO: Enabled spider middlewares:

['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',

 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',

 'scrapy.spidermiddlewares.referer.RefererMiddleware',

 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',

 'scrapy.spidermiddlewares.depth.DepthMiddleware']

2016-12-01 11:45:42 [scrapy] INFO: Enabled item pipelines:

[]

2016-12-01 11:45:42 [scrapy] INFO: Spider opened

2016-12-01 11:45:42 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items

 (at 0 items/min)

2016-12-01 11:45:42 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023

2016-12-01 11:45:43 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/robots.tx

t> (referer: None)

2016-12-01 11:45:44 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers

/Programming/Languages/Python/Resources/> (referer: None)

2016-12-01 11:45:44 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers

/Programming/Languages/Python/Books/> (referer: None)

2016-12-01 11:45:44 [scrapy] INFO: Closing spider (finished)

2016-12-01 11:45:44 [scrapy] INFO: Dumping Scrapy stats:

{'downloader/request_bytes': 734,

 'downloader/request_count': 3,

 'downloader/request_method_count/GET': 3,

 'downloader/response_bytes': 16013,

 'downloader/response_count': 3,

 'downloader/response_status_count/200': 3,

 'finish_reason': 'finished',

 'finish_time': datetime.datetime(2016, 12, 1, 3, 45, 44, 251572),

 'log_count/DEBUG': 4,

 'log_count/INFO': 7,

 'response_received_count': 3,

 'scheduler/dequeued': 2,

 'scheduler/dequeued/memory': 2,

 'scheduler/enqueued': 2,

 'scheduler/enqueued/memory': 2,

 'start_time': datetime.datetime(2016, 12, 1, 3, 45, 42, 567933)}

2016-12-01 11:45:44 [scrapy] INFO: Spider closed (finished)

查看包含 [dmoz] 的输出，可以看到输出的log中包含定义在start_urls的初始URL，并且与spider中是一一对应的。在log中可以看到其没有指向其他页面( (referer:None) )。

同时还创建了两个文件：Book，Resources

上述过程大致如下：

Scrapy的Spider为start_urls中的每个种子URL创建了一个scrapy.request请求对象，并将parse方法作为回调函数（callback）赋值给Request。

Request经过一些流程，生成scrapy.http.response响应对象，并发送给parse()处理。

这个过程就是种子URL的整体数据流过程，后续处理的URL几乎都是在重复此流程。

5. 提取数据到数据容器`Item`

提取数据我们就需要一些选择器Selectors的知识，在网页中提取数据有很多方法。Scrapy使用了一种基于Xpath和CSS表达式的机制：Scrapy Selectors。

这里简单介绍四个基本方法：

xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表。
css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
extract(): 序列化该节点为unicode字符串并返回list。
re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表

推荐使用Xpath，简单方便，性能好，当然正则也是必须要熟练使用的。

接下来，对dmoz.py进一步的修改：

import scrapy

from tutorial.items import TutorialItem #导入数据容器类

class DmozSpider(scrapy.Spider):

    name = "dmoz"

    allowed_domains = ["dmoz.org"]

    start_urls = [

        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",

        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"

    ]

    def parse(self, response):

        for sel in response.xpath('//ul/li'):

            item = TutorialItem()

            item['title'] = sel.xpath('a/text()').extract()

            item['link'] = sel.xpath('a/@href').extract()

            item['desc'] = sel.xpath('text()').extract()

            yield item

yield起到传值的作用，具体会在后面的源码分析中提到，敬请期待！

做进一步的爬取：

scrapy  crawl   dmoz

在不禁用日志的情况下，我们可以看到爬取的内容：

[dmoz] DEBUG: Scraped from <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Books/>

     {'desc': [u' - By David Mertz; Addison Wesley. Book in progress, full text, ASCII format. Asks for feedback. [author website, Gnosis Software, Inc.\n],

      'link': [u'http://gnosis.cx/TPiP/'],

      'title': [u'Text Processing in Python']}

[dmoz] DEBUG: Scraped from <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Books/>

     {'desc': [u' - By Sean McGrath; Prentice Hall PTR, 2000, ISBN 0130211192, has CD-ROM. Methods to build XML applications fast, Python tutorial, DOM and SAX, new Pyxie open source XML processing library. [Prentice Hall PTR]\n'],

      'link': [u'http://www.informit.com/store/product.aspx?isbn=0130211192'],

      'title': [u'XML Processing with Python']}

6.保存爬取的数据

最简单的存储方式是使用Feed exports：

scrapy crawl dmoz -o items.json

该命令将采用 JSON 格式对爬取的数据进行序列化，生成 items.json 文件。

以上流程是使用Scrapy框架的组基本的流程，还有很多内容没有涉及到，在后面的实战篇将提及到。