Python-Scrapy创建第一个项目

创建项目

在开始爬取之前，您必须创建一个新的Scrapy项目。进入您打算存储代码的目录中，运行下列命令：

scrapy startproject tutorial

• 1

该命令行将会创建包含下列内容的tutorial目录：

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10

这些文件分别是：

• scrapy.cfg:项目的配置文件
• tutorial:该项目的python模块。之后您将在此加入代码。
• tutorial/items.py:项目中的item文件。
• tutorial/pipelines.py:项目中的pipelines文件。
• tutorial/spiders/：放置spider代码的目录。

定义Item 
Item是保存爬取到的数据的容器：其使用方法和python字典类似，并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。 
类似在ORM中做的一样，你可以通过创建一个scrapy.Item类，并且定义类型为scrapy.Field的类属性来定义一个Item。 
首先根据需要从dmoz.org获取到的数据对item进行建模。我们需要从dmoz中获取名字，url，以及网站的描述。对此，在item中定义相应的字段。编辑tutorial目录中的items.py文件：

import scrapy

class DmozItem(scrapy.Item):
    title=scrapy.Field()
    link=scrapy.Field()
    desc=scrapy.Field()

• 1
• 2
• 3
• 4
• 5
• 6

一开始这看起来可能有点复杂，但是通过定义item，您可以很方便的使用Scrapy的其他方法。而这些方法需要知道您的item定义

编写第一个爬虫（Spider） 
Spider是用户编写用于从单个网站（或者一些网站）爬取数据的类。 
其包含了一个用于下载的初始url,如何跟进网页中的链接以及如何分析页面中的内容，提取生成item的方法。 
为了创建一个Spider,您必须继承scrapy.Spider类，且定义以下三个属性：

• name:用于区别Spider。改名字必须是唯一的，您不可以为不同的Spider设定相同的名字。
• start_urls:包含了Spider在启动时进行爬取的url列表。因此，第一个被获取的页面给将是其中之一。后续的URL则从初始的URL获取到的数据中提取。

• parse():是spider的一个方法。被调用时，每个初始url完成下载后生成的Response对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据（response data）,提取数据（生成item）以及生成需要进一步处理的URL的Request对象。

  以下为我们第一个Spider代码，保存在tutorial/spiders目录下的dmoz_spider.py文件中：

import scrapy

class DmozSplider(scray.spiders.Spider):
    name="dmoz"
    allowed_domain=["dmoz.org"]
    start_urls=[
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self,response):
        filename=response.url.split("/")[-2]
        with open(file,"wb") as f:
            f.write(response.body)

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14

爬取 
进入项目的根目录，执行下列命令启动spider:

scrapy crawl dmoz

• 1

crawl dmoz 启动用于爬取dmoz.org的spider,您将得到类似的输出：

2014-01-23 18:13:07-0400 [scrapy] INFO: Scrapy started (bot: tutorial)
2014-01-23 18:13:07-0400 [scrapy] INFO: Optional features available: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Overridden settings: {}
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled extensions: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled downloader middlewares: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled spider middlewares: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled item pipelines: ...
2014-01-23 18:13:07-0400 [dmoz] INFO: Spider opened
2014-01-23 18:13:08-0400 [dmoz] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)
2014-01-23 18:13:09-0400 [dmoz] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: None)
2014-01-23 18:13:09-0400 [dmoz] INFO: Closing spider (finished)

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11

查看包含dmoz的输出，可以看到输出的log中包含定义在start_urls的初始url,并且与splider中是一一对应的。在log中可以看到其没有指向其他页面（referer:None）

除此之外，更有趣的事情发生了。就像我们parse方法指定的那样，这两个包含url所对应的内容的文件被创建了：Book,Resources。

刚才发生了什么 
Scrapy为Spider的start_urls属性中的每个url创建了scrapy.Request对象，并将parse()方法作为回调函数（callback)赋值给了Request

Request对象进过调度，执行生成scrapy.http.Response对象并送回给Spiderparse()方法