python爬虫scrapy学习之篇二

继上篇《python之urllib2简单解析HTML页面》之后学习使用Python比较有名的爬虫scrapy。网上搜到两篇相应的文档，一篇是较早版本的中文文档Scrapy 0.24 文档，一篇是当前最新文档Scrapy 1.3 documentation，建议还是看最新的英文文档比较好。

scrapy的安装教程请参考上篇《python之urllib2简单解析HTML页面》。

1、创建一个个Scrapy项目

scrapy startproject firstCrawler

目录切换到firstCrawler，目录结构如下：

├── firstCrawler

│ ├── __init__.py

│ ├── items.py

│ ├── middlewares.py

│ ├── pipelines.py

│ ├── settings.py

│ └── spiders

│ └── __init__.py

└── scrapy.cfg

scrapy.cfg: 项目的配置文件
tems.py: 项目中的item文件，用来定义解析对象对应的属性或字段。
pipelines.py: 负责处理被spider提取出来的item。典型的处理有清理、验证及持久化(例如存取到数据库）
settings.py: 项目的设置文件.
spiders：实现自定义爬虫的目录
middlewares.py：Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

这里开发的IDE使用IDEA，因为笔记本上本来就装了，就不想麻烦。因为使用的是Python的虚拟环境，因此需要额外配置一下。如下图：

2、定义Item

Item 是保存爬取到的数据的容器；其使用方法和python字典类似，并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。首先根据需要从dmoz.org获取到的数据对item进行建模。我们需要从dmoz中获取名字，url，以及网站的描述。对此，在item中定义相应的字段。

# -*- coding: utf-8 -*-

# Define here the models for your scraped items

#

# See documentation in:

# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class FirstcrawlerItem(scrapy.Item):

    # define the fields for your item here like:

    # name = scrapy.Field()

    title = scrapy.Filed()

    link = scrapy.Filed()

    desc = scrapy.Filed()

    pass

这里定义了三个字段title、link、desc，实际的应用中会更复杂。这个文件就简单的定义好了，这意味着我们抓取的页面元素是标题、连接、描述。

3、编写第一个爬虫（Spider）

自己创建的爬虫必须继承 scrapy.Spider 类， 且定义以下三个属性:

name: 用于区别Spider。该名字必须是唯一的，您不可以为不同的Spider设定相同的名字，一个项目中可以有多个爬虫。运行时通过指定name运行指定的爬虫。
start_urls: 包含了Spider在启动时进行爬取的url列表。因此，第一个被获取到的页面将是其中之一。后续的URL则从初始的URL获取到的数据中提取。
allowed_domains:可选。包含了spider允许爬取的域名(domain)列表(list)。当 OffsiteMiddleware 启用时，域名不在列表中的URL不会被跟进。
parse() 是spider的一个方法。被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

提取Item元素，需要用到Selectors选择器,网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors

这里给出XPath表达式的例子及对应的含义(http://www.w3school.com.cn/xpath/index.asp):

/html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
/html/head/title/text(): 选择上面提到的 <title> 元素的文字
//td: 选择所有的 <td> 元素
//div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表。
css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
extract(): 序列化该节点为unicode字符串并返回list。
re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。

import scrapy

class DemoSpider(scrapy.Spider):

    name = "Demo"

    allowed_domains = ["dmoztools.net"]

    start_urls = [

        "http://www.dmoztools.net/World/Chinese_Simplified/%E8%AE%A1%E7%AE%97%E6%9C%BA/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%91%E8%AE%A1%E7%AE%97/"

    ]

    def parse(self, response):

        for sel in response.xpath("//div[@class='title-and-desc']"):

            title = sel.xpath("a/div[@class='site-title']/text()").extract()

            link = sel.xpath("a/@href").extract()

            desc = sel.xpath("div[@class='site-descr ']/text()").extract()

            print title, link, desc

4、运行爬虫

进入项目的根目录，就是scrapy.cfg所在的目录运行

(e27) ➜  firstCrawler scrapy crawl Demo

结果如下

-- :: [scrapy.utils.log] INFO: Scrapy 1.3. started (bot: firstCrawler)

-- :: [scrapy.utils.log] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'firstCrawler.spiders', 'SPIDER_MODULES': ['firstCrawler.spiders'], 'ROBOTSTXT_OBEY': True, 'BOT_NAME': 'firstCrawler'}

-- :: [scrapy.middleware] INFO: Enabled extensions:

['scrapy.extensions.logstats.LogStats',

 'scrapy.extensions.telnet.TelnetConsole',

 'scrapy.extensions.corestats.CoreStats']

-- :: [scrapy.middleware] INFO: Enabled downloader middlewares:

['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',

 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',

 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',

 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',

 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',

 'scrapy.downloadermiddlewares.retry.RetryMiddleware',

 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',

 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',

 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',

 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',

 'scrapy.downloadermiddlewares.stats.DownloaderStats']

-- :: [scrapy.middleware] INFO: Enabled spider middlewares:

['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',

 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',

 'scrapy.spidermiddlewares.referer.RefererMiddleware',

 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',

 'scrapy.spidermiddlewares.depth.DepthMiddleware']

-- :: [scrapy.middleware] INFO: Enabled item pipelines:

[]

-- :: [scrapy.core.engine] INFO: Spider opened

-- :: [scrapy.extensions.logstats] INFO: Crawled  pages (at  pages/min), scraped  items (at  items/min)

-- :: [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:

-- :: [scrapy.core.engine] DEBUG: Crawled () <GET http://www.dmoztools.net/robots.txt> (referer: None)

-- :: [scrapy.core.engine] DEBUG: Crawled () <GET http://www.dmoztools.net/World/Chinese_Simplified/%E8%AE%A1%E7%AE%97%E6%9C%BA/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%91%E8%AE%A1%E7%AE%97/> (referer: None)

[u'IT168\u4e91\u8ba1\u7b97\u9891\u9053 '] [u'http://cloud.it168.com/'] [u'\r\n\t\t\t\r\n                                    \u63d0\u4f9b\u4e91\u8ba1\u7b97\u6700\u65b0\u8d44\u8baf\u3001\u6280\u672f\u89e3\u8bfb\uff0c\u4ea7\u54c1\u548c\u670d\u52a1\u7684\u5bfc\u8d2d\u548c\u9009\u578b\uff0c\u5206\u4eab\u56fd\u5185\u5916\u4e91\u8ba1\u7b97\u7684\u6210\u529f\u6848\u4f8b\u3002\r\n                                    ', u'\r\n                                  ']

[u'\u4e2d\u4e91\u7f51 '] [u'http://www.china-cloud.com/'] [u'\r\n\t\t\t\r\n                                    \u63d0\u4f9b\u4e91\u8ba1\u7b97\u8d44\u8baf\uff0c\u5305\u62ec\u4e91\u8ba1\u7b97\u6280\u672f\u3001\u4e91\u8ba1\u7b97\u5e94\u7528\u3001\u4e91\u8ba1\u7b97\u4ea7\u4e1a\u3001\u4e91\u8ba1\u7b97\u5e02\u573a\u3001\u4e91\u5b58\u50a8\u3001\u4e91\u5b89\u5168\u3001\u4e91\u670d\u52a1\u7b49\u76f8\u5173\u8d44\u8baf\u3002\r\n                                    ', u'\r\n                                  ']

[u'\u4e2d\u5173\u6751\u5728\u7ebf\u4e91\u8ba1\u7b97\u9891\u9053 '] [u'http://cloud.zol.com.cn/'] [u'\r\n\t\t\t\r\n                                    \u63d0\u4f9b\u4e91\u8ba1\u7b97\u884c\u60c5\uff0c\u4e91\u8ba1\u7b97\u62a5\u4ef7\uff0c\u4e91\u8ba1\u7b97\u8bc4\u6d4b\uff0c\u4e91\u8ba1\u7b97\u8bba\u575b\uff0c\u4e91\u8ba1\u7b97\u7ecf\u9500\u5546\u7b49\u6709\u4ef7\u503c\u7684\u53c2\u8003\u3002\r\n                                    ', u'\r\n                                  ']

[u'\u4e2d\u56fd\u4e91\u8ba1\u7b97 '] [u'http://www.chinacloud.cn/'] [u'\r\n\t\t\t\r\n                                    \u63d0\u4f9b\u4e91\u8ba1\u7b97\u6982\u5ff5\u3001\u4e91\u8ba1\u7b97\u6280\u672f\u3001\u4e91\u8ba1\u7b97\u5e94\u7528\u3001\u4e91\u8ba1\u7b97\u5b66\u4e60\u3001\u4e91\u8ba1\u7b97\u673a\u3001\u4e91\u5b58\u50a8\u3001\u4e91\u5b89\u5168\u3001\u4e91\u670d\u52a1\u7b49\u4ea4\u6d41\u4e2d\u5fc3\u3002\r\n                                    ', u'\r\n                                  ']

[u'\u4e2d\u56fd\u4e91\u8ba1\u7b97\u670d\u52a1\u7f51 '] [u'http://www.cloudguide.com.cn/'] [u'\r\n\t\t\t\r\n                                    \u63d0\u4f9b\u4e91\u8ba1\u7b97\u65b0\u95fb\u8d44\u8baf\u4ee5\u53ca\u4e91\u8ba1\u7b97\u4ea7\u54c1\u548c\u670d\u52a1\uff0c\u540c\u65f6\u63d0\u4f9b\u6709\u4ef7\u503c\u7684\u4e91\u8ba1\u7b97\u884c\u4e1a\u89e3\u51b3\u65b9\u6848\u53ca\u5e94\u7528\u6848\u4f8b\u7b49\u70ed\u95e8\u8d44\u6e90 \u3002\r\n                                    ', u'\r\n                                  ']

-- :: [scrapy.core.engine] INFO: Closing spider (finished)

-- :: [scrapy.statscollectors] INFO: Dumping Scrapy stats:

{'downloader/request_bytes': ,

 'downloader/request_count': ,

 'downloader/request_method_count/GET': ,

 'downloader/response_bytes': ,

 'downloader/response_count': ,

 'downloader/response_status_count/200': ,

 'finish_reason': 'finished',

 'finish_time': datetime.datetime(, , , , , , ),

 'log_count/DEBUG': ,

 'log_count/INFO': ,

 'response_received_count': ,

 'scheduler/dequeued': ,

 'scheduler/dequeued/memory': ,

 'scheduler/enqueued': ,

 'scheduler/enqueued/memory': ,

 'start_time': datetime.datetime(, , , , , , )}

-- :: [scrapy.core.engine] INFO: Spider closed (finished)

可以看到已经抓取到了结果，只不过汉字用的是Unicode码表示