scrapy简单入门及选择器(xpath\css)

简介

　　scrapy被认为是比较简单的爬虫框架，资料比较齐全，网上也有很多教程。官网上介绍了它的四种安装方法，PyPI、Conda、APT、Source，我们只介绍最简单的安装方法。

安装

Windows下的安装

　　pip install scrapy

Linux下的安装

　　apt-get install python-scrapy

　　APT

vim编辑器

　　因为Linux的强大及辅助工具比较多，大家比较喜欢在Linux下使用scrapy爬虫框架，Linux下编写python代码最强大的工具可属eclipse,但最方便的要属vi的强化版本vim了，对不同的编程语言配合不同的插件，可将vim配置成为一个专属的IDE。

VIM模块

选择器XPath和CSS

　　XPath是一门在XML文档中查找信息的语言，可用来在XML文档中对元素和属性进行遍历。它有七点类型的节点：元素、属性、文本、命名空间、处理指令、注释及文档节点（根节点），XML文档是被作为节点树来对待的，树的根被称为根节点。

　　XPath使用路径表达式在XML文档中选取节点。

　　XPath最常用的路径表达式：

　　

　　xpath示例代码

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book>
  <title lang="eng">Harry Potter</title>
  <price>29.99</price>
</book>

<book>
  <title lang="eng">Learning XML</title>
  <price>39.95</price>
</book>

</bookstore>

　　举例说明：

bookstore  选取bookstore元素的所有子节点
/bookstore  选择根元素下的bookstore元素,假如路径起始于/
bookstore/book  选取bookstoe的所有子元素中为book的元素
//book  选取文档中的所有book元素，不管它在什么位置
//bookstore//book   选择属于bookstore元素后代的所有book元素，不管它在什么位置
//@lang 选择所有属性为lang的元素
/bookstore/book[]      选取bookstore子元素中的第一个book元素
/bookstore/book[last()]   选取bookstore子元素中的最后一个book元素
/bookstore/book[last()-]   选取bookstore子元素中倒数第二个book元素
/bookstore/book[postion()<] 选取bookstore子元素中前两个book元素
//title[@lang]              选取所有title元素且其属性拥有lang名
//title[@lang='en']         选取所有title元素且其属性拥有lang='en'
/bookstore/book[price>]   选取bookstore元素下所有子元素中元素price>30book的元素
/title/text()  提取title标签上的文字
/a/@href  提取a标签的href属性值  
response.xpath("//a[contains(.,'下一页')]/text()")[1].extract()  # 根据文本内容查找

　　未知节点

* 任何元素节点
@*    任何属性节点

/bookstore/*    bookstore元素下的所有子元素
//*             当前文档的所有元素
//title[@*]     所有带有属性的title元素

　　选取若干路径

//book/title|//book/price       选取book元素下的所有title和price元素
//title|//price                 选取文档中的所有title和price元素

　　示例代码2：

<superhero>
    <class>
        <name lang="en">Tony Stark</name>
        <alias>Iron Man</alias>
        <sex>male</sex>
        <birthday></birthday>
        <age></age>
    </class>
    <class>
        <name lang="en">Perter Benjamin</name>
        <alias>Spider Man</alias>
        <sex>male</sex>
        <birthday>unknow</birthday>
        <age>unknow</age>
    </class>
    <class>
        <name lang="en">Steven Rogers</name>
        <alias>Captain America</alias>
        <sex>male</sex>
        <birthday></birthday>
        <age></age>
    </class>
</superhero>

分析以上代码：superhero是根节点，alias是元素节点，lang="en"是属性节点。

　　小试牛刀

#!/usr/bin/env python
# _*_ coding:utf-8 _*_

from scrapy.selector import Selector

with open("superHero.xml",'r') as fp:
    body = fp.read()

htmlContent = Selector(text=body).xpath("/*").extract()
print htmlContent
结果：XML文件转成了标准的HTML文件,根节点不再是superhero而是html　

　　数据收集的比较

#!/usr/bin/env python
# _*_ coding:utf- _*_

from scrapy.selector import Selector

with open("superHero.xml",'r') as fp:
    body = fp.read()

# 采集第一个class节点中的内容,text表示传入的内容是字符串
Selector(text=body).xpath("//superhero/class[0]").extract()
Selector(text=body).css("superhero class:first-child").extract()

# 采集最后一个class节点中的内容
Selector(text=body).xpath("//superhero/class[last()]").extract()
Selector(text=body).css("superhero class:last-child").extract()

# 采集倒数第二个class节点中name节点的文本,text()表示获取文本
Selector(text=body).xpath("//superhero/class[last()-1]/name/text()").extract()
Selector(text=body).css("superhero class:nth-last-child(2) name").extract()[]

# 采集节点name,其属性节点lang='en'的元素,@前缀代表属性名称(@lang代表lang属性，用中括号圈起来)
Selector(text=body).xpath("//name[@lang='en']").extract()
Selector(text=body).css("name[lang='en']").extract()

# 嵌套选择器,选择最后一个class节点中sex节点的内容
subBody = Selector(text=body).xpath("//superhero/class[last()]").extract()
Selector(text=subBody[]).xpath("/html/body/class/sex/text()").extract()
Selector(text=subBody[]).xpath("//class/sex/text()").extract()

　　CSS:层叠样式表

　　CSS经常使用的几个选择器：

　　

　　 css也可以嵌套使用，所以它和xpath可以互相嵌套，使用数据收集功能更加强大。

　　 CSS示例代码（同示例代码2）：

s.css("title::text").extract_first()  # 提取title标签的文本
s.css("base::attr(href)").extract_first() # 提取base标签的herf属性值
s.css("a[href^=image]::attr(href)").extract() # 提取以image开头的属性列表
s.xpath('//a[contains(@href, "image")]/@href').extract()  # href属性中包含image字符串列表
s.css('a[href^=image]::text').re(r'Name:\s(.*)')  # 正则也可以序列化数据，返回括号中的文本串

好，scrapy的基本情况已经介绍完了，下面来尝试通过使用模板的方式来创建一个爬虫吧。

1、创建一个目录用来存放所有的爬虫工程

$mkdir -p code/crawler/scrapyProject

2、在工程目录下创建首个爬虫工程

cd code/crawler/scrapyProject/

scrapy startproject todayMovie

3、为此工程创建爬虫程序

$ scrapy genspider wuHanMoiveSpider jycimima.com --force

4、使用tree命令查看此工程目录

　　第一级todayMovie：此工程名称

　　第二级todayMovie: 此工程模块，存放此工程所有的爬虫代码

　　scrapy.cfg: 此工程的全局配置文件

　　items.py: 定义了一个类，存放爬虫最终爬取的项目，数据最终以字典的形式表现，键值为列表。

　　wuHanMoiveSpider.py: 真正的爬虫程序，用来爬取网页内容，并生成item数据。

　　settings.py:配置由谁去处理爬取的item数据。

　　piplines.py: 逐条处理爬取的item数据。

5、scrapy框架流程图：