Python爬虫从入门到放弃（十四）之 Scrapy框架中选择器的用法

请给作者点赞 --> 原文链接

Scrapy提取数据有自己的一套机制，被称作选择器（selectors）,通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分
Xpath是专门在XML文件中选择节点的语言，也可以用在HTML上。
CSS是一门将HTML文档样式化语言，选择器由它定义，并与特定的HTML元素的样式相关联。

XPath选择器

常用的路径表达式，这里列举了一些常用的，XPath的功能非常强大，内含超过100个的内建函数。
下面为常用的方法

nodeName    选取此节点的所有节点

/           从根节点选取

//          从匹配选择的当前节点选择文档中的节点，不考虑它们的位置

.           选择当前节点

..          选取当前节点的父节点

@           选取属性

*           匹配任何元素节点

@*          匹配任何属性节点

Node()      匹配任何类型的节点

CSS选择器

CSS层叠样式表，语法由两个主要部分组成：选择器，一条或多条声明
Selector {declaration1;declaration2;……}

下面为常用的使用方法

.class              .color              选择class=”color”的所有元素

#id                 #info               选择id=”info”的所有元素

*                   *                   选择所有元素

element             p                   选择所有的p元素

element,element     div,p               选择所有div元素和所有p元素

element element     div p               选择div标签内部的所有p元素

[attribute]         [target]            选择带有targe属性的所有元素

[arrtibute=value]   [target=_blank]     选择target=”_blank”的所有元素

选择器的使用例子

上面我们列举了两种选择器的常用方法，下面通过scrapy帮助文档提供的一个地址来做演示
地址：http://doc.scrapy.org/en/latest/_static/selectors-sample1.html
这个地址的网页源码为：

    <html>

     <head>

      <base href='http://example.com/' />

      <title>Example website</title>

     </head>

     <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

     </body>

    </html>

我们通过scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html来演示两种选择器的功能

获取title

这里的extract_first()就可以获取title标签的文本内容,因为我们第一个通过xpath返回的结果是一个列表，所以我们通过extract()之后返回的也是一个列表，而extract_first()可以直接返回第一个值，extract_first()有一个参数default,例如：extract_first(default="")表示如果匹配不到返回一个空

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [1]: response.xpath('//title/text()')

Out[1]: [<Selector xpath='//title/text()' data='Example website'>]

In [2]: response.xpath('//title/text()').extract_first()

Out[2]: 'Example website'

In [6]: response.xpath('//title/text()').extract()

Out[6]: ['Example website']

同样的我们也可以通过css选择器获取，例子如下：

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [7]: response.css('title::text')

Out[7]: [<Selector xpath='descendant-or-self::title/text()' data='Example website'>]

In [8]: response.css('title::text').extract_first()

Out[8]: 'Example website'

查找图片信息
这里通过xpath和css结合使用获取图片的src地址：

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [13]: response.xpath('//div[@id="images"]').css('img')

Out[13]:

[<Selector xpath='descendant-or-self::img' data='<img src="data:image1_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image2_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image3_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image4_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image5_thumb.jpg">'>]

In [14]: response.xpath('//div[@id="images"]').css('img::attr(src)').extract()

Out[14]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

查找a标签信息
这里分别通过xapth和css选择器获取a标签的href内容，以及文本信息，css获取属性信息是通过attr,xpath是通过@属性名

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [15]: response.xpath('//a/@href')

Out[15]:

[<Selector xpath='//a/@href' data='image1.html'>,

 <Selector xpath='//a/@href' data='image2.html'>,

 <Selector xpath='//a/@href' data='image3.html'>,

 <Selector xpath='//a/@href' data='image4.html'>,

 <Selector xpath='//a/@href' data='image5.html'>]

In [16]: response.xpath('//a/@href').extract()

Out[16]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [17]: response.css('a::attr(href)')

Out[17]:

[<Selector xpath='descendant-or-self::a/@href' data='image1.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image2.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image3.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image4.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image5.html'>]

In [18]: response.css('a::attr(href)').extract()

Out[18]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [27]: response.css('a::text').extract()

Out[27]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

In [28]: response.xpath('//a/text()').extract()

Out[28]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

In [29]:

高级用法
查找属性名称包含img的所有的超链接，通过contains实现

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [36]: response.xpath('//a[contains(@href,"image")]/@href').extract()

Out[36]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [37]: response.css('a[href*=image]::attr(href)').extract()

Out[37]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [38]:

查找img的src属性

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [41]: response.xpath('//a[contains(@href,"image")]/img/@src').extract()

Out[41]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

In [42]: response.css('a[href*=image] img::attr(src)').extract()

Out[42]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

In [43]:

提取a标签的文本中name后面的内容，这里提供了正则的方法re和re_first

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [43]: response.css('a::text').re('Name\:(.*)')

Out[43]:

[' My image 1 ',

 ' My image 2 ',

 ' My image 3 ',

 ' My image 4 ',

 ' My image 5 ']

In [44]: response.css('a::text').re_first('Name\:(.*)')

Out[44]: ' My image 1 '

Scrapy框架中选择器的用法【转】的更多相关文章

scrapy框架中选择器的用法
scrapy框架中选择器的用法 Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中 ...
Python爬虫从入门到放弃（十四）之 Scrapy框架中选择器的用法
Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...
Python之爬虫（十六） Scrapy框架中选择器的用法
Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...
scrapy框架中Download Middleware用法
scrapy框架中Download Middleware用法 Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给sp ...
scrapy框架中Item Pipeline用法
scrapy框架中item pipeline用法当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的pyt ...
4-----Scrapy框架中选择器的用法
Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...
Python爬虫从入门到放弃（十六）之 Scrapy框架中Item Pipeline用法
当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的python类,负责接收到item并通过它执行一些行为, ...
Python之爬虫（十八） Scrapy框架中Item Pipeline用法
当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的python类,负责接收到item并通过它执行一些行为, ...
Python爬虫从入门到放弃（十七）之 Scrapy框架中Download Middleware用法
这篇文章中写了常用的下载中间件的用法和例子.Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给spiders的时候,所以 ...

随机推荐

网页mp3不能获取，报404问题解决
js有些时候有些报错就是很莫名其妙一代码没错,js,html一点红都没有然后上正式的时候,mp3不能播放音乐,报404 二出这个错误,我第一反应是正式的配置有问题,毕竟开发测试都可以是不是? ...
sublime格式化HTML+CSS插件--HTML-CSS-JS Prettify
介绍在工作中经常会下载不同项目的源码,可能是压缩的原因,其中一些代码的格式十分的乱,这样就会导致阅读起来十分的不方便,所以下面介绍一个sublime的插件:HTML-CSS-JS Prettify ...
Centos 6.5 修改默认分辨率
需要两步: 第一步: 编辑/etc/grub.conf文件,删除“nomodeset” 单词 ,翻到该页最后一行,就可以看到该词: 第二步: 删除文件/etc/X11/xorg.conf , Inte ...
JS常用公共方法封装
_ooOoo_ o8888888o 88" . "88 (| -_- |) O\ = /O ____/`---'\____ .' \\| |// `. / \\||| : |||/ ...
从零开始的全栈工程师——js篇2.5
数据类型与全局属性 js的本质就是处理数据数据来自于后台的数据库所以变量就起到一个临时存储数据的这作用ECMAscirpt 制定了js的数据类型一.数据类型 1.基本数据类型基本数据类型就是简单 ...
牛客NOIP提高组(三)题解
心路历程预计得分:$30 + 0 + 0 = 30$ 实际得分:$0+0+0= 0$ T1算概率的时候没模爆long long了... A 我敢打赌这不是noip难度... 考虑算一个位置的概率,若 ...
域名带与不带www的区别
首先我们来说下为什么会产生带www与不带www的两种域名. 不带www的域名为顶级域名或一级域名,如qiankoo.com.带www的为二级域名,如www.qiankoo.com. 在购买域名时,域名 ...
iOS核心动画高级技巧之图层变换和专用图层(二)
iOS核心动画高级技巧之CALayer(一) iOS核心动画高级技巧之图层变换和专用图层(二)iOS核心动画高级技巧之核心动画(三)iOS核心动画高级技巧之性能(四)iOS核心动画高级技巧之动画总结( ...
Android商城开发系列（十一）—— 首页秒杀布局实现
首页秒杀布局如下图: 布局使用的是LinearLayout和RecyclerView去实现,新建seckkill_item.xml,代码如下所示: <?xml version="1.0 ...
UOJ#122【NOI2013】树的计数
[NOI2013]树的计数链接:http://uoj.ac/problem/122 按BFS序来,如果$B_i$与$B_{i-1}$必须在同一层,那么贡献为0,必须在不同层那么贡献为1,都可以贡献为 ...

Scrapy框架中选择器的用法【转】