Python爬虫从入门到放弃（十四）之 Scrapy框架中选择器的用法

请给作者点赞 --> 原文链接

Scrapy提取数据有自己的一套机制，被称作选择器（selectors）,通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分
Xpath是专门在XML文件中选择节点的语言，也可以用在HTML上。
CSS是一门将HTML文档样式化语言，选择器由它定义，并与特定的HTML元素的样式相关联。

XPath选择器

常用的路径表达式，这里列举了一些常用的，XPath的功能非常强大，内含超过100个的内建函数。
下面为常用的方法

nodeName    选取此节点的所有节点

/           从根节点选取

//          从匹配选择的当前节点选择文档中的节点，不考虑它们的位置

.           选择当前节点

..          选取当前节点的父节点

@           选取属性

*           匹配任何元素节点

@*          匹配任何属性节点

Node()      匹配任何类型的节点

CSS选择器

CSS层叠样式表，语法由两个主要部分组成：选择器，一条或多条声明
Selector {declaration1;declaration2;……}

下面为常用的使用方法

.class              .color              选择class=”color”的所有元素

#id                 #info               选择id=”info”的所有元素

*                   *                   选择所有元素

element             p                   选择所有的p元素

element,element     div,p               选择所有div元素和所有p元素

element element     div p               选择div标签内部的所有p元素

[attribute]         [target]            选择带有targe属性的所有元素

[arrtibute=value]   [target=_blank]     选择target=”_blank”的所有元素

选择器的使用例子

上面我们列举了两种选择器的常用方法，下面通过scrapy帮助文档提供的一个地址来做演示
地址：http://doc.scrapy.org/en/latest/_static/selectors-sample1.html
这个地址的网页源码为：

    <html>

     <head>

      <base href='http://example.com/' />

      <title>Example website</title>

     </head>

     <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

     </body>

    </html>

我们通过scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html来演示两种选择器的功能

获取title

这里的extract_first()就可以获取title标签的文本内容,因为我们第一个通过xpath返回的结果是一个列表，所以我们通过extract()之后返回的也是一个列表，而extract_first()可以直接返回第一个值，extract_first()有一个参数default,例如：extract_first(default="")表示如果匹配不到返回一个空

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [1]: response.xpath('//title/text()')

Out[1]: [<Selector xpath='//title/text()' data='Example website'>]

In [2]: response.xpath('//title/text()').extract_first()

Out[2]: 'Example website'

In [6]: response.xpath('//title/text()').extract()

Out[6]: ['Example website']

同样的我们也可以通过css选择器获取，例子如下：

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [7]: response.css('title::text')

Out[7]: [<Selector xpath='descendant-or-self::title/text()' data='Example website'>]

In [8]: response.css('title::text').extract_first()

Out[8]: 'Example website'

查找图片信息
这里通过xpath和css结合使用获取图片的src地址：

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [13]: response.xpath('//div[@id="images"]').css('img')

Out[13]:

[<Selector xpath='descendant-or-self::img' data='<img src="data:image1_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image2_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image3_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image4_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image5_thumb.jpg">'>]

In [14]: response.xpath('//div[@id="images"]').css('img::attr(src)').extract()

Out[14]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

查找a标签信息
这里分别通过xapth和css选择器获取a标签的href内容，以及文本信息，css获取属性信息是通过attr,xpath是通过@属性名

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [15]: response.xpath('//a/@href')

Out[15]:

[<Selector xpath='//a/@href' data='image1.html'>,

 <Selector xpath='//a/@href' data='image2.html'>,

 <Selector xpath='//a/@href' data='image3.html'>,

 <Selector xpath='//a/@href' data='image4.html'>,

 <Selector xpath='//a/@href' data='image5.html'>]

In [16]: response.xpath('//a/@href').extract()

Out[16]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [17]: response.css('a::attr(href)')

Out[17]:

[<Selector xpath='descendant-or-self::a/@href' data='image1.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image2.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image3.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image4.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image5.html'>]

In [18]: response.css('a::attr(href)').extract()

Out[18]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [27]: response.css('a::text').extract()

Out[27]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

In [28]: response.xpath('//a/text()').extract()

Out[28]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

In [29]:

高级用法
查找属性名称包含img的所有的超链接，通过contains实现

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [36]: response.xpath('//a[contains(@href,"image")]/@href').extract()

Out[36]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [37]: response.css('a[href*=image]::attr(href)').extract()

Out[37]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [38]:

查找img的src属性

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [41]: response.xpath('//a[contains(@href,"image")]/img/@src').extract()

Out[41]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

In [42]: response.css('a[href*=image] img::attr(src)').extract()

Out[42]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

In [43]:

提取a标签的文本中name后面的内容，这里提供了正则的方法re和re_first

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [43]: response.css('a::text').re('Name\:(.*)')

Out[43]:

[' My image 1 ',

 ' My image 2 ',

 ' My image 3 ',

 ' My image 4 ',

 ' My image 5 ']

In [44]: response.css('a::text').re_first('Name\:(.*)')

Out[44]: ' My image 1 '

Scrapy框架中选择器的用法【转】的更多相关文章

scrapy框架中选择器的用法
scrapy框架中选择器的用法 Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中 ...
Python爬虫从入门到放弃（十四）之 Scrapy框架中选择器的用法
Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...
Python之爬虫（十六） Scrapy框架中选择器的用法
Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...
scrapy框架中Download Middleware用法
scrapy框架中Download Middleware用法 Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给sp ...
scrapy框架中Item Pipeline用法
scrapy框架中item pipeline用法当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的pyt ...
4-----Scrapy框架中选择器的用法
Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...
Python爬虫从入门到放弃（十六）之 Scrapy框架中Item Pipeline用法
当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的python类,负责接收到item并通过它执行一些行为, ...
Python之爬虫（十八） Scrapy框架中Item Pipeline用法
当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的python类,负责接收到item并通过它执行一些行为, ...
Python爬虫从入门到放弃（十七）之 Scrapy框架中Download Middleware用法
这篇文章中写了常用的下载中间件的用法和例子.Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给spiders的时候,所以 ...

随机推荐

java实现定时任务(Quartz)
java中实现定时任务执行某一业务.具体操作如下: 1.定义初始化任务 2.任务业务操作 3.定义初始化方法 4.在web.xml中注册启动 5.定义具体执行时间 6.quartz定时任务时间设置 q ...
.gitignore梳理
参考来源: https://www.cnblogs.com/kevingrace/p/5690241.html 对于经常使用Git的朋友来说,.gitignore配置一定不会陌生.废话不说多了,接下来 ...
python3应用例子01（进度条）
#!/usr/bin/env python# -*- coding:utf-8 -*- import sysimport time def bar(num, total): rate = num / ...
linux 链接的使用创建和删除符号连接
1 . 使用方式 :ln [option] source_file dist_file -f 建立时,将同档案名删除. ...
cms-帖子静态化
实现帖子静态化和实现友情链接静态化一致, 1.首先建立帖子类别的实体类: package com.open1111.entity; /** * 帖子类别实体 * @author user * */pu ...
php使用GD库实现图片水印和缩略图——封装成类
学完了如何使用GD库来实现对图片的各种处理,那么我们可以发现,不管哪种方法,都有相似之处,如果我们把这些相似的地方和不相似的地方都封装成类,这样就可以提升代码的速度,而且节省了很多时间,废话不多说,来 ...
pat甲级1114
1114 Family Property(25 分) This time, you are supposed to help us collect the data for family-owned ...
innerHTML和outerHTML的区别
一.区别:1)innerHTML: 从对象的起始位置到终止位置的全部内容,不包括Html标签.2)outerHTML: 除了包含innerHTML的全部内容外, 还包含对象标签本身. 二.例子: &l ...
mongodb索引全文索引使用限制
全文索引非常强大,但是同样存在很多限制,我们来看以下去全文索引的使用限制: 1.每次查询,只能指定一个$text查询 2.$text查询不能出现在$nor查询中之前没有接触过$nor查询,$nor查 ...
python_37_文件修改
f=open('yesterday','r',encoding='utf-8') f_new=open('yesterday_update','w',encoding='utf-8') for lin ...

Scrapy框架中选择器的用法【转】