Python爬虫从入门到放弃（十四）之 Scrapy框架中选择器的用法

请给作者点赞 --> 原文链接

Scrapy提取数据有自己的一套机制，被称作选择器（selectors）,通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分
Xpath是专门在XML文件中选择节点的语言，也可以用在HTML上。
CSS是一门将HTML文档样式化语言，选择器由它定义，并与特定的HTML元素的样式相关联。

XPath选择器

常用的路径表达式，这里列举了一些常用的，XPath的功能非常强大，内含超过100个的内建函数。
下面为常用的方法

nodeName    选取此节点的所有节点

/           从根节点选取

//          从匹配选择的当前节点选择文档中的节点，不考虑它们的位置

.           选择当前节点

..          选取当前节点的父节点

@           选取属性

*           匹配任何元素节点

@*          匹配任何属性节点

Node()      匹配任何类型的节点

CSS选择器

CSS层叠样式表，语法由两个主要部分组成：选择器，一条或多条声明
Selector {declaration1;declaration2;……}

下面为常用的使用方法

.class              .color              选择class=”color”的所有元素

#id                 #info               选择id=”info”的所有元素

*                   *                   选择所有元素

element             p                   选择所有的p元素

element,element     div,p               选择所有div元素和所有p元素

element element     div p               选择div标签内部的所有p元素

[attribute]         [target]            选择带有targe属性的所有元素

[arrtibute=value]   [target=_blank]     选择target=”_blank”的所有元素

选择器的使用例子

上面我们列举了两种选择器的常用方法，下面通过scrapy帮助文档提供的一个地址来做演示
地址：http://doc.scrapy.org/en/latest/_static/selectors-sample1.html
这个地址的网页源码为：

    <html>

     <head>

      <base href='http://example.com/' />

      <title>Example website</title>

     </head>

     <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

     </body>

    </html>

我们通过scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html来演示两种选择器的功能

获取title

这里的extract_first()就可以获取title标签的文本内容,因为我们第一个通过xpath返回的结果是一个列表，所以我们通过extract()之后返回的也是一个列表，而extract_first()可以直接返回第一个值，extract_first()有一个参数default,例如：extract_first(default="")表示如果匹配不到返回一个空

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [1]: response.xpath('//title/text()')

Out[1]: [<Selector xpath='//title/text()' data='Example website'>]

In [2]: response.xpath('//title/text()').extract_first()

Out[2]: 'Example website'

In [6]: response.xpath('//title/text()').extract()

Out[6]: ['Example website']

同样的我们也可以通过css选择器获取，例子如下：

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [7]: response.css('title::text')

Out[7]: [<Selector xpath='descendant-or-self::title/text()' data='Example website'>]

In [8]: response.css('title::text').extract_first()

Out[8]: 'Example website'

查找图片信息
这里通过xpath和css结合使用获取图片的src地址：

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [13]: response.xpath('//div[@id="images"]').css('img')

Out[13]:

[<Selector xpath='descendant-or-self::img' data='<img src="data:image1_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image2_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image3_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image4_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image5_thumb.jpg">'>]

In [14]: response.xpath('//div[@id="images"]').css('img::attr(src)').extract()

Out[14]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

查找a标签信息
这里分别通过xapth和css选择器获取a标签的href内容，以及文本信息，css获取属性信息是通过attr,xpath是通过@属性名

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [15]: response.xpath('//a/@href')

Out[15]:

[<Selector xpath='//a/@href' data='image1.html'>,

 <Selector xpath='//a/@href' data='image2.html'>,

 <Selector xpath='//a/@href' data='image3.html'>,

 <Selector xpath='//a/@href' data='image4.html'>,

 <Selector xpath='//a/@href' data='image5.html'>]

In [16]: response.xpath('//a/@href').extract()

Out[16]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [17]: response.css('a::attr(href)')

Out[17]:

[<Selector xpath='descendant-or-self::a/@href' data='image1.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image2.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image3.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image4.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image5.html'>]

In [18]: response.css('a::attr(href)').extract()

Out[18]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [27]: response.css('a::text').extract()

Out[27]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

In [28]: response.xpath('//a/text()').extract()

Out[28]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

In [29]:

高级用法
查找属性名称包含img的所有的超链接，通过contains实现

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [36]: response.xpath('//a[contains(@href,"image")]/@href').extract()

Out[36]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [37]: response.css('a[href*=image]::attr(href)').extract()

Out[37]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [38]:

查找img的src属性

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [41]: response.xpath('//a[contains(@href,"image")]/img/@src').extract()

Out[41]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

In [42]: response.css('a[href*=image] img::attr(src)').extract()

Out[42]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

In [43]:

提取a标签的文本中name后面的内容，这里提供了正则的方法re和re_first

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [43]: response.css('a::text').re('Name\:(.*)')

Out[43]:

[' My image 1 ',

 ' My image 2 ',

 ' My image 3 ',

 ' My image 4 ',

 ' My image 5 ']

In [44]: response.css('a::text').re_first('Name\:(.*)')

Out[44]: ' My image 1 '

Scrapy框架中选择器的用法【转】的更多相关文章

scrapy框架中选择器的用法
scrapy框架中选择器的用法 Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中 ...
Python爬虫从入门到放弃（十四）之 Scrapy框架中选择器的用法
Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...
Python之爬虫（十六） Scrapy框架中选择器的用法
Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...
scrapy框架中Download Middleware用法
scrapy框架中Download Middleware用法 Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给sp ...
scrapy框架中Item Pipeline用法
scrapy框架中item pipeline用法当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的pyt ...
4-----Scrapy框架中选择器的用法
Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...
Python爬虫从入门到放弃（十六）之 Scrapy框架中Item Pipeline用法
当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的python类,负责接收到item并通过它执行一些行为, ...
Python之爬虫（十八） Scrapy框架中Item Pipeline用法
当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的python类,负责接收到item并通过它执行一些行为, ...
Python爬虫从入门到放弃（十七）之 Scrapy框架中Download Middleware用法
这篇文章中写了常用的下载中间件的用法和例子.Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给spiders的时候,所以 ...

随机推荐

Vue汇总（搬砖）
掘金: https://juejin.im/ Element: http://element-cn.eleme.io/#/zh-CN 验证码GEETEST---极验 : https://docs.ge ...
python基本数据类型,int,bool,str
一丶python基本数据类型 1.int 整数,主要用来进行数学运算. 2.str 字符串,可以保存少量数据并进行相应的操作 3.bool 判断真假.True.False 4.list 存储大量数据, ...
Centos_linux系统的区别及实际查看
在Linux系统查看系统版本为 32 位还是 64 位 [root@localhost ~]# cat /etc/redhat-release CentOS release 6.8 (Final) [ ...
JAVA 与 sqlite3 连接
SQLite SQLite,是一款轻型的数据库,是遵守ACID的关系型数据库管理系统,它包含在一个相对小的C库中.它是D.RichardHipp建立的公有领域项目.它的设计目标是嵌入式的,而且目前已经 ...
Mac 颜色取值
command+shift+4 截图,我靠,我以前不知道系统自带数码测色计, 选择显示十六位制 command+L 锁定 command+shift+c 复制简直太方便
apache日志设置
转自:http://hi.baidu.com/bxhack/item/71025d3e65987d88b611db5e apache日志存放位置 Windows: <Apache安装目录> ...
python3基础10（操作日志）
#!/usr/bin/env python# -*- coding:UTF-8 -*- import logging, time, os # 这个是日志保存本地的路径log_path = " ...
[转载]AngularJS入门教程03：迭代器
我们在上一步做了很多基础性的训练,所以现在我们可以来做一些简单的事情喽.我们要加入全文检索功能(没错,这个真的非常简单!).同时,我们也会写一个端到端测试,因为一个好的端到端测试可以帮上很大忙.它监视 ...
异常：System.InvalidOperationException: This implementation is not part of the Windows Platform FIPS validated cryptographic algorithms 这个实现是不是Windows平台FIPS验证的加密算法。解决方法
遇见这个问题是在使用了MD5加密算法后报错的,可能的原因如下: 1.FIPS不兼容MD5,此时需要修改注册表 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\C ...
JS事件阻止冒泡的写法
$("body").on("click", "#id", function (ev) { ev = ev || event;要写的逻辑代码 ...

Scrapy框架中选择器的用法【转】