Python爬虫从入门到放弃（十四）之 Scrapy框架中选择器的用法

请给作者点赞 --> 原文链接

Scrapy提取数据有自己的一套机制，被称作选择器（selectors）,通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分
Xpath是专门在XML文件中选择节点的语言，也可以用在HTML上。
CSS是一门将HTML文档样式化语言，选择器由它定义，并与特定的HTML元素的样式相关联。

XPath选择器

常用的路径表达式，这里列举了一些常用的，XPath的功能非常强大，内含超过100个的内建函数。
下面为常用的方法

nodeName    选取此节点的所有节点

/           从根节点选取

//          从匹配选择的当前节点选择文档中的节点，不考虑它们的位置

.           选择当前节点

..          选取当前节点的父节点

@           选取属性

*           匹配任何元素节点

@*          匹配任何属性节点

Node()      匹配任何类型的节点

CSS选择器

CSS层叠样式表，语法由两个主要部分组成：选择器，一条或多条声明
Selector {declaration1;declaration2;……}

下面为常用的使用方法

.class              .color              选择class=”color”的所有元素

#id                 #info               选择id=”info”的所有元素

*                   *                   选择所有元素

element             p                   选择所有的p元素

element,element     div,p               选择所有div元素和所有p元素

element element     div p               选择div标签内部的所有p元素

[attribute]         [target]            选择带有targe属性的所有元素

[arrtibute=value]   [target=_blank]     选择target=”_blank”的所有元素

选择器的使用例子

上面我们列举了两种选择器的常用方法，下面通过scrapy帮助文档提供的一个地址来做演示
地址：http://doc.scrapy.org/en/latest/_static/selectors-sample1.html
这个地址的网页源码为：

    <html>

     <head>

      <base href='http://example.com/' />

      <title>Example website</title>

     </head>

     <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

     </body>

    </html>

我们通过scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html来演示两种选择器的功能

获取title

这里的extract_first()就可以获取title标签的文本内容,因为我们第一个通过xpath返回的结果是一个列表，所以我们通过extract()之后返回的也是一个列表，而extract_first()可以直接返回第一个值，extract_first()有一个参数default,例如：extract_first(default="")表示如果匹配不到返回一个空

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [1]: response.xpath('//title/text()')

Out[1]: [<Selector xpath='//title/text()' data='Example website'>]

In [2]: response.xpath('//title/text()').extract_first()

Out[2]: 'Example website'

In [6]: response.xpath('//title/text()').extract()

Out[6]: ['Example website']

同样的我们也可以通过css选择器获取，例子如下：

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [7]: response.css('title::text')

Out[7]: [<Selector xpath='descendant-or-self::title/text()' data='Example website'>]

In [8]: response.css('title::text').extract_first()

Out[8]: 'Example website'

查找图片信息
这里通过xpath和css结合使用获取图片的src地址：

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [13]: response.xpath('//div[@id="images"]').css('img')

Out[13]:

[<Selector xpath='descendant-or-self::img' data='<img src="data:image1_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image2_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image3_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image4_thumb.jpg">'>,

 <Selector xpath='descendant-or-self::img' data='<img src="data:image5_thumb.jpg">'>]

In [14]: response.xpath('//div[@id="images"]').css('img::attr(src)').extract()

Out[14]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

查找a标签信息
这里分别通过xapth和css选择器获取a标签的href内容，以及文本信息，css获取属性信息是通过attr,xpath是通过@属性名

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [15]: response.xpath('//a/@href')

Out[15]:

[<Selector xpath='//a/@href' data='image1.html'>,

 <Selector xpath='//a/@href' data='image2.html'>,

 <Selector xpath='//a/@href' data='image3.html'>,

 <Selector xpath='//a/@href' data='image4.html'>,

 <Selector xpath='//a/@href' data='image5.html'>]

In [16]: response.xpath('//a/@href').extract()

Out[16]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [17]: response.css('a::attr(href)')

Out[17]:

[<Selector xpath='descendant-or-self::a/@href' data='image1.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image2.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image3.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image4.html'>,

 <Selector xpath='descendant-or-self::a/@href' data='image5.html'>]

In [18]: response.css('a::attr(href)').extract()

Out[18]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [27]: response.css('a::text').extract()

Out[27]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

In [28]: response.xpath('//a/text()').extract()

Out[28]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

In [29]:

高级用法
查找属性名称包含img的所有的超链接，通过contains实现

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [36]: response.xpath('//a[contains(@href,"image")]/@href').extract()

Out[36]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [37]: response.css('a[href*=image]::attr(href)').extract()

Out[37]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [38]:

查找img的src属性

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [41]: response.xpath('//a[contains(@href,"image")]/img/@src').extract()

Out[41]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

In [42]: response.css('a[href*=image] img::attr(src)').extract()

Out[42]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

In [43]:

提取a标签的文本中name后面的内容，这里提供了正则的方法re和re_first

<html>

    <head>

      <base href='http://example.com/' />

      <title>Example website</title>

    </head>

    <body>

      <div id='images'>

       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

      </div>

    </body>

</html>

源网页

In [43]: response.css('a::text').re('Name\:(.*)')

Out[43]:

[' My image 1 ',

 ' My image 2 ',

 ' My image 3 ',

 ' My image 4 ',

 ' My image 5 ']

In [44]: response.css('a::text').re_first('Name\:(.*)')

Out[44]: ' My image 1 '

Scrapy框架中选择器的用法【转】的更多相关文章

scrapy框架中选择器的用法
scrapy框架中选择器的用法 Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中 ...
Python爬虫从入门到放弃（十四）之 Scrapy框架中选择器的用法
Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...
Python之爬虫（十六） Scrapy框架中选择器的用法
Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...
scrapy框架中Download Middleware用法
scrapy框架中Download Middleware用法 Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给sp ...
scrapy框架中Item Pipeline用法
scrapy框架中item pipeline用法当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的pyt ...
4-----Scrapy框架中选择器的用法
Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...
Python爬虫从入门到放弃（十六）之 Scrapy框架中Item Pipeline用法
当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的python类,负责接收到item并通过它执行一些行为, ...
Python之爬虫（十八） Scrapy框架中Item Pipeline用法
当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的python类,负责接收到item并通过它执行一些行为, ...
Python爬虫从入门到放弃（十七）之 Scrapy框架中Download Middleware用法
这篇文章中写了常用的下载中间件的用法和例子.Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给spiders的时候,所以 ...

随机推荐

P1868 饥饿的奶牛
题目描述有一条奶牛冲出了围栏,来到了一处圣地(对于奶牛来说),上面用牛语写着一段文字. 现用汉语翻译为: 有N个区间,每个区间x,y表示提供的x~y共y-x+1堆优质牧草.你可以选择任意区间但不能有 ...
mac下远程win8.1时提示"桌面连接无法验证您希望连接的计算机的身份"的解决办法
在os x下使用远程桌面到win8.1,总出现“远程桌面连接无法验证您希望连接的计算机的身份”的提示. 解决方法:1.网上各种解释,包括防火墙是否打开,是否去掉“仅允许运行使用网络级别身份验证的远程计 ...
Swift基础学习笔记
1.在学基本语法之前,简单看一下与OC的不同注释:OC #pragma marks 视图加载完成 Swift //MARK: 视图加载完成 //TOOO:设置背景颜色(Xco ...
synchronized重入后抛出异常，锁释放了吗
synchronized: 用于同步方法或者代码块,使得多个线程在试图并发执行同一个代码块的时候,串行地执行.以达到线程安全的目的. 允许重入: 在多线程的时候是这样的,但是对于单线程,是允许重入的, ...
Servlet的生命周期以及线程安全问题
一:Servlet生命周期图,以及注意事项二:代码演示 LifeCycleServlet.java package cn.woo.servlet; import java.io.IOExceptio ...
CPU保护模式DPL、CPL简易理解
现代INTEL CPU都有保护模式,实模式这两种CPU运行模式.当CPU加电,CPU初始化时就运行在是模式下,然后现代操作系统会从实模式跳转到保护模式! 为什么需要保护模式? 在最开始编程的汇编时代, ...
【extjs6学习笔记】1.9 初始： Mixins
Mixin允许我们使用一个类的函数作为另一个类的函数而不继承. Mixins可以使用mixins关键字定义,并将值指定为JSON对象,其中属性的名称应该是要使用的方法的名称,属性的值将是定义方法的类的 ...
不该被忽视的CoreJava细节(四)
令人纳闷的数组初始化细节这个细节问题我很久以前就想深入研究一下,但是一直没有能够抽出时间,借这系列文章的东风,尽量解决掉这个"心头病". 下面以一维int数组为例,对数组初始化方 ...
LeetCode Minimum Depth of Binary Tree 找最小深度（返回最小深度）
题意:找到离根结点最近的叶子结点的那一层(设同一层上的结点与根结点的距离相等),返回它所在的层数. 方法有: 1.递归深度搜索 2.层次搜索方法一:递归(无优化) /** * Definition ...
详细讲解：通过phpstudy 设置站点域名、站点域名管理
我们在本地编程的时候,会遇到路径特别长的情况,这样子我们在url中的输入就会变得不方便而且容易报错,那么在phpstudy这个环境中,有一个很好的功能,就是“站点域名管理”,他能让我们的url网址大大 ...

Scrapy框架中选择器的用法【转】