# 命令行输入:scrapy shell +链接,会自动请求url,得到的相应默认为response,开启命令行交互模式

scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html

In [1]: response#response为默认相应

Out[1]: <200 https://doc.scrapy.org/en/latest/_static/selectors-sample1.html>

In [2]: response.text#response.text相应的源代码

# 标准结构图如下:

response.text = '''

<html>

 <head>

  <base href='http://example.com/' />

  <title>Example website</title>

 </head>

 <body>

  <div id='images'>

   <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>

   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>

   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>

   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>

   <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>

  </div>

 </body>

</html>

'''

# 1:使用选择器response.selector.xpath()/response.selector.css()

In [5]: response.selector.xpath('//title/text()').extract_first()

Out[5]: 'Example website'

In [6]: response.selector.css('title::text').extract_first()

Out[6]: 'Example website'

# 2:使用选择器也可以简写为:response.xpath() / response.css()

In [9]: response.css('title::text')

Out[9]: [<Selector xpath='descendant-or-self::title/text()' data='Example website'>]

In [10]: response.xpath('//title/text()')

Out[10]: [<Selector xpath='//title/text()' data='Example website'>]

# 3:以上可知使用.xpath() .css()返回仍然是一个选择器,若要提取里面的数据,可以用extract()提取全部,extract_first提取首个

In [7]: response.xpath('//title/text()').extract_first()

Out[7]: 'Example website'

In [8]: response.css('title::text').extract_first()

Out[8]: 'Example website'

# 4:可以循环进行选择

# 获取div标签里面,id = 'images'的元素, 然后继续查找img标签属性为src的内容,最终提取出来

# 就是说,包含关系用中括号[],从属关系用斜杠 /

In [14]: response.xpath("//div[@id='images']").css('img::attr(src)').extract()

Out[14]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

# extract_first还有default属性,如果查找不到对应的元素即返回default指定的值

In [16]: response.xpath("//div[@id='images']").css('img::attr(src)').extract_first(default='')

Out[16]: 'image1_thumb.jpg'

# 查找a标签下,属性为href的元素,提取出来

In [18]: response.xpath('//a/@href').extract()

Out[18]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [19]: response.css('a::attr(href)').extract()

Out[19]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

# 5:查找标签的文本

In [20]: response.xpath('//a/text()').extract()

Out[20]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

In [21]: response.css('a::text').extract()

Out[21]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

# 6:选取标签的属性

In [34]: response.css('a::attr(href)').extract()

Out[34]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [39]: response.xpath('//a/@href').extract()

Out[39]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

# 查找属性名称为href 包含image的标签的属性

In [24]: response.xpath('//a[contains(@href,"image")]/@href').extract()

Out[24]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [25]: response.css('a[href*=image]::attr(href)').extract()

Out[25]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

# 查找a标签里面属性名为href,包含image,包含img,属性为src的属性

In [27]: response.xpath('//a[contains(@href,"image")]/img/@src').extract()

Out[27]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

In [28]: response.css('a[href*=image] img::attr(src)').extract()

Out[28]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

# 7:可配合正则表达式,re_first表示取第一个满足正则表达式的

In [30]: response.css('a::text').re('Name\:(.*)')

Out[30]:

[' My image 1 ',

 ' My image 2 ',

 ' My image 3 ',

 ' My image 4 ',

 ' My image 5 ']

In [31]: response.css('a::text').re_first('Name\:(.*)')

Out[31]: ' My image 1 '

In [32]: response.css('a::text').re_first('Name\:(.*)').strip()#去除空格

Out[32]: 'My image 1'

scrapy选择器主要用法的更多相关文章

  1. Scrapy选择器的用法

    1.构造选择器: >>> response = HtmlResponse(url='http://example.com', body=body) >>> Sele ...

  2. Scrapy框架中选择器的用法【转】

    Python爬虫从入门到放弃(十四)之 Scrapy框架中选择器的用法 请给作者点赞 --> 原文链接 Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpa ...

  3. scrapy框架中选择器的用法

    scrapy框架中选择器的用法 Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中 ...

  4. CSS中:before和:after选择器的用法

    在线演示这次给大家带来的是对话气泡效果,主要是演示了 :before / :after 和 border 的用法,赶快来围观吧. 阅读原文:CSS中:before和:after选择器的用法

  5. Python爬虫从入门到放弃（十四）之 Scrapy框架中选择器的用法

    Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...

  6. Python之爬虫（十六） Scrapy框架中选择器的用法

    Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...

  7. Scrapy中选择器的用法

    官方文档:https://doc.scrapy.org/en/latest/topics/selectors.html Using selectors Constructing selectors R ...

  8. 4-----Scrapy框架中选择器的用法

    Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTM ...

  9. scrapy选择器归纳

    python 爬虫: srcrapy框架xpath和css选择器语法 Xpath基本语法 一.常用的路径表达式: 表达式 描述 实例 nodename 选取nodename节点的所有子节点 //div ...

随机推荐

  1. 在 Rolling Update 中使用 Health Check - 每天5分钟玩转 Docker 容器技术（146）

    上一节讨论了 Health Check 在 Scale Up 中的应用,Health Check 另一个重要的应用场景是 Rolling Update.试想一下下面的情况: 现有一个正常运行的多副本应 ...

  2. POJ-1032-拆数字

    Description New convocation of The Fool Land's Parliament consists of N delegates. According to the ...

  3. Redis Setex命令

    Redis SETEX命令用于在Redis键中的指定超时,设置键的字符串值. 返回值 字符串,如果在键中设置了值则返回OK.如果值未设置则返回 Null. 语法 下面是Redis SETEX命令的基本 ...

  4. Algorithm --> 筛法求素数

    一般的线性筛法 genPrime和genPrime2是筛法求素数的两种实现,一个思路,表示方法不同而已. #include<iostream> #include<math.h> ...

  5. 生产者/消费者问题的多种Java实现方式

    实质上,很多后台服务程序并发控制的基本原理都可以归纳为生产者/消费者模式,而这是恰恰是在本科操作系统课堂上老师反复讲解,而我们却视而不见不以为然的.在博文<一种面向作业流(工作流)的轻量级可复用 ...

  6. Java学习日记——基本数据类型

    基本数据类型: byte 1个字节 正负都能表示2的8-1次方 -128~127(包括0) short 2个字节 2的16-1次 整数类型 (默认为int类型) int 4个字节 2的32-1次方 l ...

  7. Struts存取数据

    ValueStack举例分析: Action存 Jsp页面取,用于数据展示 存数据三种方式总结 存数据->map 或 root 展示数据->Strusts标签   这个玩意用着很舒服,能让 ...

  8. java调用kettle的job和transfer工具类

    package com.woaiyitiaocai.util; import java.util.Map; import java.util.UUID; import org.apache.log4j ...

  9. 关于from nltk.book import * 报错解决方法

    import nltk nltk.download() 在使用上面命令安装了nltk库并运行下载后,再输入from nltk.book import * 往往会出现这样的错误提示: 出现这种错误往往是 ...

  10. Flask 扩展 用户会话

    pip install flask-login 接下来创建扩展对象实例: from flask import Flask from flask_login import LoginManager ap ...