一. 基本概念

1. Selector是一个可独立使用的模块，我们可以用Selector类来构建一个选择器对象，然后调用它的相关方法如xpaht(), css()等来提取数据，如下
from  scrapy import Selector

body= '<html><head><title>Hello World</title></head><body></body> </ html> ’

selector  = Selector(text=body)

title  = selector.xpath('//title/text()').extract_first()

print(title)

输出为

Hello World
 
 
2. scrapy shell 主要用于测试scrapy项目中命令是否生效，可在bash下直接执行，
这里我们通过使用scrapy shell来验证学习选择器提取网页数据，在linux中bash下执行命令
scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html即可进入scrapy shell命令模式
上面测试网站源码
<html>

 <head>

  <base href='http://example.com/' />

  <title>Example website</title>

 </head>

 <body>

  <div id='images'>

   <a href='image1.html'>Name: My image  <br /><img src='image1_thumb.jpg' /></a>

   <a href='image2.html'>Name: My image  <br /><img src='image2_thumb.jpg' /></a>

   <a href='image3.html'>Name: My image  <br /><img src='image3_thumb.jpg' /></a>

   <a href='image4.html'>Name: My image  <br /><img src='image4_thumb.jpg' /></a>

   <a href='image5.html'>Name: My image  <br /><img src='image5_thumb.jpg' /></a>

  </div>

 </body>

</html>
 

二.  scrapy shell中有内置选择器response.selector，可用于提取网页信息，几个例子如下

1. xpath和css的基本用法

#获取<title>的文本值，其中第一个selector字符可以不写

response.selector.xpath('//title/text()').extract_first()response.selector.css('title::text').extract_first()

#获取a标签的href属性值

response.xpath('//a/@href').extract()

response.css('a::attr(href)').extract() 

#查找属性名称包含image字样的所有a标签

 response.xpath('//a[contains(@href, "image")]/@href').extract()

 response.css('a[href*=image]::attr(href)').extract()

#查找属性名称包含image字样的所有a标签，并且在下级img目录下的src属性值

 response.xpath('//a[contains(@href, "image")]/img/@src').extract()

 response.css('a[href*=image] img::attr(src)').extract()

#结合正则表达式提取所需内容

 response.css('a::text').re('Name\:(.*)')   #提取(.*)代表的内容

 response.css('a::text').re_first('Name\:(.*)').strip()  #提取第一个(.*）代表的内容，strip()去除首尾空格

2. xpath和css也可以一起用

#先选上src属性标签

response.xpath('//div[@id="images"]').css('img::attr(src)'))

#提取相应信息

response.xpath('//div[@id="images"]').css('img::attr(src)')).extract() #得到多个字符值

response.xpath('//div[@id="images"]').css('img::attr(src)')).extract_first() #得到一个字符值

response.xpath('//div[@id="images"]').css('img::attr(src)')).extract_first(default='') #如果没提取到返回默认值
注意：
1. extract()方法把selector类型变为数据类型
2. [@id="images"]表示用属性来限制匹配的范围，只查找id属性值等于images的div标签，经测试[]中的id属性值image必须用双引号



												


											
scrapy 中用selector来提取数据的用法的更多相关文章
	

    
								
  1. 在scrapy中利用Selector来提取数据
		
    1.创建对象 Selector类的实现位于scrapy.selector模块,创建Selector对象的时候,可以将页面的Html文档字符串传递给Selector构造器方法 2.选中数据 调用Sele ...
    
		
    2. 
						
  2. BeautifulSoup4 提取数据爬虫用法详解
		
    Beautiful Soup 是一个HTML/XML 的解析器,主要用于解析和提取 HTML/XML 数据. 它基于 HTML DOM 的,会载入整个文档,解析整个 DOM树,因此时间和内存开销都会大 ...
    
		
    3. 
						
  3. scrapy框架Selector提取数据
		
    从页面中提取数据的核心技术是HTTP文本解析,在python中常用的模块处理: BeautifulSoup  非常流行的解析库,API简单,但解析的速度慢. lxml 是一套使用c语言编写的xml解析 ...
    
		
    4. 
						
  4. scrapy之使用LinkExtractor提取链接
		
    一.概述: 在页面含有少量链接时,使用selector来提取信息就可以,但如果链接特别多时,就需要用LinkExtractor来提取. 二.LinkExtractor构造器的各个参数: 1.allow ...
    
		
    5. 
						
  5. Scrapy 框架（二）数据的持久化
		
    scrapy数据的持久化(将数据保存到数据库) 一.建立项目 1.scrapy startproject dushu 2.进入项目 cd dushu 执行:scrapy genspider -t cr ...
    
		
    6. 
						
  6. scrapy中Selector的使用
		
    scrapy的Selector选择器其实也可以用来解析,今天主要总结下css和xpath的用法,其实我个人最喜欢用css 以慕课网嵩天老师教程中的一个网页为例,python123.io/ws/demo ...
    
		
    7. 
						
  7. [数据科学] 从csv, xls文件中提取数据
		
    在python语言中,用丰富的函数库来从文件中提取数据,这篇博客讲解怎么从csv, xls文件中得到想要的数据. 点击下载数据文件http://seanlahman.com/files/databas ...
    
		
    8. 
						
  8. Python中用format函数格式化字符串的用法
		
    这篇文章主要介绍了Python中用format函数格式化字符串的用法,格式化字符串是Python学习当中的基础知识,本文主要针对Python2.7.x版本,需要的朋友可以参考下   自python2. ...
    
		
    9. 
						
  9. mysql 导出表结构和表数据 mysqldump用法
		
    mysql 导出表结构和表数据 mysqldump用法 命令行下具体用法如下:   mysqldump -u用戶名 -p密码 -d 数据库名 表名 > 脚本名; 导出整个数据库结构和数据mysq ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. Fragment生命周期(转)
			
    Android在3.0中引入了fragments的概念,主要目的是用在大屏幕设备上--例如平板电脑上,支持更加动态和灵活的UI设计.平板电脑的屏幕要比手机的大得多,有更多的空间来放更多的UI组件,并且 ...
    
			
    2. 
						
  2. Shiro框架的简单应用
			
    一.概念 Shiro是一个安全框架,可以进行角色.权限管理. Shiro主要功能如下:Authentication(认证):用户身份识别,通常被称为用户“登录”Authorization(授权):访问 ...
    
			
    3. 
						
  3. codeforces:818G Four Melodies分析
			
    题目 题目大意是有一组自然数v1,...,vn,要求在其中找到四个非空子序列(从原来的自然数序列中挑选一部分数,并按原先后关系排序),这些子序列互不相交,且每个子序列中的前后元素的值要么差值的绝对值为 ...
    
			
    4. 
						
  4. input实时监听控制输入框的输入内容和长度，并进行提示和反馈
			
    一.前言 在MVVM模式下,有个双向数据绑定(data-binding)的优势,可以通过viewmodel实时的监听用户操作,也可以将model的改动实时的反馈到界面上. 那么,在传统的js操控DOM ...
    
			
    5. 
						
  5. UNITY 多SCENE加载与编辑
			
    Unity内部场景的加载分为两步: Loading.是指从文件.内存(主要是Streamed scene AssetBundle)中加载Scene的内容,创建并读取所有相关的Game objects. ...
    
			
    6. 
						
  6. mongodb查询速度慢是什么原因？
			
    mongodb查询速度慢是什么原因? 通过mongodb客户端samus代码研究解决问题         最近有项目需要用到mongodb,于是在网上下载了mongodb的源码,根据示例写了测试代码, ...
    
			
    7. 
						
  7. MongoDB--CSharp Driver Quickstart .
			
    原文链接 http://www.mongodb.org/display/DOCS/CSharp+Driver+Quickstart?showComments=true&showCommentA ...
    
			
    8. 
						
  8. swagger框架
			
    1.1   介绍 Swagger是一个简单又强大的能为你的Restful风格的Api生成文档工具.在项目中集成这个工具,根据我们自己的配置信息能够自动为我们生成一个api文档展示页,可以在浏览器中直接 ...
    
			
    9. 
						
  9. 我读《大数据时代的IT架构设计》
			
    架构设计是一门艺术,对架构的掌握要通过多看,多学,多交流,多积累,从实战架构上总能吸收到很好的营养,这边书虽然 (一).hadoop技术处理电信行业的上网日志 根据上网的url或未知url爬取内容,进 ...
    
			
    10. 
						
  10. Converting HTML to PDF with pdfHTML
			
    https://itextpdf.com/itext7/pdfHTML pdfHTML 的一个例子 一个基本的例子将显示使用 pdfHTML.为此, 我们将使用下面的 HTML 和 CSS. < ...
    
			
    11.