节点(node)

在 XPath 中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。

以下面这xml文档为例:

    <?xml version="1.0" encoding="ISO-8859-1"?>

    <class>

    <student>
<name gender="boy">Harry Potter</name>
<ID>24</ID>
</student> <student>
<name gender="girl">Li Rose<font color=red>(monitor)</font></title>
<ID>1</ID>
</student> </class>

上面例子的节点为:

    <classs> (文档节点/根节点)
<ID>24</ID> (元素节点)
gender="boy" (属性节点)

节点关系

父:每个元素以及属性都有一个父。例子中<student>的父是<class>;
子:元素节点可有零个、一个或多个子。例子中<class>的子是<student>;
兄弟:拥有相同的父的节点。例子中<name>和<ID>是兄弟;
祖先:某节点的父、父的父,等等。
后代:某节点的子、子的子,等等。

基本值(或称原子值,Atomic value)

基本值是无父或无子的节点。
上面例子的基本值为:

    Harry Potter
"boy"

项目(Item)

项目是基本值或者节点。


ok,接下来开始正式讲解 XPath 语法(注意,以下表达式当然可以混合使用):

1 nodename

选取此节点的所有子节点。

from scrapy import Selector

def parse(self, response):
selector=Selector(response)
content=selector.xpath(class)# 选取 class 元素的所有子节点。

2 /

从根节点选取。

from scrapy import Selector

def parse(self, response):
selector=Selector(response)
'''
选取根元素 class。
注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径!
'''
content1=selector.xpath(/class)
content2=selector.xpath(/class/student)

3 //

从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。

from scrapy import Selector

def parse(self, response):
selector=Selector(response)
content=selector.xpath(//ID)# 选取所有ID子元素,而不管它们在文档中的位置。

4 .

选取当前节点。

5 ..

选取当前节点的父节点。

6 @

选取属性。

from scrapy import Selector

def parse(self, response):
selector=Selector(response)
# 选取所有gender="boy"属性的节点,而不管它们在文档中的位置。
content=selector.xpath(//[@gender="boy"])

7 谓语(Predicates)

/class/student[1]
选取属于 class 子元素的第一个 student 元素。 /class/student[last()]
选取属于 class 子元素的最后一个 student 元素。 /class/student[last()-1]
选取属于 class 子元素的倒数第二个 student 元素。 /class/student[position()<3]
选取属于 class 子元素的前两个 student 元素。 /class/student[@gender]
选取所有拥有名为 gender 的属性的 student 元素。 /class/student[@gender="boy"]
选取所有拥有 gender="boy" 属性的 student 元素。 /class/student[ID<50]
选取 class 元素的所有 student 元素,且其中的 ID 元素的值须小于 50。 /class/student[ID<50]/name
选取 class 元素中的 student 元素的所有 name 元素,且其中的 ID 元素的值须小于 35。

8 通配符

    1. *              匹配任何元素节点
2. @* 匹配任何属性节点
3. node() 匹配任何类型的节点

9 拓展

对于如下的xml文档(参照http://www.tuicool.com/articles/iqQFBn

<div id="test2">美女,<font color=red>你的微信是多少?</font><div>

如果使用:
data = selector.xpath('//div[@id="test2"]/text()').extract()[0]
只能提取到“美女,”;

如果使用:
data = selector.xpath('//div[@id="test2"]/font/text()').extract()[0]
又只能提取到“你的微信是多少?”

到底我们要怎样才能把“美女,你的微信是多少”提取出来?

可以使用xpath的string(.)来达到目的

    data = selector.xpath('//div[@id="test2"])
info = data.xpath('string(.)').extract()[0]

XPATH语法(二)的更多相关文章

  1. 爬虫解析之css,xpath语法

    一.xpath语法 xpath实例文档 <?xml version="1.0" encoding="ISO-8859-1"?> <bookst ...

  2. Xpath语法-爬虫(一)

    前言 这一章节主要讲解Xpath的基础语法,学习如何通过Xpath获取网页中我们想要的内容;为我们的后面学习Java网络爬虫基础准备工作. 备注:此章节为基础核心章节,未来会在网络爬虫的数据解析环节经 ...

  3. 正则表达式(特殊字符)/Xpath语法/CSS选择器

    正则表达式(特殊字符) ^ 开头 '^b.*'----以b开头的任意字符 $ 结尾 '^b.*3$'----以b开头,3结尾的任意字符 * 任意长度(次数),≥0 ? 非贪婪模式,非贪婪模式尽可能少的 ...

  4. 请求数据分析 xpath语法 与lxml库

    前情提要: 上节学过从网上获取请求,获取返回内容,带理 获取内容之后,第二部就是获取请求的数据分析 一:xpath 语法 浏览器一般会自带xpatn 解析 这里大概讲述一下xpath 的基本操作 二: ...

  5. XPath语法规则及实例

    XPath语法规则及实例 XPath语法规则 一.XPath术语: 1.节点:在XPath中,有七种类型的节点:元素.属性.文本.命名空间.处理指令.注释以及文档(根)节点. XML文档是被作为节点树 ...

  6. Python Xpath语法

    Python    Xpath语法   一.选取节点 常用的路劲表达式: 表达式 描述 实例   nodename 选取nodename节点的所有子节点 xpath('//div') 选取了div节点 ...

  7. Python爬虫之xpath语法及案例使用

    Python爬虫之xpath语法及案例使用 ---- 钢铁侠的知识库 2022.08.15 我们在写Python爬虫时,经常需要对网页提取信息,如果用传统正则表达去写会增加很多工作量,此时需要一种对数 ...

  8. PHP语法(二):数据类型、运算符和函数

    相关链接: PHP语法(一):基础和变量 PHP语法(二):数据类型.运算符和函数 PHP语法(三):控制结构(For循环/If/Switch/While) 这次整理了PHP的数据类型.运算符和函数. ...

  9. Python爬虫利器三之Xpath语法与lxml库的用法

    前面我们介绍了 BeautifulSoup 的用法,这个已经是非常强大的库了,不过还有一些比较流行的解析库,例如 lxml,使用的是 Xpath 语法,同样是效率比较高的解析方法.如果大家对 Beau ...

随机推荐

  1. myisamchk命令修复表操作

    myisamchk命令使用总结 myisamchk实用程序可以用来获得有关你的数据库表的统计信息或检查.修复.优化他们 1.常用于myisamchk的检查选项--information, -i打印所检 ...

  2. Linux命令之ll

    ll命令 用处:以长格形式列出当前目录下的所有文件,每个文件的长度和创建时间不同. 用法:输入 ll 示例: 前面的一大串字母的意思,第一个要么是d要么是-,d的意思就是目录,-的意思就是文件.其后的 ...

  3. JavaSE学习总结(八)—— 异常处理(Exception)

    一.理解异常及异常处理的概念 异常就是在程序的运行过程中所发生的不正常的事件,它会中断正在运行的程序. 异常不是错误 程序中关键的位置有异常处理,提高程序的稳定性 二.掌握Java异常处理机制 Jav ...

  4. Linux记录-Linux Swap分区虚拟内存相关解决方案

    Swap用途:Swap意思是交换分区,通常我们说的虚拟内存,是从硬盘中划分出的一个分区.当物理内存不够用的时候,内核就会释放缓存区(buffers/cache)里一些长时间不用的程序,然后将这些程序临 ...

  5. js 锚点定位【转】

    锚点定义 <a name="firstAnchor">&nsbp;</a> a标签锚点使用 <a href="#firstAncho ...

  6. python学习笔记9-单元测试unittest

    Python中有一个自带的单元测试框架是unittest模块,用它来做单元测试,它里面封装好了一些校验返回的结果方法和一些用例执行前的初始化操作. 在说unittest之前,先说几个概念: TestC ...

  7. 海明码 CRC冗余校验码

    海明码(也叫汉明码)具有一位纠错能力.本文以1010110这个二进制数为例解释海明码的编码和校验方法 确定校验码的位数x 设数据有n位,校验码有x位.则校验码一共有2x种取值方式.其中需要一种取值方式 ...

  8. .Net并行编程之同步机制

     一:Barrier(屏障同步) 二:spinLock(自旋锁) 信号量  一:CountdownEvent 虽然通过Task.WaitAll()方法也可以达到线程同步的目的. 但是Countdown ...

  9. UE4联机编译光照

    UE4联机编译光照需要SwarmCoordinator以及SwarmAgent,在Engine\Binaries\DotNET目录下. SwarmAgent 我们主要关注Distribution Se ...

  10. Python提示AttributeError 或者DeprecationWarning: This module was deprecated解决方法

    Python提示AttributeError 或者DeprecationWarning: This module was deprecated解决方法 在使用Python的sklearn库时,发现sk ...