使用 XPath 选择器

在前面的内容中，我们掌握了一些 CSS 选择器和它们的使用方法，以及 rvest 包中
用于提取网页内容的函数。
一般来说，CSS 选择器足够满足绝大部分
的 HTML 节点匹配的需要。但是，当需要根据某些
特殊条件选择节点时，需要用更强大的技术。
图 14-5 所示的网页比 data/products.html 复杂
一点：
这个网页作为一个独立的 HTML 文件被存储
在 data/new-products.html。全部的源代码很长，这
里只展示 <body> 部分。请浏览一遍源代码，以便
对它的结构有个印象：
<body>
<h1>New Products</h1>

图 14-5
The following is a list of products
<div id = "list" class = "product-list">
<ul>
<li>
Product-A
$199.95
<div class = "info bordered">
Description for Product-A
<ul>
<li>Quality Good</li>
<li>Duration 5 years</li>
</ul>
</div>
</li>
<li class = "selected">
Product-B
$129.95
<div class = "info">
Description for Product-B
<ul>
<li>Quality 
Medium</li>
<li>Duration 
2years</li>
</ul>
</div>
</li>
<li>
Product-C
$99.95
<div class = "info">
Description for Product-C
<ul>
<li>Quality 
Good</li>
<li>Duration 
4years</li>
</ul>
</div>
</li>
</ul>
</div>
All products are available for sale!
</body>
网页的源代码包含了一个样式表和产品详细信息的列表。每个产品都有其描述和很多
性质。接下来，就像前面的例子一样，我们载入网页：
page <- read_ _html("data/new-products.html")
HTML 的代码结构简单明晰。在深入挖掘 XPath 之前，我们需要了解一下 XML。编写
良好且组织规范的 HTML 文档可以被看作 XML（eXtensive Markup Language）文档的一个
特例。与 HTML 不同，XML 允许任意的标签和属性。下面是一个简单的 XML 文档示例：
<?xml version = "1.0"?>
<root>
<product id = "1">
<name>Product-A<name>
<price>$199.95</price>
</product>
<product id = "2">
<name>Product-B</name>
<price>$129.95</price>
</product>
</root>
XPath 专门用于提取 XML 文档中的数据。在本节中，我们比较 XPath 表达式和 CSS 选
择器，查看二者在提取网页数据过程中的作用。
函数 html_node( ) 和 html_nodes( ) 支持 XPath 表达式，并通过参数 xpath= 实
现。表 14-2 展示了 CSS 选择器和等价的 XPath 表达式之间的一些重要对比。
表 14-2
CSS XPath Math
li > * //li/* All children of <li>
li[attr] //li[@attr] All <li> with attr attribute
li[attr=value] //li[@attr = 'value'] <li attr = "value">
li#item //li[@id = 'item'] <li id = "item">
li.info //li[contains(@class,'info')] <li class = "info">
续表
CSS XPath Math
li:first-child //li[1] First <li>
li:last-child //li[last()] Last <li>
li:nth-child(n) //li[n] n th <li>
(N/A) //p[a] All with a child <a>
(N/A) //p[position() <= 5] The first five nodes
(N/A) //p[last()-2] The last third last 
(N/A) //li[value>0.5] All <li> with child <value>whose value > 0.5
CSS 选择器会匹配所有子层级的节点。在 XPath 表达式中，标签 // 和 / 匹配不同的
节点。更具体地说，// 标签引用所有子层级的 <tag> 节点，而 / 标签只引用第 1 个子层级
的 <tag> 节点。
我们通过下面这些例子展示它们的用法：
选择所有 节点：
page %>% html_ _nodes(xpath = "//p")
## {xml_nodeset (5)}
## [1] The following is a list of products
## [2] Description for Product-A
## [3] Description for Product-B
## [4] Description for Product-C
## [5] All products are available for sale!
选择所有具有 class 属性的 <li> 节点：
page %>% html_ _nodes(xpath = "//li[@class]")
## {xml_nodeset (1)}
## [1] <li class = "selected">\n Pro ...
选择 <div id = "list"><ul> 节点中所有 <li> 子节点：
page %>% html_ _nodes(xpath = "//div[@id = 'list']/ul/li")
## {xml_nodeset (3)}
## [1] <li>\n Product-A\n ...
## [2] <li class = "selected">\n Pro ...
## [3] <li>\n Product-C\n ...
选择所有嵌套于<div id = "list"> 中 <li> 标签下的 子
节点：
page %>% html_ _nodes(xpath = "//div[@id = 'list']//li/span[@class = 'name']")
## {xml_nodeset (3)}
## [1] Product-A
## [2] Product-B
## [3] Product-C
选择所有嵌套于 <li class = "selected"> 中的 子节点：
page %>%
html_ _nodes(xpath = "//li[@class = 'selected']/span[@class = 'name']")
## {xml_nodeset (1)}
## [1] Product-B
上面这些例子也可以使用等效的 CSS 选择器来实现。然而，下面这些例子就不能
用 CSS 选择器实现了：
选择所有包含 子节点的 <div> 节点：
page %>% html_ _nodes(xpath = "//div[p]")
## {xml_nodeset (3)}
## [1] <div class = "info bordered">\n Description ...
## [2] <div class = "info">\n Description for Prod ...
## [3] <div class = "info">\n Description for Prod ...
选择所有的 Good：
page %>%
html_ _nodes(xpath = "//span[@class = 'info-value' and text() = 'Good']")
## {xml_nodeset (2)}
## [1] Good
## [2] Good
选择所有优质产品的名称：
page %>%
html_ _nodes(xpath = "//li[div/ul/li[1]/span[@class = 'info-value' and
text() = 'Good']]/span[@class = 'name']")
## {xml_nodeset (2)}
## [1] Product-A
## [2] Product-C
选择所有持续时间超过 3 年的产品名称：
page %>%
html_ _nodes(xpath = "//li[div/ul/li[2]/span[@class = 'info-value' and
text()>3]]/span[@class = 'name']")
## {xml_nodeset (2)}
## [1] Product-A
## [2] Product-C
XPath 是非常灵活的，在匹配网页节点方面是一个强大的工具。想要了解更多内容，
请访问 http://www.w3schools.com/xsl/xpath_syntax.aspac。

使用 XPath 选择器的更多相关文章

Python爬虫与数据分析之爬虫技能：urlib库、xpath选择器、正则表达式
专栏目录: Python爬虫与数据分析之python教学视频.python源码分享,python Python爬虫与数据分析之基础教程:Python的语法.字典.元组.列表 Python爬虫与数据分析 ...
使用scrapy中xpath选择器的一个坑点
情景如下: 一个网页下有一个ul,这个ur下有125个li标签,每个li标签下有我们想要的 url 字段(每个 url 是唯一的)和 price 字段,我们现在要访问每个li下的url并在生成的请求中 ...
常用xpath选择器和css选择器总结
xpath选择器表达式说明 article 选取所有article元素的所有子节点 /article 选取根元素article article/a 选取所有属于article的子元素的a元素 // ...
xpath选择器简介及如何使用
xpath选择器简介及如何使用一.总结一句话总结:XPath 的全称是 XML Path Language,即 XML 路径语言,它是一种在结构化文档(比如 XML 和 HTML 文档)中定位信息 ...
在Scrapy中如何利用Xpath选择器从HTML中提取目标信息（两种方式）
前一阵子我们介绍了如何启动Scrapy项目以及关于Scrapy爬虫的一些小技巧介绍,没来得及上车的小伙伴可以戳这些文章: 手把手教你如何新建scrapy爬虫框架的第一个项目(上) 手把手教你如何新建s ...
Selenium(九)：Xpath选择器
1. Xpath选择器 1.1 Xpath语法简介前面我们学习了CSS选择元素. 大家可以发现非常灵活.强大. 还有一种灵活.强大的选择元素的方式,就是使用Xpath表达式. XPath (XML ...
用Xpath选择器解析网页（lxml）
在<爬虫基础以及一个简单的实例>一文中,我们使用了正则表达式来解析爬取的网页.但是正则表达式有些繁琐,使用起来不是那么方便.这次我们试一下用Xpath选择器来解析网页. 首先,什么是XPa ...
xpath选择器使用
简单说,xpath就是选择XML文件中节点的方法. 所谓节点(node),就是XML文件的最小构成单位,一共分成7种. - element(元素节点)- attribute(属性节点)- text ( ...
初始scrapy,简单项目创建和CSS选择器,xpath选择器(1)
一安装 #Linux: pip3 install scrapy #Windows: a. pip3 install wheel b. 下载twisted http://www.lfd.uci.edu ...

随机推荐

[LeetCode] 844. Backspace String Compare_Easy tag: Stack **Two pointers
Given two strings S and T, return if they are equal when both are typed into empty text editors. # m ...
使用block的好处
1 使用block 可以轻松地绑定各处代码块,使用delete 结构是分散的,不利于变量之间传值,不像block可以随意地获取变量值. 2.使用block可以方便执行异步代码,作为异步处理回调. In ...
js值类型和引用类型的区别
1:赋值值类型的赋值:直接将存储的数据赋值一份进行赋值,两份数据在内存中是完全独立的. 引用类型赋值:引用类型的赋值的时候,是将变量中的存储的地址赋值一份单独存储,但是两个变量中修改其中一个对象,另 ...
UVM中的regmodel建模(二)
UVM的寄存器模型,对一个寄存器bit中有两种数值,mirror值,尽可能的反映DUT中寄存器的值.expected值,尽可能的反映用户期望的值. 几种常用的操作: read/write:可以前门访问 ...
python （ EOL while scanning string literal）
python错误: EOL while scanning string literal: 这个异常造成的原因是字符串,引号没有成对出现参考:http://www.jb51.net/article/6 ...
Java缓存学习之五：spring 对缓存的支持
(注意标题,Spring对缓存的支持这里不单单指Ehcache ) 从3.1开始,Spring引入了对Cache的支持.其使用方法和原理都类似于Spring对事务管理的支持.Spring Cache ...
容易遗忘的JS知识点整理
1.hasOwnProperty相关为了判断一个对象是否包含自定义属性而不是原型链上的属性,我们需要使用继承自 Object.prototype 的 hasOwnProperty方法.hasOwnP ...
torch7入门(安装与使用)
http://blog.csdn.net/real_myth/article/details/52291636 1.安装与使用测试系统是ubuntu14.04LTS,默认安装在-/torch,当然我 ...
ES6学习--对象属性的可枚举性（ enumerable）
可枚举性(enumerable)用来控制所描述的属性,是否将被包括在for...in循环之中.具体来说,如果一个属性的enumerable为false,下面三个操作不会取到该属性.* for..in循 ...
Php cli模式下执行报错/usr/bin/php: /usr/local/lib/libxml2.so.2: no version information available (required by /usr/bin/php)
centos下php cli模式报错 /usr/bin/php: /usr/local/lib/libxml2.so.2: no version information available (requ ...

使用 XPath 选择器

使用 XPath 选择器的更多相关文章

随机推荐

热门专题