使用 XPath 选择器

在前面的内容中，我们掌握了一些 CSS 选择器和它们的使用方法，以及 rvest 包中
用于提取网页内容的函数。
一般来说，CSS 选择器足够满足绝大部分
的 HTML 节点匹配的需要。但是，当需要根据某些
特殊条件选择节点时，需要用更强大的技术。
图 14-5 所示的网页比 data/products.html 复杂
一点：
这个网页作为一个独立的 HTML 文件被存储
在 data/new-products.html。全部的源代码很长，这
里只展示 <body> 部分。请浏览一遍源代码，以便
对它的结构有个印象：
<body>
<h1>New Products</h1>

图 14-5
The following is a list of products
<div id = "list" class = "product-list">
<ul>
<li>
Product-A
$199.95
<div class = "info bordered">
Description for Product-A
<ul>
<li>Quality Good</li>
<li>Duration 5 years</li>
</ul>
</div>
</li>
<li class = "selected">
Product-B
$129.95
<div class = "info">
Description for Product-B
<ul>
<li>Quality 
Medium</li>
<li>Duration 
2years</li>
</ul>
</div>
</li>
<li>
Product-C
$99.95
<div class = "info">
Description for Product-C
<ul>
<li>Quality 
Good</li>
<li>Duration 
4years</li>
</ul>
</div>
</li>
</ul>
</div>
All products are available for sale!
</body>
网页的源代码包含了一个样式表和产品详细信息的列表。每个产品都有其描述和很多
性质。接下来，就像前面的例子一样，我们载入网页：
page <- read_ _html("data/new-products.html")
HTML 的代码结构简单明晰。在深入挖掘 XPath 之前，我们需要了解一下 XML。编写
良好且组织规范的 HTML 文档可以被看作 XML（eXtensive Markup Language）文档的一个
特例。与 HTML 不同，XML 允许任意的标签和属性。下面是一个简单的 XML 文档示例：
<?xml version = "1.0"?>
<root>
<product id = "1">
<name>Product-A<name>
<price>$199.95</price>
</product>
<product id = "2">
<name>Product-B</name>
<price>$129.95</price>
</product>
</root>
XPath 专门用于提取 XML 文档中的数据。在本节中，我们比较 XPath 表达式和 CSS 选
择器，查看二者在提取网页数据过程中的作用。
函数 html_node( ) 和 html_nodes( ) 支持 XPath 表达式，并通过参数 xpath= 实
现。表 14-2 展示了 CSS 选择器和等价的 XPath 表达式之间的一些重要对比。
表 14-2
CSS XPath Math
li > * //li/* All children of <li>
li[attr] //li[@attr] All <li> with attr attribute
li[attr=value] //li[@attr = 'value'] <li attr = "value">
li#item //li[@id = 'item'] <li id = "item">
li.info //li[contains(@class,'info')] <li class = "info">
续表
CSS XPath Math
li:first-child //li[1] First <li>
li:last-child //li[last()] Last <li>
li:nth-child(n) //li[n] n th <li>
(N/A) //p[a] All with a child <a>
(N/A) //p[position() <= 5] The first five nodes
(N/A) //p[last()-2] The last third last 
(N/A) //li[value>0.5] All <li> with child <value>whose value > 0.5
CSS 选择器会匹配所有子层级的节点。在 XPath 表达式中，标签 // 和 / 匹配不同的
节点。更具体地说，// 标签引用所有子层级的 <tag> 节点，而 / 标签只引用第 1 个子层级
的 <tag> 节点。
我们通过下面这些例子展示它们的用法：
选择所有 节点：
page %>% html_ _nodes(xpath = "//p")
## {xml_nodeset (5)}
## [1] The following is a list of products
## [2] Description for Product-A
## [3] Description for Product-B
## [4] Description for Product-C
## [5] All products are available for sale!
选择所有具有 class 属性的 <li> 节点：
page %>% html_ _nodes(xpath = "//li[@class]")
## {xml_nodeset (1)}
## [1] <li class = "selected">\n Pro ...
选择 <div id = "list"><ul> 节点中所有 <li> 子节点：
page %>% html_ _nodes(xpath = "//div[@id = 'list']/ul/li")
## {xml_nodeset (3)}
## [1] <li>\n Product-A\n ...
## [2] <li class = "selected">\n Pro ...
## [3] <li>\n Product-C\n ...
选择所有嵌套于<div id = "list"> 中 <li> 标签下的 子
节点：
page %>% html_ _nodes(xpath = "//div[@id = 'list']//li/span[@class = 'name']")
## {xml_nodeset (3)}
## [1] Product-A
## [2] Product-B
## [3] Product-C
选择所有嵌套于 <li class = "selected"> 中的 子节点：
page %>%
html_ _nodes(xpath = "//li[@class = 'selected']/span[@class = 'name']")
## {xml_nodeset (1)}
## [1] Product-B
上面这些例子也可以使用等效的 CSS 选择器来实现。然而，下面这些例子就不能
用 CSS 选择器实现了：
选择所有包含 子节点的 <div> 节点：
page %>% html_ _nodes(xpath = "//div[p]")
## {xml_nodeset (3)}
## [1] <div class = "info bordered">\n Description ...
## [2] <div class = "info">\n Description for Prod ...
## [3] <div class = "info">\n Description for Prod ...
选择所有的 Good：
page %>%
html_ _nodes(xpath = "//span[@class = 'info-value' and text() = 'Good']")
## {xml_nodeset (2)}
## [1] Good
## [2] Good
选择所有优质产品的名称：
page %>%
html_ _nodes(xpath = "//li[div/ul/li[1]/span[@class = 'info-value' and
text() = 'Good']]/span[@class = 'name']")
## {xml_nodeset (2)}
## [1] Product-A
## [2] Product-C
选择所有持续时间超过 3 年的产品名称：
page %>%
html_ _nodes(xpath = "//li[div/ul/li[2]/span[@class = 'info-value' and
text()>3]]/span[@class = 'name']")
## {xml_nodeset (2)}
## [1] Product-A
## [2] Product-C
XPath 是非常灵活的，在匹配网页节点方面是一个强大的工具。想要了解更多内容，
请访问 http://www.w3schools.com/xsl/xpath_syntax.aspac。

使用 XPath 选择器的更多相关文章

Python爬虫与数据分析之爬虫技能：urlib库、xpath选择器、正则表达式
专栏目录: Python爬虫与数据分析之python教学视频.python源码分享,python Python爬虫与数据分析之基础教程:Python的语法.字典.元组.列表 Python爬虫与数据分析 ...
使用scrapy中xpath选择器的一个坑点
情景如下: 一个网页下有一个ul,这个ur下有125个li标签,每个li标签下有我们想要的 url 字段(每个 url 是唯一的)和 price 字段,我们现在要访问每个li下的url并在生成的请求中 ...
常用xpath选择器和css选择器总结
xpath选择器表达式说明 article 选取所有article元素的所有子节点 /article 选取根元素article article/a 选取所有属于article的子元素的a元素 // ...
xpath选择器简介及如何使用
xpath选择器简介及如何使用一.总结一句话总结:XPath 的全称是 XML Path Language,即 XML 路径语言,它是一种在结构化文档(比如 XML 和 HTML 文档)中定位信息 ...
在Scrapy中如何利用Xpath选择器从HTML中提取目标信息（两种方式）
前一阵子我们介绍了如何启动Scrapy项目以及关于Scrapy爬虫的一些小技巧介绍,没来得及上车的小伙伴可以戳这些文章: 手把手教你如何新建scrapy爬虫框架的第一个项目(上) 手把手教你如何新建s ...
Selenium(九)：Xpath选择器
1. Xpath选择器 1.1 Xpath语法简介前面我们学习了CSS选择元素. 大家可以发现非常灵活.强大. 还有一种灵活.强大的选择元素的方式,就是使用Xpath表达式. XPath (XML ...
用Xpath选择器解析网页（lxml）
在<爬虫基础以及一个简单的实例>一文中,我们使用了正则表达式来解析爬取的网页.但是正则表达式有些繁琐,使用起来不是那么方便.这次我们试一下用Xpath选择器来解析网页. 首先,什么是XPa ...
xpath选择器使用
简单说,xpath就是选择XML文件中节点的方法. 所谓节点(node),就是XML文件的最小构成单位,一共分成7种. - element(元素节点)- attribute(属性节点)- text ( ...
初始scrapy,简单项目创建和CSS选择器,xpath选择器(1)
一安装 #Linux: pip3 install scrapy #Windows: a. pip3 install wheel b. 下载twisted http://www.lfd.uci.edu ...

随机推荐

python sys.path[0] 的解释
sys.path是python的搜索模块的路径集,返回的结果是一个list path[0] 此列表的第一项,path[0],在程序启动时初始化,是包含用来调用Python解释器的脚本的目录.如果脚本目 ...
iOS下拉刷新和上拉刷新
在iOS开发中,我们经常要用到下拉刷新和上拉刷新来加载新的数据,当前这也适合分页.iOS原生就带有该方法,下面就iOS自带的下拉刷新方法来简单操作. 上拉刷新 1.在TableView里,一打开软件, ...
map() 方法
1. 方法概述 map() 方法返回一个由原数组中的每个元素调用一个指定方法后的返回值组成的新数组. 2. 例子 2.1 在字符串中使用map 在一个 String 上使用 map 方法获取字符串中每 ...
ajax response 系统错误时responseText出现一堆代码
在后期维护webform的一个项目时遇到个比较大的坑,前台ajax请求,失败时弹出后台自定义的错误信息responsetext.结果在本地运行时能正常弹出“验证码错误”,而发布到服务器上respons ...
hdu4991 树状数组+dp
这题说的是给了一个序列长度为n 然后求这个序列的严格递增序列长度是m的方案有多少种,如果用dp做那么对于状态有dp[n][m]=dp[10000][100],时间复杂度为n*m*n接受不了那么想想是否 ...
Excel导出插件-VSTO
前言一个游戏通常需要10多个Excel表格或者更多来配置,一般会通过导出csv格式读取配置. 本文提供导出Excel直接生成c#文件,对应数据直接生成结构体和数组,方便开发排错和简化重复写每个表格的 ...
【kafka学习之四】kafka集群性能测试
kafka集群的性能受限于JVM参数.服务器的硬件配置以及kafka的配置,因此需要对所要部署kafka的机器进行性能测试,根据测试结果,找出符合业务需求的最佳配置. 1.kafka broker j ...
centos crontab详解
1.crontab安装 [root@CentOS ~]# yum install vixie-cron [root@CentOS ~]# yum install crontabs 说明:vixie-c ...
bzoj3524 [Poi2014]Couriers/2223 [Coci 2009]PATULJCI
题目链接1 题目链接2 主席树模板题两题有细节不同 #include<algorithm> #include<iostream> #include<cstdlib> ...
教你如何用Nginx搭建一个安全的、快速的微服务架构
今天我们要谈论微服务以及如何使用Nginx构建一个快速的.安全的网络系统.最后,我们将向您展示一个使用Fabric模式如何非常快速和轻松地构建一个微服务的demo. 在我们探讨Fabric模式之前,我 ...

使用 XPath 选择器

使用 XPath 选择器的更多相关文章

随机推荐

热门专题