XPath简介、功能及使用方法
html = '''<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title a " name="dromouse"><b>The Dormouse's story</b></p>
<p class="story b">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
</body></html>'''
XPath简介
XPath,全称XML Path Language,即XML路径语言,可以在XML,HTML文档中查找信息的语言,XPath的选择功能十分强大,提供了非常简明了的路径选择表达式。更多的文档可以访问其官方网站,http://www.w3.org/TR/xpath/。
XPath常用规则
nodename 选择此节点的所有子节点
/ 从当前节点选择直接子节点
// 从当前节点选择子孙节点
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性
准备工作
安装lxml 命令管理窗口 pip install lxml
XPath功能
from lxml import etree
html_data = etree.HTML(html) #声明为HTML文本 且etree可以自动修复HTML文本
print(etree.tostring(html_data).decode("utf-8")) #tostring输出完善后的html文本 decode将 bytes->str类型
所有节点
result = html_data.xpath("//*") #表示选取所有节点
result1 = html_data.xpath("//p") # 表示选取所有p节点
print(result1)
#运行结果为
[<Element p at 0x1f7d6abf888>, <Element p at 0x1f7d67e4748>, <Element p at 0x1f7d67e4288>]
子节点
result_children = html_data.xpath("//body/p") #选取body节点里所有p节点
result_children1 = html_data.xapth("//body/a")
print(result_children1)
#运行结果为
[]
#通过上述程序表明//用于获取子孙节点 /用于获取直接子节点 ,而a节点不为body节点的直接子节点
父节点
#第一种方法
print(html_data.xpath('//a[@class="sister"]/../@class')) #获取a节点父节点p节点的class对应的值a节点为第一个a节点
#运行结果为
['story']
第二种方法
result = html_data.xpath('//a[@class="sister"]/parent::*/@class') #通过parent::来获取父节点
属性匹配
result = html_data.xpath('//a[@class="sister"]') #选取所有class值为sister的节点
print(result)
运行结果为
[<Element a at 0x1f7d696d848>, <Element a at 0x1f7d67e4288>, <Element a at 0x1f7d6abf888>]
#获取文本
result = html_data.xpath('//a[2][@class="sister"]/./text()') #获得第二个a节点的文本值
print(result)
#运行结果为
['Lacie']
#获取属性值
result = html_data.xpath('//a[2][@class="sister"]/@href') #获取第二个a节点的href值
print(result)
#运行结果为
['http://example.com/lacie']
多种属性值匹配
result = html_data.xpath('//p[contains(@class,"b")]/a/text()') #获取所有p节点下的a节点的文本
print(result)
#运行结果为
['Lacie', 'Tillie']
#多属性匹配
result = html_data.xpath('//a[contains(@class,"sister") and @id="link2"]//text()') #获取第二个节点a的文本值
print(result)
#输出结果为
['Lacie']
按序选择
result = html_data.xpath('//a[last()-1]//text()') #选取倒数第二个a节点的文本值
result1=html_data.xpath('//a[position()<3]//text()') #选取位置序号小于3的a节点 由于第一个a节点的文本值为空
#输出结果为
print(result)
['Lacie']
节点轴选择
result = html_data.xpath('//a[1][@id="link1"]/ancestor::*') #获取所有第一个a节点的所有祖先节点
#输出结果为[<Element html at 0x1f7d6a35488>, <Element body at 0x1f7d67e4cc8>, <Element p at 0x1f7d67e4ec8>]
result = html_data.xpath('//a[1][@id="link1"]/ancestor::p')#获取p祖先节点
#接下来便不再提供输出结果,有兴趣者可以自行编写
result = html_data.xpath('//a[2][@id="link2"]/attribute::*')#获取第二个a节点的所有属性值
result = html_data.xpath('//p[contains(@class,"story")]/child::a[@id="link2"]')#调用child轴,可以获取所有子节点,并且限定获取id=link2的a节点
result = html_data.xpath('//body/descendant::b') #获取body子孙节点,并且只获取子孙节点b
result = html_data.xpath('//p/following-sibling::*') #获取当前节点之后所有的同级节点
`
XPath简介、功能及使用方法的更多相关文章
- primace 5.0软件的Debug ware 功能的使用方法简介
用primace 软件已经一年多了,一直不知道Debug ware 软件怎么使用,上周终于逮住FAE请教了下这个功能的使用方法.发现这个功能和signalTap ii 原理不一样,这个是非时事的波形, ...
- 在Excel中使用频率最高的函数的功能和使用方法
在Excel中使用频率最高的函数的功能和使用方法,按字母排序: 1.ABS函数 函数名称:ABS 主要功能:求出相应数字的绝对值. 使用格式:ABS(number) 参数说明:number代表需要求绝 ...
- duilib中控件拖拽功能的实现方法(附源码)
转载请说明原出处,谢谢~~:http://blog.csdn.net/zhuhongshu/article/details/41144283 duilib库中原本没有显示的对控件增加拖拽的功能,而实际 ...
- Format类及其子类功能和使用方法具体解释
Format类及其子类功能和使用方法具体解释 1. Format类结构: · java.lang.Object · java.text.Format · ...
- CPU-Z五大主要功能及使用方法初步了解
CPU-Z这款软件除了具有查看CPU温度这个功能之外,还有很多其他的功能.今天就和小编一起去看看CPU-Z的5大功能以及他们的使用方法吧! CPU信息标签页 CPU-Z介绍: CPU-Z是一款著名的免 ...
- ThinkPHP登录功能的实现方法
登陆功能是PHP程序设计中常见的功能.本文ThinkPHP实例主要完成注册成功后进入首页,并告诉你是登录用户的功能.具体实现步骤如下: 第一步:在config.php文件中加上: 完整实现代码如下: ...
- 关于金蝶k3 wise供应生门户登陆界面屏蔽业务账套多余功能模块设置方法
关于金蝶k3 wise供应生门户登陆界面屏蔽业务账套多余功能模块设置方法 1. 找到以下路径 ...\Kingdee\K3ERP\KDHR\SITEFILE\WEBUI\ 找到“Login.aspx” ...
- 页面元素定位 XPath 简介
页面元素定位 XPath 简介 本文所说的 Xpath 是用于 Selenium 自动化测试所使用到的,是针对XHTML网页而言的一种页面元素的定位表示法. XPath 背景 XPath即为XML路径 ...
- CDLinux 自动休眠功能的关闭方法
CDLinux 自动休眠功能的关闭方法: 控制台下使用xset命令来完成. xset q 可以查看当前屏幕保护和电源管理的状态信息 具体设置时,常用的有以下参数: xset s //这个参数设置屏 ...
随机推荐
- 代码审计之CVE-2017-6920 Drupal远程代码执行漏洞学习
1.背景介绍: CVE-2017-6920是Drupal Core的YAML解析器处理不当所导致的一个远程代码执行漏洞,影响8.x的Drupal Core. Drupal介绍:Drupal 是一个由 ...
- 「 深入浅出 」集合Map
系列文章: 「 深入浅出 」java集合Collection和Map 「 深入浅出 」集合List 「 深入浅出 」集合Set 前面已经介绍完了Collection接口下的集合实现类,今天我们来介绍M ...
- 每天玩转3分钟 MyBatis-Plus - 4. 高级查询(二)(条件构造器)
每天玩转3分钟 MyBatis-Plus - 1. 配置环境 每天玩转3分钟 MyBatis-Plus - 2. 普通查询 每天玩转3分钟 MyBatis-Plus - 3. 高级查询(一) 每天玩转 ...
- web api 的 安全 认证问题 , 对外开放 的 时候 需要考虑到安全的问题
关于 OWIN OAuth , web api的认证,全局验证, 安全方面的验证 有必要 去 自己捣鼓一下.
- jmeter使用—远程分布式
今天要说的是在远程服务器上使用多台服务器进行noGUI分布式使用jmeter压测. 1.首先准备几台服务器,服务器上都需要安装同一个版本的jmeter. 2.在服务器上启动jmeter的方式是在jme ...
- Jenkins环境配置(集成自动化程序)
一.下载 直接到官网https://jenkins.io/download/ 进行下载 二.安装 1.在浏览器地址栏输入:http://loclhost:8081 运行Jenkins,首次进入会提示 ...
- Oracle监听器
Oracle 监听器 Listener 是一个重要的数据库服务器组件,在整个 Oracle 体系结构中,扮演着重要的作用.它负责管理 Oracle 数据库和客户端之间的通讯,它在一个特定的网卡端口(默 ...
- AWS 入门使用
AWS官方参考文档:https://docs.aws.amazon.com/s3/index.html AWS基本介绍:https://docs.aws.amazon.com/zh_cn/Amazon ...
- Hexo Next 接入 google AdSense 广告
前言 个人网站 www.yanlongwang.net 已经运营近一年,每日的浏览量不断上升,现在维持在两位数,打算承接一点广告赚睡后收入,用来维持网站的日常运营,希望能覆盖网站的服务器和域名开销. ...
- 【WPF学习】第三十八章 行为
样式提供了重用一组属性设置的实用方法.它们为帮助构建一致的.组织良好的界面迈出了重要的第一步——但是它们也是有许多限制. 问题是在典型的应用程序中,属性设置仅是用户界面基础结构的一小部分.甚至最基本的 ...