html = '''<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title a " name="dromouse"><b>The Dormouse's story</b></p>
<p class="story b">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
</body></html>'''

XPath简介

XPath，全称XML Path Language,即XML路径语言，可以在XML，HTML文档中查找信息的语言,XPath的选择功能十分强大，提供了非常简明了的路径选择表达式。更多的文档可以访问其官方网站，http://www.w3.org/TR/xpath/。

XPath常用规则

nodename   选择此节点的所有子节点

/  从当前节点选择直接子节点

// 从当前节点选择子孙节点

. 选取当前节点

..  选取当前节点的父节点

@  选取属性

准备工作

安装lxml   命令管理窗口 pip install lxml

XPath功能

from lxml import etree
html_data = etree.HTML(html)  #声明为HTML文本 且etree可以自动修复HTML文本
print(etree.tostring(html_data).decode("utf-8"))   #tostring输出完善后的html文本 decode将 bytes->str类型

所有节点　　

result = html_data.xpath("//*") #表示选取所有节点
result1 = html_data.xpath("//p")  # 表示选取所有p节点
print(result1)
#运行结果为
[<Element p at 0x1f7d6abf888>, <Element p at 0x1f7d67e4748>, <Element p at 0x1f7d67e4288>]

　子节点　

result_children = html_data.xpath("//body/p")  #选取body节点里所有p节点
result_children1 = html_data.xapth("//body/a")
print(result_children1)
#运行结果为
[]
#通过上述程序表明//用于获取子孙节点 /用于获取直接子节点 ，而a节点不为body节点的直接子节点

父节点

#第一种方法
print(html_data.xpath('//a[@class="sister"]/../@class')) #获取a节点父节点p节点的class对应的值a节点为第一个a节点
#运行结果为
['story']
第二种方法
result = html_data.xpath('//a[@class="sister"]/parent::*/@class') #通过parent::来获取父节点

属性匹配

result = html_data.xpath('//a[@class="sister"]') #选取所有class值为sister的节点
print（result）
运行结果为
[<Element a at 0x1f7d696d848>, <Element a at 0x1f7d67e4288>, <Element a at 0x1f7d6abf888>]
#获取文本
result = html_data.xpath('//a[2][@class="sister"]/./text()') #获得第二个a节点的文本值
print(result)
#运行结果为
['Lacie']
#获取属性值
result = html_data.xpath('//a[2][@class="sister"]/@href') #获取第二个a节点的href值
print(result)
#运行结果为
['http://example.com/lacie']

多种属性值匹配

result = html_data.xpath('//p[contains(@class,"b")]/a/text()') #获取所有p节点下的a节点的文本
print(result)
#运行结果为
['Lacie', 'Tillie']
#多属性匹配
 result = html_data.xpath('//a[contains(@class,"sister") and @id="link2"]//text()') #获取第二个节点a的文本值
print(result)
#输出结果为
['Lacie']

按序选择

result = html_data.xpath('//a[last()-1]//text()') #选取倒数第二个a节点的文本值
result1=html_data.xpath('//a[position()<3]//text()') #选取位置序号小于3的a节点 由于第一个a节点的文本值为空
#输出结果为
print(result)
['Lacie']

节点轴选择

result = html_data.xpath('//a[1][@id="link1"]/ancestor::*') #获取所有第一个a节点的所有祖先节点
#输出结果为[<Element html at 0x1f7d6a35488>, <Element body at 0x1f7d67e4cc8>, <Element p at 0x1f7d67e4ec8>]
result = html_data.xpath('//a[1][@id="link1"]/ancestor::p')#获取p祖先节点
#接下来便不再提供输出结果，有兴趣者可以自行编写
result = html_data.xpath('//a[2][@id="link2"]/attribute::*')#获取第二个a节点的所有属性值
result = html_data.xpath('//p[contains(@class,"story")]/child::a[@id="link2"]')#调用child轴，可以获取所有子节点，并且限定获取id=link2的a节点
result = html_data.xpath('//body/descendant::b') #获取body子孙节点，并且只获取子孙节点b
result = html_data.xpath('//p/following-sibling::*') #获取当前节点之后所有的同级节点

`

XPath简介、功能及使用方法的更多相关文章

  1. primace 5.0软件的Debug ware 功能的使用方法简介

    用primace 软件已经一年多了,一直不知道Debug ware 软件怎么使用,上周终于逮住FAE请教了下这个功能的使用方法.发现这个功能和signalTap ii 原理不一样,这个是非时事的波形, ...

  2. 在Excel中使用频率最高的函数的功能和使用方法

    在Excel中使用频率最高的函数的功能和使用方法,按字母排序: 1.ABS函数 函数名称:ABS 主要功能:求出相应数字的绝对值. 使用格式:ABS(number) 参数说明:number代表需要求绝 ...

  3. duilib中控件拖拽功能的实现方法（附源码）

    转载请说明原出处,谢谢~~:http://blog.csdn.net/zhuhongshu/article/details/41144283 duilib库中原本没有显示的对控件增加拖拽的功能,而实际 ...

  4. Format类及其子类功能和使用方法具体解释

    Format类及其子类功能和使用方法具体解释 1.   Format类结构: ·        java.lang.Object ·        java.text.Format ·         ...

  5. CPU-Z五大主要功能及使用方法初步了解

    CPU-Z这款软件除了具有查看CPU温度这个功能之外,还有很多其他的功能.今天就和小编一起去看看CPU-Z的5大功能以及他们的使用方法吧! CPU信息标签页 CPU-Z介绍: CPU-Z是一款著名的免 ...

  6. ThinkPHP登录功能的实现方法

    登陆功能是PHP程序设计中常见的功能.本文ThinkPHP实例主要完成注册成功后进入首页,并告诉你是登录用户的功能.具体实现步骤如下: 第一步:在config.php文件中加上: 完整实现代码如下: ...

  7. 关于金蝶k3 wise供应生门户登陆界面屏蔽业务账套多余功能模块设置方法

    关于金蝶k3 wise供应生门户登陆界面屏蔽业务账套多余功能模块设置方法 1. 找到以下路径 ...\Kingdee\K3ERP\KDHR\SITEFILE\WEBUI\ 找到“Login.aspx” ...

  8. 页面元素定位 XPath 简介

    页面元素定位 XPath 简介 本文所说的 Xpath 是用于 Selenium 自动化测试所使用到的,是针对XHTML网页而言的一种页面元素的定位表示法. XPath 背景 XPath即为XML路径 ...

  9. CDLinux 自动休眠功能的关闭方法

    CDLinux 自动休眠功能的关闭方法: 控制台下使用xset命令来完成. xset q  可以查看当前屏幕保护和电源管理的状态信息 具体设置时,常用的有以下参数: xset s  //这个参数设置屏 ...

随机推荐

  1. [bzoj4823][洛谷P3756][Cqoi2017]老C的方块

    Description 老 C 是个程序员. 作为一个懒惰的程序员,老 C 经常在电脑上玩方块游戏消磨时间.游戏被限定在一个由小方格排成的R行C列网格上 ,如果两个小方格有公共的边,就称它们是相邻的, ...

  2. .Net Core建站（2）：EF Core+CodeFirst数据库迁移

    上一篇的话,说了下怎么使用EF7 实现 CodeFirst去生成数据库, 其实还有好多问题的,这次一点一点的解决吧,都挺简单,不过零零散散的,, 1.读取配置文件,获得链接字符串 2.使用数据库进行增 ...

  3. [JSOI2008]最大数（并查集）

    并查集的神奇用法:[JSOI2008]最大数 Description 现在请求你维护一个数列,要求提供以下两种操作: 1. 查询操作. 语法:Q L 功能:查询当前数列中末尾L个数中的最大的数,并输出 ...

  4. PKU-3580 SuperMemo(Splay模板题)

    SuperMemo 题目链接 Your friend, Jackson is invited to a TV show called SuperMemo in which the participan ...

  5. 这个菜鸟花几个小时写的 DEMO 被码云推荐上首页 ？

    写在最前     没有接触过 AntV 的诸位看客可通过这篇不成文的文章稍作了解.最近 病毒猖獗,遂抽空做了一个相关小 DEMO.数据可视化方面的使用的是 AntV F2,前端框架使用 Vue 快速成 ...

  6. 超链接a标签的伪类选择器问题，Link标签与visited标签的失效问题(问题介绍与解决方法)。

    <!DOCTYPE html>< html>< head>     <meta charset="utf-8" />     < ...

  7. 请注意安全！你的mongodb已经被黑了！互联网安全生产大过天！

    你所不知道的入侵,你的服务器安全吗?你的数据库安全吗? 讲真,也许是我以前一直从事内网应用开发吧,我从来没有想过在互联网上,有那么多扫描器. 10月份的时候,受人委托我做了一个简单的抢单插件,里面有用 ...

  8. TCP UDP协议的三次握手

    接触网络协议栈TCP/IP的人,就一定绕不开的一个话题就是TCP的三次握手.下面我将简单介绍一下. 三次握手流程的本质,可以这么理解:TCP的三次握手其实是双方各一次握手,各一次确认,只是其中一次握手 ...

  9. 每日一练PAT_B_PRAC_1005斐波那契凤尾

    NowCoder号称自己已经记住了1-100000之间所有的斐波那契数.为了考验他,我们随便出一个数n,让他说出第n个斐波那契数.当然,斐波那契数会很大.因此,如果第n个斐波那契数不到6位,则说出该数 ...

  10. vcs/verdi filist

    . 现在很多verilog 的filelist 文件中用如下形式来指定文件所在的目录就行了,而不必指定具体文件 ./testbench/ppc460_PLB4/p464s_test_top_tb.v ...