逐层检索和全局检索

布啦豆 11203

本节主要介绍用xpath来描述html的层级关系

主要使用到的知识点如下：

单独的一个点 .，表示当前位置
两个点 ..，表示上一级父标签的位置
单独的一个斜杠 /，表示只检索下面一级
单独的两个斜杠 //，表示检索下面全部位置
下标 [数字]：从1开始，依次计算

准备代码

首先是一个HTML代码块，以及lxml的代码

html_str = """

<body>

<div class="ui container">

        <table class="ui striped  table">

            <tr>

                <th>姓名</th>

                <th>性别</th>

                <th>邮箱</th>

                <th>电话</th>

            </tr>

            <tr>

                <td><a href="zhangwei">张伟</a></td>

                <td>男</td>

                <td>zhangwei@haoren.com</td>

                <td>12138-111</td>

            </tr>

            <tr>

                <td><a href="yifei">一菲</a></td>

                <td>女</td>

                <td>yifei@haoren.com</td>

                <td>12138-112</td>

            </tr>

            <tr>

                <td><a href="xiaoxian">小贤</a></td>

                <td>男</td>

                <td>xiaoxian@haoren.com</td>

                <td>12138-113</td>

            </tr>

            <tr>

                <td><a href="meijia">美嘉</a></td>

                <td>女</td>

                <td>meijia@haoren.com</td>

                <td>12138-114</td>

            </tr>

            <tr>

                <td><a href="xiaobu">小布</a></td>

                <td>男</td>

                <td>xiaobu@hundan.com</td>

                <td>12138-115</td>

            </tr>

        </table>

</div>

</body>

"""

from lxml import etree

html = etree.HTML(html_str)

这次的html，主要是表格，还都是些名字，现在开始后面的任务吧

任务一：获取表格头部【即第一栏 `tr` 标签】的所有 `th` 标签文本值

当前html就一个表格，然后取得第一个 tr 标签，再提取里面 th 标签的文本即可，xpath如下：

print(html.xpath('.//table/tr[1]/th/text()'))

print(html.xpath('.//table/tr/th/text()')) # 这个规则也行，因为 th 标签只有这里有

运行结果：['姓名', '性别', '邮箱', '电话']

任务二：提起五条记录中的全部电话

提取表格记录中的全部电话文本，这里就涉及了五个 tr 标签，且都是最后一个td标签，所以这里先获取全部的tr，然后再拿第四个td标签即可，xpath如下：

print(html.xpath('.//table/tr/td[4]/text()'))

运行结果：['12138-111', '12138-112', '12138-113', '12138-114', '12138-115']

任务三：获取所有性别为男的所有姓名

这个任务稍微有点绕弯，因为性格和姓名的两个标签，不是父子级关系【用以前的方法，性别为父姓名为子是可以正常获取的】，而是同级再嵌套【姓名在a标签下面】的关系。

所以这里需要用的知识点是比较、父级跳出、获取同级的子级文本，一步步来，如下步骤：

1、第一步：获取性别为男的文本，xpath规则如下：

print(html.xpath('.//table/tr/td[text()="男"]/text()'))

运行结果：['男', '男', '男']

2、获取到之后，往外跳一层，得到对应的三个tr标签，xpath规则如下：

print(html.xpath('.//table/tr/td[text()="男"]/..'))

运行结果：[<Element tr at 0x1fd15543808>, <Element tr at 0x1fd15543848>, <Element tr at 0x1fd15543748>]【虽然结果看不出什么，但是从数量来看，是三个而不是五个】

3、到了这里就简单多了，因为姓名是第一个td标签下的a标签，直接获取下标1的文本值，简单明了

print(html.xpath('.//table/tr/td[text()="男"]/../td[1]/a/text()'))

运行结果：['张伟', '小贤', '小布']

任务四：仔细观察邮箱，获取所有是 haoren 邮箱的姓名

通过任务三的训练，四的难度更上一层楼，因为这里涉及一个前面没出现的判断——包含关系。

因为每个人的邮箱是不一样的，但是要获取邮箱中有haoren的邮箱，并输出它的归属人姓名，难点就在这个比较。

不过难不倒强大的Xpath，介绍一个函数：contains(字符串, 子串)。函数接收两参数，用当前情况来讲，前面是完整邮箱，后面是"haoren"，就这么简单。

下面是具体使用示例，获取符合规格的好人邮箱：

print(html.xpath('.//table/tr/td[contains(text(),"haoren")]/text()'))

运行结果：['zhangwei@haoren.com', 'yifei@haoren.com', 'xiaoxian@haoren.com', 'meijia@haoren.com']

结局挺好，除了小布，其余都是好人

然后就跳到上级，获取他们的姓名了，xpath规则如下：

print(html.xpath('.//table/tr/td[contains(text(),"haoren")]/../td/a/text()'))

运行结果：['张伟', '一菲', '小贤', '美嘉']

任务五：一条xpath，获取出张伟的全部信息【姓名、性别、邮箱、电话】

表格一般都是统一的规则，按理出牌，td里面套a是不太合规的，但是html语言是没有对错的，不关闭标签都是可以的。

既然任务有这条，那就用点不一样的思维来理解xpath：text()是获取文本的，一般使用，都是在没有子级标签中，这样可以防止空格、换行的问题。

但是姓名栏的td标签内，只有a标签，除了a标签空格都没有，这就很好办了，用双斜杠+text()来获取姓名。

而且除了姓名的td，双斜杠+text()这个用法，对其余三栏不会有任何问题，然后问题就顺顺滑滑的解决了

最终的xpath如下：

print(html.xpath('.//table/tr[2]/td//text()'))

结果：['张伟', '男', 'zhangwei@haoren.com', '12138-111']

最终的代码和运行截图

html_str = """

<body>

<div>

        <table>

            <tr>

                <th>姓名</th>

                <th>性别</th>

                <th>邮箱</th>

                <th>电话</th>

            </tr>

            <tr>

                <td><a href="zhangwei">张伟</a></td>

                <td>男</td>

                <td>zhangwei@haoren.com</td>

                <td>12138-111</td>

            </tr>

            <tr>

                <td><a href="yifei">一菲</a></td>

                <td>女</td>

                <td>yifei@haoren.com</td>

                <td>12138-112</td>

            </tr>

            <tr>

                <td><a href="xiaoxian">小贤</a></td>

                <td>男</td>

                <td>xiaoxian@haoren.com</td>

                <td>12138-113</td>

            </tr>

            <tr>

                <td><a href="meijia">美嘉</a></td>

                <td>女</td>

                <td>meijia@haoren.com</td>

                <td>12138-114</td>

            </tr>

            <tr>

                <td><a href="xiaobu">小布</a></td>

                <td>男</td>

                <td>xiaobu@hundan.com</td>

                <td>12138-115</td>

            </tr>

        </table>

</div>

</body>

"""

from lxml import etree

html = etree.HTML(html_str)

# 任务一

print(html.xpath('.//table/tr[1]/th/text()'))

print(html.xpath('.//table/tr/th/text()'))

# 任务二

print(html.xpath('.//table/tr/td[4]/text()'))

# 任务三

print(html.xpath('.//table/tr/td[text()="男"]/text()'))

print(html.xpath('.//table/tr/td[text()="男"]/..'))

print(html.xpath('.//table/tr/td[text()="男"]/../td[1]/a/text()'))

# 任务四

print(html.xpath('.//table/tr/td[contains(text(),"haoren")]/text()'))

print(html.xpath('.//table/tr/td[contains(text(),"haoren")]/../td/a/text()'))

# 任务五

print(html.xpath('.//table/tr[2]/td//text()'))

http://www.spbeen.com/p/bb16e09d-511f-4728-af49-752ced909ec1

xpath教程-逐层检索和全局检索转的更多相关文章

xpath教程三---逐层检索和全局检索
本节主要介绍用xpath来描述html的层级关系主要使用到的知识点如下: 单独的一个点 .,表示当前位置两个点 ..,表示上一级父标签的位置单独的一个斜杠 /,表示只检索下面一级单独的两个斜杠 ...
xpath教程-通过ID和Class检索转
通过ID和Class检索必备知识点在html中,id是唯一的在html中,class是可以多处引用的工具 Python3版本 lxml库[优点是解析快] HTML代码块[从网络中获取或者自 ...
xpath教程二 ---- 通过ID和Class检索
必备知识点在html中,id是唯一的在html中,class是可以多处引用的工具 Python3版本 lxml库[优点是解析快] HTML代码块[从网络中获取或者自己杜撰一个] requests ...
Hibernate检索策略与检索方式
hibernate的Session在加载Java对象时,一般都会把鱼这个对象相关联的其他Java对象也都加载到缓存中,以方便程序的调用.但很多情况下,我们不需要加载太多无用的对象到缓存中,一来会占用大 ...
[原创]java WEB学习笔记88：Hibernate学习之路-- -Hibernate检索策略(立即检索，延迟检索，迫切左外连接检索)
本博客的目的:①总结自己的学习过程,相当于学习笔记 ②将自己的经验分享给大家,相互学习,互相交流,不可商用内容难免出现问题,欢迎指正,交流,探讨,可以留言,也可以通过以下方式联系. 本人互联网技术爱 ...
前端测试框架Jest系列教程 -- Global Functions（全局函数）
写在前面: Jest中定义了很多全局性的Function供我们使用,我们不必再去引用别的包来去实现类似的功能,下面将列举Jest中实现的全局函数. Jest Global Functions afte ...
xpath教程 2 - lxml库
xpath教程 2 - lxml库这些就是XPath的语法内容,在运用到Python抓取时要先转换为xml. lxml库 lxml 是一个HTML/XML的解析器,主要的功能是如何解析和提取 HT ...
xpath教程 1 - 什么是XPath
xpath教程 1 什么是XPath? XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言,可用来在 XML 文档中对元素和属性进行遍历. W3School官方 ...
雷林鹏分享：Ruby XML, XSLT 和 XPath 教程
Ruby XML, XSLT 和 XPath 教程什么是 XML ? XML 指可扩展标记语言(eXtensible Markup Language). 可扩展标记语言,标准通用标记语言的子集,一种 ...

随机推荐

[LeetCode]603. 连续空余座位（Mysql、自连接）
题目几个朋友来到电影院的售票处,准备预约连续空余座位. 你能利用表 cinema ,帮他们写一个查询语句,获取所有空余座位,并将它们按照 seat_id 排序后返回吗? | seat_id | fr ...
[LeetCode]1071. 字符串的最大公因子（gcd）
题目对于字符串 S 和 T,只有在 S = T + ... + T(T 与自身连接 1 次或多次)时,我们才认定 "T 能除尽 S". 返回最长字符串 X,要求满足 X 能除尽 ...
容器云平台No.9~kubernetes日志收集系统EFK
EFK介绍 EFK,全称Elasticsearch Fluentd Kibana ,是kubernetes中比较常用的日志收集方案,也是官方比较推荐的方案. 通过EFK,可以把集群的所有日志收集到El ...
ubuntu桌面版修改屏幕刷新率之后无法进入桌面（一直卡在输入密码的界面）的解决办法
deb https://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiversedeb-src https://mir ...
nginx+tomcat集群方法
下载地址:wget http://nginx.org/download/nginx-1.16.1.tar.gz 解压:tar -zxvf 预编译 nginx+tomcat集群方法: 进入nginx配置 ...
Oracle 中 Start With 关键字
Start With (树查询) 基本语法如下: SELECT ... FROM + 表名 WHERE + 条件3 START WITH + 条件1 CONNECT BY PRIOR + 条件2 -- ...
APPCNA 指纹验证登录
今天在APP中集成了指纹与手势登录功能,本文章分两部分进行记录.一是手势功能的逻辑.二是代码实现.该APP是采用APPCAN开发,直接用其已写好的插件,调用相当接口就要可以了. 1.在APP的个人中心 ...
django 的初始项目结构
2.创建Django项目 root@dev:shiyanlou_project# workon syl (syl) root@dev:shiyanlou_project# cd /aaa/shiy ...
（数据科学学习手札96）在geopandas中叠加在线地图
本文示例文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介国庆期间,抽空给大家分享在geopandas中叠 ...
013 01 Android 零基础入门 01 Java基础语法 02 Java常量与变量 07 基本数据类型变量的存储
013 01 Android 零基础入门 01 Java基础语法 02 Java常量与变量 07 基本数据类型变量的存储变量和它的值如何在内存中进行存储的? 前面学习过:Java中的数据类型分为基本 ...

xpath教程-逐层检索和全局检索 转