0x01 XML 基础

xpath 是在 XML 文档中搜索内容的一门语言

HTML 是 XML 的一个子集

XML 代码举例：

<book>

    <isbn>978xxxxxxxx</isbn>

    <name>XML从入门到精通</name>

</book>

其中：

  1. <book>、<isbn>等称为节点

    1. <book>是<isbn>的父节点
    2. <isbn>是<book>的子节点之一
    3. <isbn>与<name>互为兄弟节点

  2. 通过节点之间的关系，从根节点查找任意节点，如\book\isbn

    xpath 查找原理

0x02 解析 XML

安装 lxml 模块：pip install lxml(4.5.0)

lxml 用法步骤：

  1. 将需要解析的 HTML 内容构造出 etree 对象

  2. 使用 etree 对象的xpath()方法配合 xpath 表达式来完成对数据的提取

    from lxml import etree

html = """
    
<book>
    
    <isbn>978xxxxxxxx</isbn>
    
    <name>XML从入门到精通</name>
    
        <ctx id="111">内容一</ctx>
    
        <ctx id="222">内容二</ctx>
    
        <div>
    
            <ctx id="333">内容三</ctx>
    
        </div>
    
</book>
    
"""
    
et = etree.XML(html)

# 根据节点进行搜索
    
res1 = et.xpath("/book")
    
res2 = et.xpath("/book/isbn")
    
res3 = et.xpath("/book//ctx")
    
res4 = et.xpath("/book/*/ctx")
    
res5 = et.xpath("/book//ctx/text()")    # 获取该节点的文本
    
# 输出结果
    
print(res1)
    
print(res2)
    
print(res3)
    
print(res4)
    
print(res5)

0x03 解析 HTML

测试用 HTML：

<html>

    <head>

        <meta charset="utf-8" >

        <title>页面标题</title>

    </head>

    <body>

        <h1>标题一</h1>

        <h2>标题二</h2>

        <h3>标题一</h3>

        <h4>标题一</h4>

        <a href="http://www.qq.com">腾讯网</a>

        <div id="content" class="default">

            <p>段落</p>

            <a href="http://www.baidu.com">百度</a>

            <a href="http://www.cnblogs.com/SRIGT">我的博客</a>

            <a href="test">测试</a>

            <img src="./logo.ico" />

        </div>

    </body>

</html>

python 代码：

当标签使用不规范时，使用 xpath 爬取会报错

如：

<!-- 不规范 -->

<meta charset="utf-8">

<!-- 规范 -->

<meta charset="utf-8" />


from lxml import etree

et = etree.parse("test.html")

res1 = et.xpath('/html')

res2 = et.xpath("/html/body//a/text()")                     # 所有<a>标签的文本

res3 = et.xpath("/html/body/div/a[1]/text()")               # 第1个<a>标签的文本

res4 = et.xpath("/html/body/div/a[@href='test']/text()")    # 由属性值索引的文本

print(res4)

print()

links = et.xpath("/html/body/div/a")

for link in links:

    res5_1 = link.xpath("./text()")

    print(res5_1)

    res5_2 = link.xpath("./@href")

    print(res5_2)

res6 = et.xpath("/html/body/div/a/@href")

print(res6)

End

Python 爬虫之 xpath的更多相关文章

  1. python爬虫：XPath语法和使用示例

    python爬虫:XPath语法和使用示例 XPath(XML Path Language)是一门在XML文档中查找信息的语言,可以用来在XML文档中对元素和属性进行遍历. 选取节点 XPath使用路 ...

  2. Python爬虫之xpath语法及案例使用

    Python爬虫之xpath语法及案例使用 ---- 钢铁侠的知识库 2022.08.15 我们在写Python爬虫时,经常需要对网页提取信息,如果用传统正则表达去写会增加很多工作量,此时需要一种对数 ...

  3. 非常全的一份Python爬虫的Xpath博文

    非常全的一份Python爬虫的Xpath博文 Xpath 是 python 爬虫过程中非常重要的一个用来定位的一种语法. 一.开始使用 首先我们需要得到一个 HTML 源代码,用来模拟爬取网页中的源代 ...

  4. 【python爬虫】Xpath

    一.xml是什么 1.定义:可扩展标记性语言 2.特点:xml的是具有自描述结构的半结构化数据. 3.作用:xml主要设计宗旨是用来传输数据的.他还可以作为配置文件. 二.xml和html的区别 1. ...

  5. python爬虫中XPath和lxml解析库

    什么是XML XML 指可扩展标记语言(EXtensible Markup Language) XML 是一种标记语言,很类似 HTML XML 的设计宗旨是传输数据,而非显示数据 XML 的标签需要 ...

  6. python爬虫--用xpath爬豆瓣电影

    步骤 将目标网站下的页面抓取下来 将抓取下来的数据根据一定规则进行提取   具体流程 将目标网站下的页面抓取下来 1. 倒库 import requests 2.头信息(有时候可不写) headers ...

  7. Python爬虫：Xpath语法笔记

    一.选取节点 常用的路劲表达式: 表达式 描述 实例   nodename 选取nodename节点的所有子节点 xpath(‘//div’) 选取了div节点的所有子节点 / 从根节点选取 xpat ...

  8. python爬虫之xpath的基本使用

    一.简介 Xpath是一门在XML文档中查找信息的语言.Xpath可用来在XML文档中对元素和属性进行遍历.Xpath是W3C XSLT标准的主要元素,并且XQuery和XPointer都构建于XPa ...

  9. Python 爬虫知识点 - XPath

    http://cuiqingcai.com/2621.html 一.基础介绍 <bookstore> <book> <title>Harry Potter</ ...

  10. python爬虫-使用xpath方法

    #coding=utf-8 import re from lxml import etree import requests response = requests.get("http:// ...

随机推荐

  1. Java 面向对象的特征一： * 封装与隐藏

    1 * @ 面向对象的特征一: 2 * 封装与隐藏 3 * 创建一个类的对象以后,我们可以通过"对象.属性"的方式,对 4 * 对象的属性进行赋值,这里,赋值操作要受到属性的数据类 ...

  2. 7、mysql的缓存优化

    概述 开启Mysql的查询缓存,当执行完全相同的SQL语句的时候,服务器就会直接从缓存中读取结果,当数据被修改,之前的缓存会失效,修改比较频繁的表不适合做查询缓存. 操作流程 客户端发送一条查询给服务 ...

  3. 一款开源、免费、跨平台的Redis可视化管理工具

    前言 经常有小伙伴在技术群里问:有什么好用的Redis可视化管理工具推荐的吗?, 今天大姚给大家分享一款我一直在用的开源.免费(MIT License).跨平台的Redis可视化管理工具:Anothe ...

  4. [VueJsDev] 基础知识 - ES6循环使用手册

    [VueJsDev] 目录列表 https://www.cnblogs.com/pengchenggang/p/17037320.html ES6循环使用手册 ::: details 目录 目录 ES ...

  5. vue2init vue2z

    <template> <div> </div> </template> <script> export default { name: 'b ...

  6. manjaro系统的xfce桌面环境的的壁纸存放位置

    /usr/share/backgrounds/xfce 添加新照片的命令是: sudo mv 目录/* /usr/share/backgrounds/xfce  

  7. docker如何以root身份登录

    有时候我们需要进入docker容器时以root身份进入,这边汇总了两种方式如下 第一种 docker exec -it --user=root container_id /bin/bash 第二种 d ...

  8. 一个简单的RTMP服务器实现 --- RTMP与FLV

    PS:要转载请注明出处,本人版权所有. PS: 这个只是基于<我自己>的理解, 如果和你的原则及想法相冲突,请谅解,勿喷. 前置说明   本文作为本人csdn blog的主站的备份.(Bl ...

  9. linux使用hostapd+dnsmasq管理多张网卡,搭建dns服务器，并发射ｗｉｆｉ热点（支持３６０ｗｉｆｉ等等）

    PS:要转载请注明出处,本人版权所有. PS: 这个只是基于<我自己>的理解, 如果和你的原则及想法相冲突,请谅解,勿喷. 前置说明   本文发布于 2015-03-03 18:37:39 ...

  10. 专访深职院 XR 专家 | 实时云渲染赋能虚拟仿真实训，打造 5G+XR 智慧教育平台

    近年,国家高度重视职业教育,为主动应对新一轮科技革命与产业变革,支撑服务创新驱动发展,教育部积极推进新工科建设.加快教育改革创新.在职业教育上,XR 技术与教育的结合,的的确确弥补了传统职业教育中&q ...