通过ID和Class检索

 

必备知识点

  • 在html中，id是唯一的
  • 在html中，class是可以多处引用的

工具

  • Python3版本
  • lxml库【优点是解析快】
  • HTML代码块【从网络中获取或者自己杜撰一个】
  • requests【推荐安装，从网页上获取网页代码练手，再好不过了】

Xpath学习

先定义html代码块【这次只从body开始】

<body>

<div class="container">

    <div id="first">

        <div class="one">都市</div>

        <div class="two">德玛西亚</div>

        <div class="two">王牌对王牌</div>

        <a>

            <div class="spe">特殊位置</div>

        </a>

    </div>

    <div id="second">

        <div class="three">水电费</div>

        <div class="three">说的话房间不开封</div>

        <div class="four">三顿饭黑客技术</div>

    </div>

    <div id="third">

        <div class="three">水电费</div>

        <div class="three">说的话房间开封</div>

    </div>

</div>

</body>

"""

再准备python代码块

from lxml import etree

html = etree.HTML(html_str)

任务一：获取类名为one的文本值

解决这个问题，有非常简单的xpath路径，直接匹配html代码中的class，然后获取文本值就行

代码如下：

print(html.xpath('.//div[@class="one"]/text()'))

结果：['都市']

这里需要解释多个地方： - @的作用：表示属性，div属于标签，它有自己的属性，例如class、id等等。 - 点 . 的作用：表示当前位置；与其对应的是双点 .. ：表示上一层级的位置 - 双斜杠 // 的作用：查找当前标签下所有子级中搜索；与其对应的是单斜杆 / ，这个标签标签下一层所有中搜索。【后面两个任务是这点的练习】

任务二：获取id为first下，第一层子级div标签的文本值

只需要获取第一层，使用单斜杆就足够了，xpath路径如下：

print(html.xpath('.//div[@id="first"]/div/text()'))

结果：['都市', '德玛西亚', '王牌对王牌']

任务三：获取id为first下，所有层级div标签的文本值

这个任务和上一个任务形成对比，一个是单斜杆一个是双斜杠，则xpath的代码如下：

print(html.xpath('.//div[@id="first"]//div/text()'))

结果：['都市', '德玛西亚', '王牌对王牌', '特殊位置']

任务四：获取id为second下，所有类为three的div标签的文本值

指定id为second，并且子级div的类名是three，然后是获取文本，则xpath如下

print(html.xpath('.//div[@id="second"]/div[@class="three"]/text()'))

结果：['水电费', '说的话房间不开封']

任务五：获取所有类为three的div标签的文本值

观察html代码块，会发现类为three的div标签在几个地方，所以这里最好的方法就是全局范围内的直接搜索，简单粗暴的xpath如下：

print(html.xpath('.//div[@class="three"]/text()'))

结果：['水电费', '说的话房间不开封', '水电费', '说的话房间开封']

任务六：获取文本等于水电费的标签，取出他们的class

通过文本值，获取他们的类名信息，就是把上一个任务反过来做就行，xpath如下：

print(html.xpath('.//div[text()="水电费"]/@class'))

结果：['three', 'three']

最终的代码和运行截图

html_str = """

<body>

<div class="container">

    <div id="first">

        <div class="one">都市</div>

        <div class="two">德玛西亚</div>

        <div class="two">王牌对王牌</div>

        <a>

            <div class="spe">特殊位置</div>

        </a>

    </div>

    <div id="second">

        <div class="three">水电费</div>

        <div class="three">说的话房间不开封</div>

        <div class="four">三顿饭黑客技术</div>

    </div>

    <div id="third">

        <div class="three">水电费</div>

        <div class="three">说的话房间开封</div>

    </div>

</div>

</body>

"""

from lxml import etree

html = etree.HTML(html_str)

print(html.xpath('.//div[@class="one"]/text()'))

print(html.xpath('.//div[@id="first"]/div/text()'))

print(html.xpath('.//div[@id="first"]//div/text()'))

print(html.xpath('.//div[@id="second"]/div[@class="three"]/text()'))

print(html.xpath('.//div[@class="three"]/text()'))

print(html.xpath('.//div[text()="水电费"]/@class'))

xpath教程-通过ID和Class检索 转的更多相关文章

  1. xpath教程二 ---- 通过ID和Class检索

    必备知识点 在html中,id是唯一的 在html中,class是可以多处引用的 工具 Python3版本 lxml库[优点是解析快] HTML代码块[从网络中获取或者自己杜撰一个] requests ...

  2. xpath教程三---逐层检索和全局检索

    本节主要介绍用xpath来描述html的层级关系 主要使用到的知识点如下: 单独的一个点 .,表示当前位置 两个点 ..,表示上一级父标签的位置 单独的一个斜杠 /,表示只检索下面一级 单独的两个斜杠 ...

  3. 21.xpath定位中id 、starts-with、contains、text()和last() 的用法

    xpath语法:id .starts-with.contains.text()和last() 的用法 <input id="su" class="bg s_btn ...

  4. xpath教程 2 - lxml库

    xpath教程 2 - lxml库 这些就是XPath的语法内容,在运用到Python抓取时要先转换为xml. lxml库 lxml 是 一个HTML/XML的解析器,主要的功能是如何解析和提取 HT ...

  5. xpath教程 1 - 什么是XPath

    xpath教程 1 什么是XPath? XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言,可用来在 XML 文档中对元素和属性进行遍历. W3School官方 ...

  6. 雷林鹏分享：Ruby XML, XSLT 和 XPath 教程

    Ruby XML, XSLT 和 XPath 教程 什么是 XML ? XML 指可扩展标记语言(eXtensible Markup Language). 可扩展标记语言,标准通用标记语言的子集,一种 ...

  7. xpath教程一---简单的标签搜索

    工具 Python3版本 lxml库[优点是解析快] HTML代码块[从网络中获取或者自己杜撰一个] requests[推荐安装,从网页上获取网页代码练手,再好不过了] 讲解 网页代码都是成对的标签, ...

  8. xpath教程-逐层检索和全局检索 转

    逐层检索和全局检索 布啦豆 11203   本节主要介绍用xpath来描述html的层级关系 主要使用到的知识点如下: 单独的一个点 .,表示当前位置 两个点 ..,表示上一级父标签的位置 单独的一个 ...

  9. XPath教程

    XPath 简介 XPath 是一门在 XML 文档中查找信息的语言.XPath 可用来在 XML 文档中对元素和属性进行遍历. XPath 是 W3C XSLT 标准的主要元素,并且 XQuery ...

随机推荐

  1. App网络测试

    弱网测试作为健壮性测试的重要部分,对于移动端测试必不可少. 什么样的网络属于弱网? 小于或等于2G速率的都属于弱网,且随着5G的到来,3G网络速率的降低,未来3G也会逐渐划入弱网的行列. 对于弱网的数 ...

  2. jmeter进行MySQL压测

    jmeter怎么对数据库进行压测 目录 jmeter怎么对数据库进行压测 点击测试计划,再点击"浏览",把JDBC驱动添加进来: 然后添加配置元件 再添加一个采样器:JDBC re ...

  3. rabbitmq的安装&学习

    主要按照 https://www.cnblogs.com/web424/p/6761153.html https://www.cnblogs.com/qiyebao/p/4822583.html 学习 ...

  4. php第四天-字符串

    0x01 字符串 1.1 字符串的处理方式 在不同的语言中,字符串的处理方式不同:在C中字符串是作为字节数组处理的:在Java中字符串是作为对象处理的:而在php中则把字符串作为基本数据类型来处理. ...

  5. 程序员的开源月刊：HelloGitHub（第 54 期）

    兴趣是最好的老师,HelloGitHub 就是帮你找到兴趣! 简介 分享 GitHub 上有趣.入门级的开源项目. 这是一个面向编程新手.热爱编程.对开源社区感兴趣 人群的月刊,月刊的内容包括:各种编 ...

  6. 遍历 Dictionary，你会几种方式？

    一:背景 1. 讲故事 昨天在 StackOverflow 上看到一个很有趣的问题,说: 你会几种遍历字典的方式,然后跟帖就是各种奇葩的回答,挺有意思,马上就要国庆了,娱乐娱乐吧,说说这种挺无聊的问题 ...

  7. 微信小程序结合微信公众号进行消息发送

    微信小程序结合微信公众号进行消息发送 由于小程序的模板消息已经废弃了,官方让使用订阅消息功能.而订阅消息的使用限制比较大,用户必须得订阅.需要获取用户同意接收消息的权限.用户必须得和小程序有交互的时候 ...

  8. 新手学习Python第三方包库pip安装失败总结

    这篇文章纯原创,是之前自己学习使用pyhton时遇到的问题,故在此记录一下. 问题与需求:用python下载第三方库或包的时候出错怎么办? 方法有一下三种,可以解决大部分的问题. 1.在cmd命令控制 ...

  9. Arduino control Eeprom by IIC method of using device address in Arduino

    参考: 1.https://www.arduino.cc/ 2.https://www.arduino.cc/reference/en/ 3.https://www.arduino.cc/en/Ref ...

  10. matlab中fspecial Create predefined 2-D filter以及中值滤波均值滤波以及高斯滤波

    来源: 1.https://ww2.mathworks.cn/help/images/ref/fspecial.html?searchHighlight=fspecial&s_tid=doc_ ...