XPath 简介：

(1) 前面我们爬取一个网页，都是使用正则表达式来提取想要的信息，但是这种方式比较复杂，一旦有一个地方写错，就匹配不出来了，因此我们可以使用 XPath 来进行提取
(2) XPath 即 XML Path Language，XML路径语言，起初是用来在 XML 文档中提取信息的，但同样适用于在 HTML 文档中提取信息，通过 XPath 来定位一个或多个HTML节点
(3) 什么是HTML节点：https://www.cnblogs.com/pzk7788/p/10530042.html ；在 Python 中，使用 lxml 库进行信息的提取，可以使用 pip3 install lxml 进行安装

XPath 规则：

// 用于提取指定的节点，如 //p 表示提取所有 <p> 节点
/  用于提取当前节点的子节点，如 //ul/li 表示提取 <ul> 下的 <li> 节点
.. 用于提取当前节点的父节点，如 //body/../html 表示提取 <body> 节点的上一层 <html> 节点
@ 用于提取属性，如 //a[@href] 表示提取 <a> 节点的 href 属性值

XPath 用法：

假设 index.html 内容如下，使用 XPath 提取我们想要的内容：

<div>

    <ul>

        <li class="item-1"><a href="link1.html">first item</a> </li>

        <li class="item-2"><a href="link2.html">second item</a> </li>

        <li class="item-3"><a href="link3.html">third item</a> </li>

        <li class="item-4"><a href="link4.html">fourth item</a> </li>

        <li class="item-5 id-6"><a href="link5.html">fifth item</a> </li>
    </ul>

</div>
from lxml import etree

html = etree.parse('./index.html', etree.HTMLParser())   //etree.parse()用于加载本地文件，etree.HTMLParser() 是一个 HTML 解析器，用于解析 HTML 文件

result = html.xpath('//li')                              //提取所有<li>节点，结果为：[<Element li at 0x488030>, <Element li at 0x484fd0>, ......

result = html.xpath('//li/a')                            //提取所有 <li> 节点下的 <a> 节点，结果为：[<Element a at 0x3c28030>, <Element a at 0x3c24fd0>, ......

result = html.xpath('//li/a/text()')                     //提取所有 <li> 节点下的 <a> 节点的文本内容，结果为：['first item', 'second item', 'third item', 'fourth item', 'fifth item']

result = html.xpath('//li/a/@href')                      //提取所有 <li> 节点下的 <a> 节点的 href 属性值，结果为：['link1.html', 'link2.html', 'link3.html', 'link4.html', 'link5.html']

result = html.xpath('//li[1]/a/text()')                  //提取第一个出现的 <li> 节点，结果为：['first item']

result = html.xpath('//li[last()]/a/text()')             //提取最后一个出现的 <li> 节点，结果为：['fifth item']

result = html.xpath('//li[last()-2]/a/text()')           //提取倒数第三个出现的 <li> 节点，结果为：['third item']

result = html.xpath('//li[position()<3]/a/text()')       //提取位置小于3的 <li> 节点，结果为：['first item', 'second item']

result = html.xpath('//a[@href="link4.html"]')           //提取属性为 href="link4.html" 的 <a> 节点，结果为：[<Element a at 0x33b4fd0>]

result = html.xpath('//a[@href="link4.html"]/../@class') //提取属性为 href="link4.html" 的 <a> 节点的父节点，然后获取父节点的 class 属性，结果为：['item-4']

result = html.xpath('//li[1]/ancestor::*')               //ancestor用于提取祖先节点，也就是提取第一个<li>节点上面的所有节点，结果为：[<Element html at 0x3738058>, <Element body at 0x3734fd0>, ......

result = html.xpath('//li[1]/ancestor::div')             //ancestor用于提取祖先节点，这里表示提取第一个<li>节点上面的<div>节点，结果为：[<Element div at 0x3554fd0>]

result = html.xpath('//li[1]/attribute::*')              //attribute用于提取节点的属性值，这里表示提取第一个<li>节点的所有属性值，结果为：['item-1']

result = html.xpath('//li[1]/child::*')                  //child用于提取指定节点下的所有子节点，这里表示提取第一个<li>节点下的所有子节点，结果为：[<Element a at 0xb58030>]

result = html.xpath('//li[contains(@class, "item") and contains(@class, "id")]')    //在上面的最后一个 <li> 节点中，class属性有两个值，我们需要使用 contains 来进行模糊匹配，表示提取属性值包含 item 和 id 的节点

使用 XPath的更多相关文章

  1. xpath提取多个标签下的text

    title: xpath提取多个标签下的text author: 青南 date: 2015-01-17 16:01:07 categories: [Python] tags: [xpath,Pyth ...

  2. C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子)

    第一次接触HtmlAgilityPack是在5年前,一些意外,让我从技术部门临时调到销售部门,负责建立一些流程和寻找潜在客户,最后在阿里巴巴找到了很多客户信息,非常全面,刚开始是手动复制到Excel, ...

  3. 在Java中使用xpath对xml解析

    xpath是一门在xml文档中查找信息的语言.xpath用于在XML文档中通过元素和属性进行导航.它的返回值可能是节点,节点集合,文本,以及节点和文本的混合等.在学习本文档之前应该对XML的节点,元素 ...

  4. XPath 学习二： 语法

    XPath 使用路径表达式来选取 XML 文档中的节点或节点集.节点是通过沿着路径 (path) 或者步 (steps) 来选取的. 下面列出了最有用的路径表达式: 表达式 描述 nodename 选 ...

  5. xpath 学习一： 节点

    xpath 中,有七种类型的节点: 元素.属性.文本.命名空间.处理指令.注释.以及根节点 树的根成为文档节点或者根节点. 节点关系: Parent, Children, sibling(同胞), A ...

  6. Python爬虫利器三之Xpath语法与lxml库的用法

    前面我们介绍了 BeautifulSoup 的用法,这个已经是非常强大的库了,不过还有一些比较流行的解析库,例如 lxml,使用的是 Xpath 语法,同样是效率比较高的解析方法.如果大家对 Beau ...

  7. 使用python+xpath 获取https://pypi.python.org/pypi/lxml/2.3/的下载链接

    使用python+xpath 获取https://pypi.python.org/pypi/lxml/2.3/的下载链接: 使用requests获取html后,分析html中的标签发现所需要的链接在& ...

  8. 关于robotframework,app,appium的xpath定位问题及常用方法

    关于类似的帖子好像很多,但是没有找到具体能帮我解决问题的办法.还是自己深究了好久才基本知道app上面的xpath定位和web上的不同点: 先放一个图: A,先说说不用xpath的场景,一般是用于存在i ...

  9. Selenium Xpath Tutorials - Identifying xpath for element with examples to use in selenium

    Xpath in selenium is close to must required. XPath is element locator and you need to provide xpath ...

  10. xpath定位中starts-with、contains和text()的用法

    starts-with 顾名思义,匹配一个属性开始位置的关键字 contains 匹配一个属性值中包含的字符串 text() 匹配的是显示文本信息,此处也可以用来做定位用 eg //input[sta ...

随机推荐

  1. C中数组与指针【转】

    在这里随便定义一个数组 int arr[5]; arr现在就是数组名, arr 代表的是该数组整块内存,即sizeof(arr) == 20 (假设sizeof(int) == 4), arr 里的内 ...

  2. JS地毯式学习四

    1  窗口的位置 用来确定和修改 window 对象位置的属性和方法有很多. IE . Safari . Opera 和 Chrome都提供了 screenLeft 和 screenTop 属性,分别 ...

  3. 【WPF】当 ItemsSource 正在使用时操作无效。改用 ItemsControl.ItemsSource 访问和修改元素

    问题: 中文版报错:Additional information: 当 ItemsSource 正在使用时操作无效.改用 ItemsControl.ItemsSource 访问和修改元素. 英文版报错 ...

  4. 【WPF】对话框/消息弹窗

    非模式对话框 需求:弹窗是非模式对话框,即可以多个弹窗弹出,且弹窗后面的窗体可以被操作,不会被锁定. 自定义的窗体Window实现以下步骤: 在C#代码中弹出窗体时,使用 window.Show() ...

  5. jQuery 选择器大全总结

    jQuery基础语法中规定的选择器有三种,分别是类选择器.ID选择器.标签选择器.如:$(“.aa”).$(“#id”).$(“div”),但中实际的应用中,DOM机构非常复杂,层级非常多.如和应对这 ...

  6. eclipse 里的tomcat一直处于starting状态

    今天困扰了我一天,eclipse里面明明吧tomcat启动成功了,但是有个starting tomcat的进程一直在启动着,当你修改页面,build workspace的时候,进程就一直处于等待状态, ...

  7. yaffs2文件镜像制作工具yaffs2image

    1.  不同nand容量,工具不一样. 首先使用的是mkyaffs2image,编译生成根文件系统的镜像之后,下载到板子上,启动的时候报错,错误代码这里没有上传.问题出在工具使用的不正确,查看工具目录 ...

  8. 机器学习：Mean Shift聚类算法

    本文由ChardLau原创,转载请添加原文链接https://www.chardlau.com/mean-shift/ 今天的文章介绍如何利用Mean Shift算法的基本形式对数据进行聚类操作.而有 ...

  9. Shell替换：Shell变量替换，命令替换，转义字符

    如果表达式中包含特殊字符,Shell 将会进行替换.例如,在双引号中使用变量就是一种替换,转义字符也是一种替换. 举个例子: 复制纯文本复制 #!/bin/bash a=10 echo -e &quo ...

  10. 使用MultipartEntity上传文件（带进度对话框）

    package com.home.uploadfile; import java.io.File; import android.app.Activity; import android.os.Bun ...