Xpath

文章参考：https://www.cnblogs.com/mxjhaima/p/13775844.html#案例

安装

pip install lxml

引用

from lxml import etree

获取文档树对象

通过Xpath 获取文档的对象，获取到对象后，可以通过文档的对象去去获取到树中的元素。

文本转化文档树对象

def strToEleObj():

    doc = '''

          <div>

              <ul>

                   <li class="item-0"><a href="link1.html">first item</a></li>

                   <li class="item-1"><a href="link2.html">second item</a></li>

                   <li class="item-inactive"><a href="link3.html">third item</a></li>

                   <li class="item-1"><a href="link4.html">fourth item</a></li>

                   <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签

               </ul>

           </div>

          '''

    # 把文本转换成一个文档树对象

    html = etree.HTML(doc)

    result = etree.tostring(html)

    print(str(result, 'utf-8'))

文件转化文档树对象

def fileToEleObj():

    # 读取外部文件 index.html

    html = etree.parse('./index.html')

    # pretty_print=True 会格式化输出

    result = etree.tostring(html, pretty_print=True)  # pretty_print=True 会格式化输出

    print(result)

节点、元素、属性、内容

xpath 的思想是通过 路径表达 去寻找节点。节点包括元素，属性，和内容

路径表达式

/   根节点，节点分隔符，

//  任意位置

.   当前节点

..  父级节点

@   属性

示例

from lxml import etree

'''

    路径表达式

'''

def get_el_list():

    doc = '''

              <div>

                  <ul>

                       <li class="item-0"><a href="link1.html">first item</a></li>

                       <li class="item-1"><a href="link2.html">second item</a></li>

                       <li class="item-inactive"><a href="link3.html">third item</a></li>

                       <li class="item-1"><a href="link4.html">fourth item</a></li>

                       <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签

                   </ul>

               </div>

              '''

    # 把文本转换成一个文档树对象

    html = etree.HTML(doc)

    # 获取当前节点

    print('获取当前节点---> ', html.xpath('.'))

    # 获取 根节点 标签 ,当前元素无根节点 通过 打印 etree.tostring(html) ,会发现根节点为 <html> </html> 包裹的内容 ，上一行获取的当前节点为 html

    print('获取 根节点 标签---> ', html.xpath('/'))

    # 获取 li 标签

    print('获取 li 标签---> ', html.xpath('//li'))

    # 获取 li 下的 a 标签属性

    print('获取li下的 a 标签属性----> ', html.xpath('//li/a/@href'))

    # 获取 p 标签 ,此标签不存在 返回结果为空数组

    print('获取 p 标签----> ', html.xpath('//p '))

输出结果

获取当前节点--->  [<Element html at 0x2a989854200>]

获取 根节点 标签--->  []

获取 li 标签--->  [<Element li at 0x2a9898ece40>, <Element li at 0x2a9899240c0>, <Element li at 0x2a989924180>, <Element li at 0x2a9899241c0>, <Element li at 0x2a989924200>]

获取li下的 a 标签属性---->  ['link1.html', 'link2.html', 'link3.html', 'link4.html', 'link5.html']

获取 p 标签---->  []

说明

  1. 将doc 转换成 文档对象后，为 包裹的内容；故获取到的当前的节点对象为HTML；
  2. 当前节点为HTML，无根节点故返回为空数组即：[]；
  3. 查询不存在的节点时，返回空数组即：[]

通配符

*   任意元素

@*  任意属性

node()  任意子节点（元素，属性，内容)

示例



'''

    通配符

'''

from lxml import etree

def get_el_by_anyChar():

    doc = '''

              <div>

                  <ul class="ul" >

                       <li class="item-0"><a href="link1.html">first item</a></li>

                       <li class="item-1"><a href="link2.html">second item</a></li>

                       <li class="item-inactive"><a href="link3.html">third item</a></li>

                       <li class="item-1"><a href="link4.html">fourth item</a></li>

                       <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签

                   </ul>

               </div>

              '''

    # 把文本转换成一个文档树对象

    html = etree.HTML(doc)

    # 获取 ul 下的所有子节点

    print('获取 ul 下的所有子节点---> ', html.xpath('//ul/node()'))

    # 获取 任意元素[所有的]

    print('获取 ul 下 任意元素[所有的]---> ', html.xpath('//ul/*'))

    # 获取 任意属性 [所有的]

    print('获取 ul 下 任意属性[所有的]---> ', html.xpath('//ul/@*'))

输出结果

获取 ul 下的所有子节点--->  ['\n                       ', <Element li at 0x1d4792b5e80>, '\n                       ', <Element li at 0x1d4792b5e00>, '\n                       ', <Element li at 0x1d4792b5f00>, '\n                       ', <Element li at 0x1d4792b5f40>, '\n                       ', <Element li at 0x1d4792b5ec0>, ' 闭合标签\n                   ']

获取 任意元素--->  [<Element li at 0x1d47928dd80>, <Element li at 0x1d4792b5e80>, <Element li at 0x1d4792b5fc0>, <Element li at 0x1d4792b5e00>, <Element li at 0x1d4792b5f00>]

获取 任意属性--->  ['ul']

谓语

//a[n] n为大于零的整数，代表子元素排在第n个位置的<a>元素

//a[last()]   last()  代表子元素排在最后个位置的<a>元素

//a[last()-]  和上面同理，代表倒数第二个

//a[position()<3] 位置序号小于3，也就是前两个，这里我们可以看出xpath中的序列是从1开始

//a[@href]    拥有href的<a>元素

//a[@href='www.baidu.com']    href属性值为'www.baidu.com'的<a>元素

//book[@price>2]   price值大于2的<book>元素

示例

from lxml import etree

def get_el_by_wei():

    doc = '''

                  <div>

                      <ul class="ul" >

                           <li class="item-0"><a href="link1.html">first item</a></li>

                           <li class="item-1"><a href="link2.html">second item</a></li>

                           <li class="item-inactive"><a href="link3.html">third item</a></li>

                           <li class="item-1"><a href="link4.html">fourth item</a></li>

                           <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签

                       </ul>

                   </div>

                  '''

    # 把文本转换成一个文档树对象

    html = etree.HTML(doc)

    # 获取第一个 li / a 元素 里面的文本

    print('获取第一个 ---> ', html.xpath('//li[1]/a/text()'))

    # 获取最后一个 li / a 元素 里面的文本

    print('获取最后一个 ---> ', html.xpath('//li[last()]/a/text()'))

    # 获取倒数第二个 li / a元素 里面的文本

    print('获取 倒数第二个---> ', html.xpath('//li[last()-1]/a/text()'))

    # 获取位置序号小于3，也就是前两个 li / a元素 里面的文本

    print('获取位置序号小于3 ---> ', html.xpath('//li[position()<3]/a/text()'))

    # 获取拥有href的<a>元素下的文本

    print('获取第一个 ---> ', html.xpath('//a[@href]/text()'))

    # 获取 a 标签下 href = link3.html的a元素下的文本 注意 不是 == 而是 =

    print('获取 a 标签下 href = link3.html的<a>元素---> ', html.xpath('//a[@href="link3.html"]/text()'))

    # 获取 ul class == ul 的

    print('获取 ul class == ul  ---> ', html.xpath('//ul[@class="ul"]'))

多个路径

用| 连接两个表达式，可以进行 或匹配

//book/title | //book/price

示例

from lxml import etree

def get_el_mutil_path():

    doc = '''

                  <div>

                      <ul class="ul" >

                           <li class="item-0"><a href="link1.html">first item</a></li>

                           <li class="item-1"><a href="link2.html">second item</a></li>

                           <li class="item-inactive"><a href="link3.html">third item</a></li>

                           <li class="item-1"><a href="link4.html">fourth item</a></li>

                           <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签

                       </ul>

                   </div>

                  '''

    # 把文本转换成一个文档树对象

    html = etree.HTML(doc)

    # 获取li 下 class = item-inactive 或者 item-1

    print('获取li 下 class = item-inactive 或者 item-1 ---> ', html.xpath('//li[@class="item-inactive"] | //li[@class="item-1"] '))

输出结果

获取li 下 class = item-inactive 或者 item-1 --->  [<Element li at 0x1b490955f40>, <Element li at 0x1b490966200>, <Element li at 0x1b490966180>]

函数

更多函数查看https://www.w3school.com.cn/xpath/xpath_functions.asp

contains(string1,string2)

starts-with(string1,string2)

# 文本

text()

# 最后一个

last()

# 位置

position()

# 回去所有节点

node()


'''

    函数

'''

from lxml import etree

def get_el_func():

    doc = '''

                     <div>

                         <ul class="ul" >

                              <li class="item-0 active"><a href="link1.html">first item</a></li>

                              <li class="item-1"><a href="link2.html">second item</a></li>

                              <li class="item-inactive"><a href="link3.html">third item</a></li>

                              <li class="item-1"><a href="link4.html">fourth item</a></li>

                              <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签

                          </ul>

                      </div>

                     '''

    # 把文本转换成一个文档树对象

    html = etree.HTML(doc)

    # 匹配 class 包含 active 的 元素

    print(html.xpath("//*[contains(@class,'active')]"))

    # 获取所有 li / a 文本

    print(html.xpath("//li/a/text()"))

    # 获取最后一个 li / a 文本

    print(html.xpath("//li[last()]/text()"))

    # 获取位置为1的li /a 文本 ，节点时从1开始 而不是0

    print(html.xpath("//li[position()=1]/a/text()"))

输出结果

[<Element li at 0x23ea36d0400>, <Element li at 0x23ea36d0180>]

['first item', 'second item', 'third item', 'fourth item', 'fifth item']

[' # 注意，此处缺少一个 ']

['first item']

实战信息

获取某电影网站电影名称、简单描述、图片

import requests

from lxml import etree

'''

     获取电影信息列表

'''

def get_moive_info_list(url):

        # 定义头部信息

        headers = {

                'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'

        }

        res = requests.get(url, headers=headers)

        # res.text 返回的是 文本

        html = res.text

        print('输出响应信息->',html)

        # 将文本转换成文档对象

        selector = etree.HTML(html)

        # 返回是电影名列表

        title_list = selector.xpath('//a[@class="pic-pack-outer"]/h3/text()')

        print('电影名称列表:',title_list)

        # 获取简单描述

        desc_list = selector.xpath('//a[@class="pic-pack-outer"]/p/text()')

        print('电影名称简单描述:', desc_list)

        # 图片

        img_list = selector.xpath('//a[@class="pic-pack-outer"]/img/@src')

        print('图片列表:', img_list)

if __name__ == '__main__':

        url = 'https://xxxxxxx/vod/list/n_1_t_25/o1p1.html'

        get_moive_info_list(url)

输出结果

输出响应信息-> <!DOCTYPE html>

·······

</body>

</html>

电影名称列表: ['辣妈犟爸', '五月梨花香', '岁岁平安',.....]

电影名称简单描述: ['年轻村官奋斗历程', '脱贫致富振兴家乡', .....]

图片列表: ['https://image11.m1905.cn/uploadfile/2022/0804/thumb_1_150_203_20220804094442559303.jpg',  .... 'https://image11.m1905.cn/uploadfile/2016/0926/thumb_1_150_85_20160926105222739343.jpg']

【Python】爬虫-Xpath的更多相关文章

  1. python爬虫xpath的语法

    有朋友问我正则,,okey,其实我的正则也不好,但是python下xpath是相对较简单的 简单了解一下xpath: XPath 是一门在 XML 文档中查找信息的语言.XPath 可用来在 XML ...

  2. python爬虫xpath

    又是一个大晴天,因为马上要召开十九大,北京地铁就额外的拥挤,人贴人到爆炸,还好我常年挤地铁早已练成了轻功水上漂,挤地铁早已经不在话下. 励志成为一名高级测试工程师的我,目前还只是个菜鸟,难得有机会,公 ...

  3. Python爬虫 XPath语法和lxml模块

    XPath语法和lxml模块 什么是XPath? xpath(XML Path Language)是一门在XML和HTML文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历. X ...

  4. python爬虫----XPath

    1.知道本节点元素,如何定位到兄弟元素 详情见博客 XML代码见下 bt1在文档中只出现一次,所以很容易获取到bt1中内容,那怎么根据<td class='bt1'>来获取bt2中的内容 ...

  5. Python爬虫 | xpath的安装

    错误信息:程序包无效.详细信息:“Cannot load extension with file or directory name . Filenames starting with "& ...

  6. python爬虫前提技术

    1.BeautifulSoup 解析html如何使用 转自:http://blog.csdn.net/u013372487/article/details/51734047 #!/usr/bin/py ...

  7. Python爬虫与数据分析之爬虫技能：urlib库、xpath选择器、正则表达式

    专栏目录: Python爬虫与数据分析之python教学视频.python源码分享,python Python爬虫与数据分析之基础教程:Python的语法.字典.元组.列表 Python爬虫与数据分析 ...

  8. python爬虫的页面数据解析和提取/xpath/bs4/jsonpath/正则(1)

    一.数据类型及解析方式 一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值.内容一般分为两部分,非结构化的数据 和 结构化的数据. 非结构化数据:先有数据,再有结构, 结构化数 ...

  9. Python爬虫教程-22-lxml-etree和xpath配合使用

    Python爬虫教程-22-lxml-etree和xpath配合使用 lxml:python 的HTML/XML的解析器 官网文档:https://lxml.de/ 使用前,需要安装安 lxml 包 ...

  10. 小白学 Python 爬虫（19）：Xpath 基操

    人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...

随机推荐

  1. Yii2批量插入数据

    方法一 yii2一次插入多行数据  /** * @inheritdoc 批量添加 * @params $add array 添加数据 */ public function add_all($add) ...

  2. TS（二）内置对象与class类

    内置对象 ECMA内置对象 Boolean.Number.String.RegExp.Date.Error const regexp:RegExp = /\w\d\s const number:Num ...

  3. fzy&czn生日赛t1 CZN

    fzy&czn生日赛t1 CZN 膜拜hybb首杀 目录 fzy&czn生日赛t1 CZN 题目背景 题目描述 分析 my code wnag's code 题目 题目背景 有一天,c ...

  4. Nginx的负载均衡策略

    Nginx的负载均衡策略 个人博客地址: https://note.raokun.top 拥抱ChatGPT,国内访问网站:https://www.playchat.top 共六种: 轮询.权重.ip ...

  5. TENGSHE-OS-渗透测试系统-win11版

    下载ISO文件 创建新的虚拟机 VM17 已支持直接创建 win11 x64 稍后安装系统 选中win11 修改路径 win11需要设置8位加密密码 勾选安全引导 根据自身情况选择 默认即可 150G ...

  6. Spring Boot入门项目之外卖

    文章目录 呱呱外卖 前言 项目介绍 项目技术栈介绍(主讲后端) 项目功能介绍 项目的代码结构 实体类 控制类(Controller) Service类和Mapper类 缓存 接口文档管理 项目添加的部 ...

  7. java线程的创建

    文章目录 前言 进程 线程 使用线程 继承Thread 线程随机性 .start()的顺序不代表.run()的顺序 实现Runnable 实例共享造成的非线程安全问题 线程常用方法: 判断线程是否为停 ...

  8. 音视频八股文（10）-- mp4结构

    介绍 mp4⽂件格式⼜被称为MPEG-4 Part 14,出⾃MPEG-4标准第14部分 .它是⼀种多媒体格式容器,⼴泛⽤于包装视频和⾳频数据流.海报.字幕和元数据等.(顺便⼀提,⽬前流⾏的视频编码格 ...

  9. 案例：自来水厂项目PM编制问题-检查记录

    1.策划书部分 选择错误.缺失数据 编的太假了 工期对不上.就算按合同实际也没这么长 合同才210天,当然你算上现在可以编远点,但是编合理点 一些瞎编 这瞎编我信了 但是后面空的表是干啥捏?而且数也不 ...

  10. Axure 手机页面拖动效果

    1.设置好上下固定们,中间放一个动态面板,如下图所示,(刚开始创建是没有图片的) 2.再状态1下再创建一个动态面板 命名为D2,如下图所示 3.在D2的状态1下新建一个宽370(大概手机宽)高1100 ...