一.xpath简介

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。
  • XPath 使用路径表达式在 XML 文档中进行导航
  • XPath 包含一个标准函数库
  • XPath 是 XSLT 中的主要元素
  • XPath 是一个 W3C 标准

`节点

　　在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。

xpath比美丽汤更通用,在各语言的xpath中都可以使用,scrapy框架也是内置了一个xpath,而美丽汤只能在python中使用.

二、xpath语法

　　1.选取节点

表达式

描述

实例

  

nodename

选取nodename节点的所有子节点

xpath('//div')

选取了div节点的所有子节点

/

从根节点选取

xpath('/div')

从根节点上选取div节点

//

选取所有的当前节点，不考虑他们的位置

xpath('//div')

选取所有的div节点

.

选取当前节点

xpath('./div')

选取当前节点下的div节点

..

选取当前节点的父节点

xpath('..')

回到上一个节点

@

选取属性

xpath（'//@calss'）

选取所有的class属性

　　2、谓语

　　　　　谓语被嵌在方括号内，用来查找某个特定的节点或包含某个特定的值的节点,因为所有xpath解析返回值为一个列表

 　　　xpath的索引从1开始　　　

表达式

结果

xpath('/body/div[1]')

选取body下的第一个div节点

xpath('/body/div[last()]')

选取body下最后一个div节点

xpath('/body/div[last()-1]')

选取body下倒数第二个div节点

xpath('/body/div[positon()<3]')

选取body下前两个div节点

xpath('/body/div[@class]')

选取body下带有class属性的div节点

xpath('/body/div[@class="main"]')

选取body下class属性为main的div节点

xpath('/body/div[price>35.00]')

选取body下price元素值大于35的div节点

　　3、通配符　　

　　　　Xpath通过通配符来选取未知的XML元素

表达式

结果

xpath（'/div/*'）

选取div下的所有子节点

xpath('/div[@*]')

选取所有带属性的div节点

　   4、逻辑运算

　　　　使用“|”或者and运算符可以选取多个路径

　　　　

表达式

结果

xpath('//div|//table')

选取所有的div和table节点

xpath(//a[@href="" and @class="du"])

选取同时具href="",class='du'的a标签

　　5、Xpath轴

　　　　轴可以定义相对于当前节点的节点集

轴名称

表达式

描述

ancestor

xpath('./ancestor::*')

选取当前节点的所有先辈节点（父、祖父）

ancestor-or-self

xpath('./ancestor-or-self::*')

选取当前节点的所有先辈节点以及节点本身

attribute

xpath('./attribute::*')

选取当前节点的所有属性

child

xpath('./child::*')

返回当前节点的所有子节点

descendant

xpath('./descendant::*')

返回当前节点的所有后代节点（子节点、孙节点）

following

xpath('./following::*')

选取文档中当前节点结束标签后的所有节点

following-sibing

xpath('./following-sibling::*')

选取当前节点之后的兄弟节点

parent

xpath('./parent::*')

选取当前节点的父节点

preceding

xpath('./preceding::*')

选取文档中当前节点开始标签前的

　　

preceding-sibling

xpath('./preceding-sibling::*')

选取当前节点之前的兄弟节点

self

xpath('./self::*')

选取当前节点

　　　6、功能函数(模糊匹配)　

　　　　　　使用功能函数能够更好的进行模糊搜索

函数

用法

解释

starts-with

xpath('//div[starts-with(@id,"ma")]')

选取id值以ma开头的div节点

contains

xpath('//div[contains(@id,"ma")]')

选取id值包含ma的div节点

and

xpath('//div[contains(@id,"ma") and contains(@id,"in")]')

选取id值包含ma和in的div节点

text()

xpath('//div[contains(text(),"ma")]')

选取节点文本包含ma的div节点

　　　　7.取属性和文本

@ //div[@class="tang"]//li[2]/a/@href 取标签的的href属性值
text() //div[@class="song"]/p[1]/text() 取p[1]的所有属性值
text() //div[@class="tang"]//text() 取div标签的所有文本值,包括子标签的

　　　　

　　　　8.通过text()确定标签

选取文本是'>'的a标签
xpath('//a[text()=">"]')

　　　　9.string(.)提取所有文本　　

html3 = '''

<!DOCTYPE html>

<html>

<head lang="en">

    <meta charset="UTF-8">

    <title></title>

</head>

<body>

    <div id="test3">

        我左青龙，

        <span id="tiger">

            右白虎，

            <ul>上朱雀，

                <li>下玄武。</li>

            </ul>

            老牛在当中，

        </span>

        龙头在胸口。

    </div>

</body>

</html>

'''

#如果使用一般的办法，就会出现获取到的数据不完整的情况

selector = lxml.html.fromstring(html3)

# content_1 = selector.xpath('//div[@id="test3"]/text()')

# for each in content_1:

#     print(each)

# 使用string(.)就可以把数据获取完整

data = selector.xpath('//div[@id="test3"]')[0]

info = data.xpath('string(.)')

print(info)

#####或者使用这种情况
t=etree.HTML(html3)
res = t.xpath("//div[@id='test3']//text()")
print(res)

　　10.text_content()

最开始对html文本使用 etree.HTML(html)解析，得到Element对象。

from lxml import etree

str="""

<div>

<a href="xxxx">123</a>

<a href="xxxx">45</a>

<div>

"""

root= etree.HTML(str)

root.xpath("//div//text()")

#发现并没有直接获取12345文本方法

#后来网上调查发现lxml操作html有一个专门的html模块html，然后找到了解决该问题的关键方法text_content()，这个方法在上面的写法中是不存在的于是解决方案如下。

from lxml import html

root = html.fromstring('''<div><a href="xxxx">123</a><a href="xxxx">45</a><div>''')

 root.xpath("//div").text_content()

三.使用流程

xpath数据解析流程:
　　1.pip install lxml
　　2.导包:from lxml import etree
　　3.实例化一个etree对象(将页面数据加载到该对象)

    • 　本地文件：tree = etree.parse(文件名)          tree.xpath("xpath表达式")  ===>本地文件指的是包打开的网页另存为到本地的文件
    • 网络数据：tree = etree.HTML(网页内容字符串)       tree.xpath("xpath表达式")　　

　　4.调用etree中的xpath函数结合着xpath表达式进行数据解析操作

　　看一个例子(爬取58)

import requests

from lxml import etree

headers={

    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER'

}

url='https://sz.58.com/ershoufang/?PGTID=0d200001-0000-4229-cd25-6936558931c6&ClickID=1'

#拿到页面源码数据的text

page_text=requests.get(url=url,headers=headers).text

#把页面源码数据作为参数实例一个etree对象

tree=etree.HTML(page_text)

#用xpath进行解析

#xpath表达式的作用:xpath表达式如果作用到页面源码中,可以将页面源码中指定的标签进行定位.

#所有xpath解析返回值为一个列表

#可以对局部对象在进行xpath,但是路径要记得要变成./

li_list=tree.xpath('//ul[@class="house-list-wrap"]/li')

f=open('./xpath-58.txt','w',encoding='utf-8')

for li in li_list:

    title=li.xpath('./div[2]/h2/a/text()')[0]#xpath返回的是一个列表,即使解析对象只有一个

    total_price=li.xpath('./div[3]/p[1]//text()')#返回两个值直接返回

    total_price=''.join(total_price)

    f.write(title+':'+total_price+'\n')

f.close()

#这边只爬取了第一页,如想要爬取其他页面,只要去改一下页码参数,进行一个循环即可

主要几点：

1.获取文本
  • 　　a/text() 获取a下文本
  • a//text（） 获取a下面的所有文本
  • a[text()='下一页']

2.@符号

  • 　　a/@href
  • div[@class='detail']
  • div[@id='content']

3.//

  • 任意位置开始选择

xpath的基础使用的更多相关文章

  1. xpath的基础实例

    本文分为路径表达式和常用函数两部分,整理自火车浏览器官方教程-火车浏览器之Xpath讲解. 小提示:可以使用火狐浏览器.我用的是火狐浏览器+firebug+firepath来进行调试,调试界面是这样的 ...

  2. XML学习笔记6——XPath语言

    在上一篇笔记的结尾,我们接触到了两个用于选择XML文档中特定范围的元素<selector>和<field>,这两个元素的取值都是XPath表达式,那么,什么是XPath呢?简单 ...

  3. XML相关的安全漏洞-XXE,XPATH小结

    0x00前言: 本文主要小结以下php下的xpath查询xml结构的漏洞利用和XXE漏洞利用 xml是可扩展标记语言,它被设计出来是为了存储传输数据的. 它的结构是树形结构,并且标签要成对出现比如下面 ...

  4. Xpath语法-爬虫(一)

    前言 这一章节主要讲解Xpath的基础语法,学习如何通过Xpath获取网页中我们想要的内容;为我们的后面学习Java网络爬虫基础准备工作. 备注:此章节为基础核心章节,未来会在网络爬虫的数据解析环节经 ...

  5. 2017-2018-2 20155303『网络对抗技术』Exp9：Web安全基础

    2017-2018-2 『网络对抗技术』Exp9:Web安全基础 --------CONTENTS-------- 一.基础问题回答 1.SQL注入攻击原理,如何防御? 2.XSS攻击的原理,如何防御 ...

  6. Scrapy下xpath基本的使用方法

    Scrapy是基于python的开源爬虫框架,使用起来也比较方便.具体的官网档:http://doc.scrapy.org/en/latest/ 之前以为了解python就可以直接爬网站了,原来还要了 ...

  7. （数据科学学习手札61）xpath进阶用法

    一.简介 xpath作为对网页.对xml文件进行定位的工具,速度快,语法简洁明了,在网络爬虫解析内容的过程中起到很大的作用,除了xpath的基础用法之外(可参考我之前写的(数据科学学习手札50)基于P ...

  8. XPath简介

    参考视频:   https://www.bilibili.com/video/av49809274/?p=22 一,什么是XPATH? xpath(xml path language)是一门在xml和 ...

  9. xpath进阶用法

    一.简介 xpath作为对网页.对xml文件进行定位的工具,速度快,语法简洁明了,在网络爬虫解析内容的过程中起到很大的作用,除了xpath的基础用法之外xpath中还存在着非常之多的进阶用法,本文将对 ...

随机推荐

  1. JAVA对Excel文件进行操作

    JAVA EXCEL API:是一开放源码项目,通过它Java开发人员可以读取Excel文件的内容.创建新的Excel文件.更新已经存在的Excel文件.使用该API非Windows操作系统也可以通过 ...

  2. 卸载phonegap

    npm uninstall cordova  -gnpm uninstall phonegap -g

  3. java中sleep和join和yield和wait和notify的区别

    1.sleep() 使当前线程(即调用该方法的线程)暂停执行一段时间,让其他线程有机会继续执行,但它并不释放对象锁.也就是说如果有synchronized同步快,其他线程仍然不能访问共享数据.注意该方 ...

  4. 利用JavaScriptCore实现简单的功能（阶乘）

    #import "RootViewController.h" #import <JavaScriptCore/JavaScriptCore.h> @interface ...

  5. linux环境安装python

    linux环境下安装python3,一步一步来吧! 安装python3 安装readline-devel依赖 ,用于解决python3安装完成后,退格和方向键乱码问题 yum install read ...

  6. 树莓派研究笔记（7）-- lakka 《仙剑奇侠传》的完美移植

    仙剑,这是我玩的第一个电脑游戏.真的太经典,无法超越.原来第一次玩的缺少开场动画,很多地方不明不白的.现在终于我们可以把这个梦想继续到树莓派中. LAKKA是支持DOS模拟器的,所以我们一定要下载DO ...

  7. 多线程学习-基础（十二）生产者消费者模型：wait(),sleep(),notify()实现

    一.多线程模型一:生产者消费者模型   (1)模型图:(从网上找的图,清晰明了) (2)生产者消费者模型原理说明: 这个模型核心是围绕着一个“仓库”的概念,生产者消费者都是围绕着:“仓库”来进行操作, ...

  8. Jstl标签<c:if>的用法

    <c:if> 标签必须要有test属性,当test中的表达式结果为true时,则会执行本体内容:如果为false,则不会执行.例 如:${requestScope.username = = ...

  9. 错误页设置，设置HTTP状态码404，500(八)

    web.xml设置错误跳转(注意,路径必须以斜杠开头)  

  10. 阿里云linux安装jmeter并进行压测

    一.阿里云linux安装JDK 1.下载安装JDK jdk官网,选择linux版本,下载并保存. (一)yum安装 安装epel的yumyuan yum install epel-release -y ...