xpath解析数据

"""

xpath 也是一种用于解析xml文档数据的方式

xml path

w3c xpath搜索用法

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点（或称为根节点）。都要用/

"""

doc = """

<?xml version="1.0" encoding="ISO-8859-1"?>

<html>

    <body>

        <bookstore id="test" class="ttt">

        <book id= "1" class = "2">

          <title lang="eng">Harry Potter</title>

          <price>29.99</price>

        </book>

        <book id = "2222222222222">11111111111111111111

          <title lang="abc">Learning XML</title>

          <price>39.95</price>

        </book>

        </bookstore>

    <a></a>

    </body>

</html>

"""

from lxml import etree

html = etree.HTML(doc)

print(html.xpath("/bookstore")) # 从根标签找所有匹配的 列表形式

print(html.xpath("//bookstore")) # 全文中找所有匹配的 列表形式

# 通配符 *

print(html.xpath("//book")) #全文中找所有book标签

print(html.xpath("//*"))  # 全文中找所有标签

# 获取属性

print(html.xpath("//bookstore/@id")) #获取id属性

print(html.xpath("//bookstore/@*")) #获取所有属性

# 嵌套

print(html.xpath("//bookstore/book/title/text()"))

==============================================================================

# 加上谓语(条件) 

# 指定要获取的索引

# print(html.xpath("//bookstore/book[1]/title/text()")) # 获取第一个

# print(html.xpath("//bookstore/book[last()-1]/title/text()")) # last() 最后一个     last()-1 倒数第二个

# print(html.xpath("//bookstore/book[position()>1]/title/text()")) # 索引大于1的

# xpath 原生 既能查找属性 又能查找标签   而在selenium只能查找标签

# 查找price的值大于30的book标签

# e = html.xpath("//book[price > 30]")[0]

# print(e.text) # 访问文本 不包含子标签的文本 只包含自己标签的文本

# print(e.attrib) # 访问属性

# 用属性来作限制

# 只要存在lang属性即可

print(html.xpath("//*[@lang]"))

# 找的是具备lang并且值为abc的标签

print(html.xpath("//*[@lang='abc']"))

#获取其属性

print(html.xpath("//*[@lang='abc']")[0].attrib)

# 只要 有属性即可

print(html.xpath("//*[@*]"))

# 多个匹配条件

print(html.xpath("//title|//price"))

==================================================================================

# 轴匹配  (先拿到一个标签 在相对这个标签找其他标签)   

print(html.xpath("//bookstore/ancestor::*")) # 所有先辈

print(html.xpath("//bookstore/ancestor::body")) # 所有叫body的先辈

print(html.xpath("//bookstore/ancestor-or-self::*")) # 所有先辈包含他自己

# 获取属性

print(html.xpath("//bookstore/attribute::id"))

print(html.xpath("//bookstore/@id"))

# 所有子级标签(只有子级)

print(html.xpath("//bookstore/child::*"))

# 所有后代标签

print(html.xpath("//bookstore/descendant::*"))

# 在这个标签后面的所有标签  与层级无关

print(html.xpath("//book[1]/following::*")) #第一个book后的所有标签

# 获取弟弟们(他后面的同级标签)

print(html.xpath("//book[1]/following-sibling::*"))

# 获取哥哥们(它前面的同级标签)

print(html.xpath("//book[1]/preceding-sibling::*"))

# 获取父级

print(html.xpath("//book[1]/parent::*"))

# 获取既有id属性 又有class属性的标签

print(html.xpath("//*[@id and @class]"))

xpath解析数据的更多相关文章

  1. 爬虫系列二(数据清洗--->xpath解析数据)

    一 xpath介绍 XPath 是一门在 XML 文档中查找信息的语言.XPath 用于在 XML 文档中通过元素和属性进行导航. XPath 使用路径表达式在 XML 文档中进行导航 XPath 包 ...

  2. iOS 抓取 HTML ,CSS XPath 解析数据

    以前我们获取数据的方式都是使用 AFN 来 Get JSON 数据,比如 点我查看 JSON 数据.http://news-at.zhihu.com/api/4/news/latest 但例如下面的百 ...

  3. 万方数据知识平台 TFHpple +Xpath解析

    试了一下.基本上适合全部的检索结果. - (void)viewDidLoad { [super viewDidLoad]; // Do any additional setup after loadi ...

  4. 解析数据(正则,xpath)

    正则表达式拆分 import re # 1.拆分字符串 one = 'asdsfsgsh' # 标准 是 s 为拆分 pattern = re.compile('s') result = patter ...

  5. 数据的查找和提取[2]——xpath解析库的使用

    xpath解析库的使用 在上一节,我们介绍了正则表达式的使用,但是当我们提取数据的限制条件增多的时候,正则表达式会变的十分的复杂,出一丁点错就提取不出来东西了.但python已经为我们提供了许多用于解 ...

  6. python爬虫使用xpath解析页面和提取数据

    XPath解析页面和提取数据 一.简介 关注公众号"轻松学编程"了解更多. XPath即为XML路径语言,它是一种用来确定XML(标准通用标记语言的子集)文档中某部分位置的语言.X ...

  7. 利用XPath解析带有xmlns的XML文件

    在.net中,编写读取xml 的程序中提示"未将对象引用设置到对象的实例",当时一看觉得有点奇怪.为什么在读取xml数据的时候也要实例化一个对象.google了才知道,xml文件中 ...

  8. xpath 解析 及案例

    xpath解析 编码流程: 1.实例化一个etree对象,且将页面源码加载到该对象中 2.使用xpath函数,且在函数中必须作用一个xpath表达式进行标签的定位 3.使用xpath进行属性和文本的提 ...

  9. Scrapy基础(六)————Scrapy爬取伯乐在线一通过css和xpath解析文章字段

    上次我们介绍了scrapy的安装和加入debug的main文件,这次重要介绍创建的爬虫的基本爬取有用信息 通过命令(这篇博文)创建了jobbole这个爬虫,并且生成了jobbole.py这个文件,又写 ...

随机推荐

  1. Math工具类

    public static void main(String[] args) { // 工具类,所有方法都以静态方法提供,没有实例存在的意义 // 不提供任何实例的方法,代表当前类属于无状态的. // ...

  2. Web开发——jQuery进阶

    参考: 参考:http://www.ruanyifeng.com/blog/2012/12/asynchronous%EF%BC%BFjavascript.html 参考:Asynchronous J ...

  3. [dev] 中文版内核代码编码规范

    我是我最喜欢的编码规范.并始终坚持. https://www.kernel.org/doc/html/v4.15/translations/zh_CN/coding-style.html

  4. PHPstorm 2017激活

    网上看了很多,有用没几个.特别亲身试验了下.有一个有用的.摘录下来.备忘. 感谢该篇博文的作者.https://blog.csdn.net/veloi/article/details/71307942 ...

  5. 严重：one or more listeners failed. Full details will be found in the appropriate container log file

    one or more listeners failed. Full details will be found in the appropriate container log file   这句话 ...

  6. 永久禁止floppy模块开机自动加载

    环境:Red Hat Enterprise Linux Server release 7.4 (Maipo) 问题:执行fdisk -l后系统会抓到错误 解决方案: https://access.re ...

  7. flask shell命令

    在flask项目目录下,使用pipenv shell激活flask虚拟环境后,调用flask shell能够使用虚拟环境的python解释器进入交互式环境,并且工作目录还保留在flask项目目录. f ...

  8. Cocos Creator（圆形遮罩头像）动态增加遮盖层 mask 并设为圆形生效

    var avatar = new cc.Node('avatar'); var sp = node.addComponent(cc.Sprite); sp.spriteFrame = new cc.S ...

  9. win 下 python ImportError: No module named requests

    第一次弄爬虫,报库找不到,网上找了半天,一般都让都让改成绝对路径...那不是饮鸩止渴嘛. 然后 在无意中发现,不需要控制台输入pip命令,因为不是在Linux下啊,,win下直接在pycharm里添加 ...

  10. Android Glide 加载图片

    0.借鉴文章地址:http://blog.csdn.net/zivensonice/article/details/51835802 和 http://www.cnblogs.com/zhaoyanj ...