Python3编写网络爬虫05-基本解析库XPath的使用
一、XPath
全称 XML Path Language 是一门在XML文档中 查找信息的语言 最初是用来搜寻XML文档的 但是它同样适用于HTML文档的搜索
XPath 的选择功能十分强大,它提供了非常简洁的路径选择表达式,另外还提供了超过100个内置函数,用于字符串,数值,时间的匹配
以及节点和序列的处理
XPath 于1999年11月16日成为W3C标准 被设计为供XSLT、XPointer、以及其它XML解析软件使用
<<<
常用规则 表达式 描述 nodename 选取此节点的所有子节点
/ 从当前节点选取直接子节点
// 从当前节点选取子孙节点
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性
>>> 示例: //title[@lang='eng'] 选取所有名称为title 同时属性为lang的值为eng的节点 通过Python的lxml库 利用XPath进行HTML解析
安装 lxml 1. pip install lxml 2. wheel方式安装 https://www.lfd.uci.edu/~gohlke/pythonlibs/
验证 python命令行下 import lxml 无报错信息 表示安装成功
实例:
from lxml import etree #导入lxml的etree模块 text='''
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>
'''
html = etree.HTML(text)#调用HTML类 初始化 构造一个XPath解析对象
result = etree.tostring(html)#输出 HTML代码
print(result.decode('utf-8'))#结果为bytes类型 用decode方法转化为str类型
也可以直接读取文本文件 例如:
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = etree.tostring(html)
print(result.decode('utf-8'))
一样可以打印结果
1.1所有节点
一般会用//开头的XPath规则来选取所有符合要求的节点
例如:
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//*')
print(result)
*代表匹配所有节点 返回一个列表 每个元素是Element类型 其后是节点名
1.2指定节点
例如:
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li')
print(result)
print(result[0])#取出其中一个对象 利用索引值
1.3子节点
通过/或者// 查找元素子节点或子孙节点
例如: 查找li节点的所有直接子节点
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li/a')
print(result)
ul获取所有子孙a节点
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//ul//a')
print(result)
想象一下换成 //ul/a 结果会怎样
1.4父节点
例如: 获取href属性为link4.html的a节点 获取其父节点 在获取其class属性
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//a[@href="link4.html"]/../@class')
print(result)
也可以通过parent:: 获取其父节点
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//a[@href="link4.html"]/parent::*/@class')
print(result)
1.5属性过滤
选取class为item-0 的li节点
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]')
print(result)
1.6文本获取
用xpath中text()方法获取节点中的文本
例如 获取li节点中的文本
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]/text()') #此处的含义是直接获取子节点
print(result)#返回结果为 换行符
两种方式 1.先选取a节点 在获取文本 2.使用//
1.
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]/a/text()')
print(result)#返回预期结果
2.
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]//text()')
print(result)#返回三个结果
1.7属性获取
示例 获取li节点下所有a节点的href属性
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li/a/@href')
print(result)#注意 之前学的属性过滤是限制某个属性 class=“xxxx” 这里是获取某个节点某个属性的属性值 返回形式是列表
1.8属性多值匹配
示例 有时候某个节点的某个属性有多个值
from lxml import etree
text='''
<li class="li li-first"><a href="link.html">first item</a></li>
'''
html = etree.HTML(text)
result = html.xpath('//li[@class="li"]/a/text()')
print(result)#返回结果是[]
需要 contains()函数
from lxml import etree
text='''
<li class="li li-first"><a href="link.html">first item</a></li>
'''
html = etree.HTML(text)
result = html.xpath('//li[contains(@class,"li")]/a/text()')
print(result)#第一个参数传入属性名称 第二个参数传入属性值
1.9多属性匹配
示例 根据多个属性确定一个节点 通常需要同时匹配多个属性 可以使用and来连接
from lxml import etree
text='''
<li class="li li-first" name="item"><a href="link.html">first item</a></li>
<li class="li li-first" name="item_s"><a href="link.html">second item</a></li>
'''
html = etree.HTML(text)
result = html.xpath('//li[contains(@class,"li") and @name="item"]/a/text()')
print(result)
#还有很多运算符 详见xpath.png
1.10 按序选择
有时候选择某些属性 可能同时匹配了多个节点 但是想要其中某个节点
如 第一个节点或者最后一个节点
可以利用中括号传索引的方法
from lxml import etree html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[1]/a/text()')
print(result)#返回第一个节点 注意这里序号是从1开始的 result = html.xpath('//li[last()]/a/text()')
print(result)#返回最后一个节点 result = html.xpath('//li[position()<3]/a/text()')
print(result)#返回前两个 result = html.xpath('//li[last()-2]/a/text()')
print(result)#返回倒数第三个
xpath提供了100多个函数 包括存取 数值 字符串 逻辑 节点 序列等 参考资料 http://www.w3school.com.cn/xpath/xpath_functions.asp
1.11 节点轴选择
xpath提供了很多节点轴选择方法 包括子元素,兄弟元素,父元素,祖先元素等
实例:
from lxml import etree
text='''
<div>
<ul>
<li class="item-0"><a href="link1.html"><span>first item</span></a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>
'''
html = etree.HTML(text) result = html.xpath('//li[1]/ancestor::*')
print(result)# 获取第一个li所有祖先节点 包括html body div ul result = html.xpath('//li[1]/ancestor::div')
print(result)#限定条件 div result = html.xpath('//li[1]/attribute::*')
print(result)#获取所有属性值 返回li节点所有属性值 result = html.xpath('//li[1]/child::a[@href="link1.html"]')
print(result)#获取所有直接子节点 限定条件href = link1.html result = html.xpath('//li[1]/descendant::span')
print(result)# 获取所有子孙节点 限定span节点 不包含a节点 result = html.xpath('//li[1]/following::*[2]')
print(result)#获取当前节点之后的所有节点 虽然加了* 但又加了索引选择 只获取带第二个后续节点 result = html.xpath('//li[1]/following-sibling::*')
print(result)#获取当前节点之后的所有同级节点
更多用法 参考 http://www.w3school.com.cn/xpath/xpath_axes.asp
Python3编写网络爬虫05-基本解析库XPath的使用的更多相关文章
- Python3编写网络爬虫06-基本解析库Beautiful Soup的使用
二.Beautiful Soup 简介 就是python的一个HTML或XML的解析库 可以用它来很方便的从网页中提取数据 0.1 提供一些简单的 python式的函数来处理导航,搜索,修改分析树等功 ...
- Python3编写网络爬虫07-基本解析库pyquery的使用
三.pyquery 简介:同样是一个强大的网页解析工具 它提供了和jQuery类似的语法来解析HTML文档,支持CSS选择器,使用非常方便 安装: pip install pyquery 验证: im ...
- Python3编写网络爬虫02-基本请求库requests的使用
一.requests 库使用 需要安装 pip install requests import requests #导入requests库 request = requests.get("h ...
- Python3编写网络爬虫01-基本请求库urllib的使用
安装python后 自带urllib库 模块篇 分为几个模块如下: 1. urllib.request 请求模块 2. urllib.parse 分析模块 3. urllib.error 异常处理模块 ...
- python3编写网络爬虫20-pyspider框架的使用
二.pyspider框架的使用 简介 pyspider是由国人binux 编写的强大的网络爬虫系统 github地址 : https://github.com/binux/pyspider 官方文档 ...
- python3编写网络爬虫21-scrapy框架的使用
一.scrapy框架的使用 前面我们讲了pyspider 它可以快速的完成爬虫的编写 不过pyspider也有一些缺点 例如可配置化不高 异常处理能力有限对于一些反爬虫程度非常强的网站 爬取显得力不从 ...
- Python3编写网络爬虫08-数据存储方式一-文件存储
数据存储 用解析器解析出数据之后,就是存储数据了.保存的形式可以多种多样,最简单的形式是直接保存为文本文件,如TXT JSON CSV等.另外还可以保存到数据库中,如关系型数据库MySQL 非关系型数 ...
- Python3编写网络爬虫04-爬取猫眼电影排行实例
利用requests库和正则表达式 抓取猫眼电影TOP100 (requests比urllib使用更方便,由于没有学习HTML系统解析库 选用re) 1.目标 抓取电影名称 时间 评分 图片等 url ...
- python3编写网络爬虫18-代理池的维护
一.代理池的维护 上面我们利用代理可以解决目标网站封IP的问题 在网上有大量公开的免费代理 或者我们也可以购买付费的代理IP但是无论是免费的还是付费的,都不能保证都是可用的 因为可能此IP被其他人使用 ...
随机推荐
- 自己实现的ajax分页js
/** * 分页 * @author chenqionghe * @param data json数据,包含totalPage,count * @param page 获取的页数 * @param o ...
- c++中虚函数和多态性
1.直接看下列代码: #include <iostream> using namespace std; class base{ public: void who(){ cout<&l ...
- 动态规划法(四)0-1背包问题(0-1 Knapsack Problem)
继续讲故事~~ 转眼我们的主人公丁丁就要离开自己的家乡,去大城市见世面了.这天晚上,妈妈正在耐心地帮丁丁收拾行李.家里有个最大能承受20kg的袋子,可是妈妈却有很多东西想装袋子里,已知行李的编 ...
- 安装Eclipse时遇到”java was started but returned exit code = 13“如何解决?
有的时候运行开发工具时会出现java was started but returned exit code = 13......的提示,绝大多数的问题都是版本问题: 我们可以打开命令行工具cmd 输入 ...
- Oracle入门《Oracle介绍》第一章1-4 Oracle 用户管理
1.Oracle 默认用户 只有用合法的用户帐号才能访问Oracle数据库 Oracle 有几个默认的数据库用户 数据库中所有数据字典表和视图都存储在 SYS 模式中.SYS用户主要用来维护系统信息和 ...
- 导入本地的oracle数据库文件
1. 创建表空间 create tablespace charge_zang datafile 'F:\app\zang\oradata\orcl\charge_zang.dbf' size 50M ...
- PowerDesigner V16.5 安装教程以及汉化(数据库建模)
一.power designer是什么以及是干什么的? power designer是能进行数据库设计的强大的软件,是一款开发人员常用的数据库建模工具.分别从概念数据模型(Conceptual Dat ...
- MVC 获取控制器名称和Action名称(转载)
MVC在filter中如何获取控制器名称和Action名称 使用ActionExecutingContext对象可以获取控制器名称.Action名称.参数名称以及参数值.路由和Action返回值不 ...
- fast-spring-boot快速开发项目
Introduction fast-spring-boot 集成Spring Boot 2.1,Mybatis,Mybatis Plus,Druid,FastJson,Redis,Rabbit MQ, ...
- 5大JavaScript前端框架简介
译者按: 简要介绍五大前端框架特性 原文: Top 5 JavaScript Frameworks 译者: Fundebug 为了保证可读性,本文采用意译而非直译.另外,本文版权归原作者所有,翻译仅用 ...