python爬虫数据解析之xpath
xpath是一门在xml文档中查找信息的语言。xpath可以用来在xml文档中对元素和属性进行遍历。
在xpath中,有7中类型的节点,元素,属性,文本,命名空间,处理指令,注释及根节点。
节点
首先看下面例子:
<?xml version="1.0" encoding="ISO-8859-1"?> <bookstore> <book>
<title lang="en">Harry Potter</title>
<author>J K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book> </bookstore>
上面的节点例子:
<bookstore> (文档节点)
<author>J K. Rowling</author> (元素节点)
lang="en" (属性节点)
父:在上面的例子里,book是title,author,year,price的父。
子:反过来,title,author,year,price是book的子。
同胞:title,author,year,price是同胞。
先辈:title的先辈是book,bookstore。
后代:bookstore的后代是book,tite,author,year,price。
再看一个例子:
<?xml version="1.0" encoding="ISO-8859-1"?> <bookstore> <book>
<title lang="eng">Harry Potter</title>
<price>29.99</price>
</book> <book>
<title lang="eng">Learning XML</title>
<price>39.95</price>
</book> </bookstore
如何选取节点呢?
XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。
对应上面的例子,得到结果:
谓语:谓语用来查找某个特定节点或者包含某个指定值的节点。
比如:
选取未知节点:
比如:
选取若干路径:通过在路径表达式中使用“|”运算符,您可以选取若干个路径。
常用xpath属性:
# 找到class属性为song的div标签
//div[@class="song"]
层级定位:
# 找到class属性为tang的div直系字标签ul下的第二个字标签li下的直系字标签a
//div[@class='tang']/ul/li[2]/a
逻辑运算:
找到class属性为空且href属性为tang的a标签
//a[@class='' and @href='tang']
模糊定位
# 查找class属性值里包含'ng'字符串的div标签
//div[contains(@class, 'ng')]
# 配配class属性以ta为开头的div标签
//div[start_with(@class, 'ta')]
获取文本
//div[@class="song"]/p[1]/text()
获取属性
# 获取class属性为tang的div下的第二个li下面a标签的href属性
//div[@class="tang"]//li[2]/a/@href
在python中应用
将html文档或者xml文档转换成一个etree对象,然后调用对象中的方法查找指定节点。
1 本地文件:
tree = etree.parse(文档)
tree.xpath(xpath表达式)
2 网络数据:
tree = etree.HTML(网页字符串)
tree.xpath(xpath表达式)
例子1:随机爬取糗事百科糗图首页的一张图片
import requests
from lxml import etree
import random def main():
# 网页url
url = 'https://www.qiushibaike.com/pic/'
ua_headers = {"User-Agent": 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)'}
# 网页代码
response = requests.get(url=url, headers=ua_headers).text
# 转换为etree对象
tree = etree.HTML(response)
# 匹配到所有class属性为thumb的div标签下的img标签的src属性值,返回一个列表
img_lst = tree.xpath('//div[@class="thumb"]//img/@src')
# 随机挑选一个图片并且下载下来
res = requests.get(url='https:'+random.choice(img_lst), headers=ua_headers).content
# 将图片保存到本地
with open('image.jpg', 'wb') as f:
f.write(res) if __name__ == '__main__':
main()
例子2:爬取煎蛋网首页的图片
import requests
from lxml import etree def main():
url = 'http://jandan.net/ooxx'
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) "
"Version/5.1 Safari/534.50"}
response = requests.get(url=url, headers=headers).text
tree = etree.HTML(response)
img_lst = tree.xpath('//div[@class="text"]//img/@src')
for one_image in img_lst:
res = requests.get(url='http:'+one_image, headers=headers).content
with open('image/' + one_image.split('/')[-1] + '.gif', 'wb') as f:
f.write(res) if __name__ == '__main__':
main()
python爬虫数据解析之xpath的更多相关文章
- python爬虫--数据解析
数据解析 什么是数据解析及作用 概念:就是将一组数据中的局部数据进行提取 作用:来实现聚焦爬虫 数据解析的通用原理 标签定位 取文本或者属性 正则解析 正则回顾 单字符: . : 除换行以外所有字符 ...
- python爬虫数据解析之BeautifulSoup
BeautifulSoup是一个可以从HTML或者XML文件中提取数据的python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式. BeautfulSoup是python爬虫三 ...
- python爬虫数据解析的四种不同选择器Xpath,Beautiful Soup,pyquery,re
这里主要是做一个关于数据爬取以后的数据解析功能的整合,方便查阅,以防混淆 主要讲到的技术有Xpath,BeautifulSoup,PyQuery,re(正则) 首先举出两个作示例的代码,方便后面举例 ...
- python爬虫数据解析之正则表达式
爬虫的一般分为四步,第二个步骤就是对爬取的数据进行解析. python爬虫一般使用三种解析方式,一正则表达式,二xpath,三BeautifulSoup. 这篇博客主要记录下正则表达式的使用. 正则表 ...
- 070.Python聚焦爬虫数据解析
一 聚焦爬虫数据解析 1.1 基本介绍 聚焦爬虫的编码流程 指定url 基于requests模块发起请求 获取响应对象中的数据 数据解析 进行持久化存储 如何实现数据解析 三种数据解析方式 正则表达式 ...
- python爬虫+数据可视化项目(关注、持续更新)
python爬虫+数据可视化项目(一) 爬取目标:中国天气网(起始url:http://www.weather.com.cn/textFC/hb.shtml#) 爬取内容:全国实时温度最低的十个城市气 ...
- python 爬虫数据存入csv格式方法
python 爬虫数据存入csv格式方法 命令存储方式:scrapy crawl ju -o ju.csv 第一种方法:with open("F:/book_top250.csv" ...
- Python爬虫教程-22-lxml-etree和xpath配合使用
Python爬虫教程-22-lxml-etree和xpath配合使用 lxml:python 的HTML/XML的解析器 官网文档:https://lxml.de/ 使用前,需要安装安 lxml 包 ...
- python爬虫网页解析之lxml模块
08.06自我总结 python爬虫网页解析之lxml模块 一.模块的安装 windows系统下的安装: 方法一:pip3 install lxml 方法二:下载对应系统版本的wheel文件:http ...
随机推荐
- web优化(二)
上次说到js的阻塞dom渲染可能出现的白屏现象,所以对于js我们需要一些优化.首先我们可以模仿通信中的时分的概念,使用 setTime()来执行一段js代码然后渲染页面然后再执行一段js代码,这样可以 ...
- 三. 200多万元得到的创业教训--创业并不需要app
摘要:有个点子,研发app或网站,推广,不断改进,探索盈利模式.这个通用的移动互联网创业流程.但我认为,在某些特定的商业模式下,"研发app或网站"这步可以砍掉或推迟. 健生干货分 ...
- linux释放内存的命令
释放cache: sync echo 3>/proc/sys/vm/drop_caches 释放swap: sync swapoff -a swapon -a 版权声明:本文为博主原创文章,未经 ...
- ASP.Net MVC 在控制器中获取View中的form表单值的方法
在网站开发中,我们常常需要用到表单提交的方式,那么在MVC中是如何获取到表单中的数据呢?下面我们来介绍以下几种方式 首先我们先看看View前台页面 添加一个控制器 我们再看看前台页面的代码 @{ La ...
- mysql(mariadb)如何更改root密码
mysql(或者mariadb,她是mysql的一个分支,完全开源,新版本的linux系统默认安装的是mariadb)如何更改root密码呢?我们主要介绍命令mysqladmin来实现. mysql( ...
- bash: pip: command not found... 解决方法
下载安装wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa3 ...
- RabbitMQ分布式集群架构和高可用性(HA)
(一) 功能和原理 设计集群的目的 允许消费者和生产者在RabbitMQ节点崩溃的情况下继续运行 通过增加更多的节点来扩展消息通信的吞吐量 1 集群配置方式 RabbitMQ可以通过三种方法来部署分布 ...
- luoguP2526_[SHOI2001]小狗散步_二分图匹配
luoguP2526_[SHOI2001]小狗散步_二分图匹配 题意: Grant喜欢带着他的小狗Pandog散步.Grant以一定的速度沿着固定路线走,该路线可能自交.Pandog喜欢游览沿途的景点 ...
- 分布式缓存技术redis学习系列
分布式缓存技术redis学习系列(一)--redis简介以及linux上的安装以及操作redis问题整理 分布式缓存技术redis学习系列(二)--详细讲解redis数据结构(内存模型)以及常用命令 ...
- UR机械臂运动学正逆解方法
最近几个月因为工作接触到了机械臂的项目,突然对机械臂运动方法产生了兴趣,也就是如何控制机械臂的位置和姿态.借用一张网上的图片,应该是ur5的尺寸.我用到的是ur3机械臂,除了尺寸不一样,各关节结构和初 ...