数据解析之xpath

一、环境安装

下载lxml

pip install lxml

二、使用

XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。

常用xpath表达式：

属性定位：
    #找到class属性值为song的div标签
    //div[@class="song"]
层级&索引定位：
    #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a
    //div[@class="tang"]/ul/li[2]/a
逻辑运算：
    #找到href属性值为空且class属性值为du的a标签
    //a[@href="" and @class="du"]
模糊匹配：
    //div[contains(@class, "ng")]
    //div[starts-with(@class, "ta")]
取文本：
    # /表示获取某个标签下的文本内容
    # //表示获取某个标签下的文本内容和所有子标签下的文本内容
    //div[@class="song"]/p[1]/text()
    //div[@class="tang"]//text()
取属性：
    //div[@class="tang"]//li[2]/a/@href

xpath解析原理(编码流程)：

• - 实例化一个etree的对象，且将页面源码数据加载到该对象中
• - 调用etree对象中的xpath方法实现标签定位和数据的提取
• - 在xpath函数中必须作用xpath表达式

可以给浏览器安一个xpath插件--xpath.crx

• 安装方式，打开浏览器开发者模式，直接将xpath.crx 拖进去
• xpath插件的开启和关闭的快捷键：
  • ctrl+shift+x
• 可进行xpath表达式的校验

xpath解析案例

• 一、爬取煎蛋网图片数据http://jandan.net/ooxx
  • 图片src是加密的，加密方式封装在标签调用的函数中
  • 先爬取密文，然后根据加密方式解密。

# 需求，爬取煎蛋网图片数据, 图片的src加密了
import requests
from lxml import etree
import base64  # 对src加密的方法
from urllib import request
headers ={
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.12 Safari/537.36'
}
url = "http://jandan.net/ooxx/page-64#comments"
page_text = requests.get(url,headers=headers).text

# 解析图片src密文
tree = etree.HTML(page_text)
code_list = tree.xpath('//span[@class="img-hash"]/text()')  # 获取密文
# 解析密文
for code in code_list:
    img_url = "http:" + base64.b64decode(code).decode()
    imgName = img_url.split('/')[-1]
    request.urlretrieve(img_url, imgName)
    print(imgName,"下载成功")

二、站长素材简历模板爬取

• 报这个错：：连接池的错误，高频访问占用连接对象。
• HTTPConnectionPool（host:XX）Max retries exceeded with url:
• 解决办法：
  • 1. 请求头中设置 'Connection':'close'
    • 如何让请求结束后马上断开连接且释放池中的连接资源： 'Connection':'close' # 请求成功之后马上断开连接
  • 2. 或使用代理ip

import requests
from lxml import etree
import random
import os
headers ={
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.12 Safari/537.36'，
    'Connection':'close'  # 请求成功之后马上断开连接
}
url_one = "http://sc.chinaz.com/jianli/free.html"

# 定制一个通用url摸版
url_demo = "http://sc.chinaz.com/jianli/free_%d.html"
start_page = int(input("开始页"))
end_page = int(input("结束页"))

for pageNum in range(start_page,end_page+1):
    if pageNum == 1:
        url = url_one
    else:
        url = format(url_demo%pageNum)

    response = requests.get(url=url,headers=headers)
    response.encoding = 'utf-8'  # 编码
    page_text = response.text

    # 解析简历详情页的url
    html = etree.HTML(page_text)
    div_list = html.xpath('//div[@id="container"]/div')
    for div in div_list:
        name = div.xpath('./p/a/text()')[0]
        url_detail = div.xpath('./p/a/@href')[0]
        #对详情页的url发起请求，获取详情页的源码数据
        detail_page_text = requests.get(url_detail,headers=headers).text
        tree = etree.HTML(detail_page_text)
        li_list = tree.xpath('//div[@class="clearfix mt20 downlist"]/ul/li')
        #随机选取一个li标签（li标签中包含了下载地址的url）
        download_url = random.choice(li_list).xpath('./a/@href')[0]
         #进行简历数据的下载
        data = requests.get(url=download_url,headers=headers).content
        name = name+'.rar'  # 压缩包
        if not os.path.exists("./简历模板"):
            os.mkdir("./简历模板")
        with open(f"./简历模板/{name}", 'wb') as fp:
            fp.write(data)
        print(name,"下载成功")