python爬虫-xpath基础

# 准备一个html格式文档

doc = '''

<div>

    <ul>

         <li class="item-0"><a href="https://ask.hellobi.com/link1.html">first item</a></li>

         <li class="item-1"><a href="https://ask.hellobi.com/link2.html">second item</a></li>

         <li class="item-inactive"><a href="https://ask.hellobi.com/link3.html">third item</a></li>

         <li class="item-1"><a href="https://ask.hellobi.com/link4.html">fourth item</a></li>

         <li class="item-0"><a href="https://ask.hellobi.com/link5.html">fifth item</a>

     </ul>

 </div>

'''

# 导入模块

from lxml import etree

# etree.html是将爬取的网页数据再生成标准网页格式数据，因为有些网页不规范写的时候。

# etree.html可以解析html文件：（服务器上返回的html数据）。

# 解析HTML，返回根节点对象

# 将字符串格式的文件转化为html文档

tree = etree.HTML(doc)

# print(tree)   #==>   <Element html at 0x26f62635140> 表明这是一个html文档

# 调用 tostring() 方法即可输出修正后的 HTML 代码，但是结果是 bytes 类型

result = etree.tostring(tree)

# 利用 decode() 方法转成 str 类型

# print(result.decode('utf-8'))

# 在这里我们首先导入了 LXML 库的 etree 模块，然后声明了一段 HTML 文本，

# 调用 HTML 类进行初始化，这样我们就成功构造了一个 XPath 解析对象，

# 在这里注意到 HTML 文本中的最后一个 li 节点是没有闭合的，

# 但是 etree 模块可以对 HTML 文本进行自动修正。

# 在这里我们调用 tostring() 方法即可输出修正后的 HTML 代码，但是结果是 bytes 类型，

# 在这里我们利用 decode() 方法转成 str 类型，结果如下：

'''

<html><body><div>

    <ul>

         <li class="item-0"><a href="https://ask.hellobi.com/link1.html">first item</a></li>

         <li class="item-1"><a href="https://ask.hellobi.com/link2.html">second item</a></li>

         <li class="item-inactive"><a href="https://ask.hellobi.com/link3.html">third item</a></li>

         <li class="item-1"><a href="https://ask.hellobi.com/link4.html">fourth item</a></li>

         <li class="item-0"><a href="https://ask.hellobi.com/link5.html">fifth item</a>

     </li></ul>

 </div>

</body></html>

'''

# etree.parse是对标准网页格式数据进行解析用的。

# etree.parse直接接受一个文档，按照文档结构解析（本地文件）。

# etree.HTMLParser()指定解析器HTMLParser会根据文件修复HTML文件中缺失的如声明信息)

# b.html的内容就是doc

tree = etree.parse('./b.html', etree.HTMLParser())

result = etree.tostring(tree)

# print(result.decode('utf-8'))

# 这次的输出结果略有不同，多了一个 DOCTYPE 的声明，不过对解析无任何影响，结果如下：

'''

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">

<html><body><div>

    <ul>

         <li class="item-0"><a href="https://ask.hellobi.com/link1.html">first item</a></li>

         <li class="item-1"><a href="https://ask.hellobi.com/link2.html">second item</a></li>

         <li class="item-inactive"><a href="https://ask.hellobi.com/link3.html">third item</a></li>

         <li class="item-1"><a href="https://ask.hellobi.com/link4.html">fourth item</a></li>

         <li class="item-0"><a href="https://ask.hellobi.com/link5.html">fifth item</a>

     </li></ul>

 </div></body></html>

'''

# 定位

tree = etree.parse('./b.html', etree.HTMLParser())

# result = tree.xpath('/html') # [<Element html at 0x1f20a07aac0>]

# result = tree.xpath('/html//li') # 跟下面返回一致

# result = tree.xpath('/html//li[@class]')

# result = tree.xpath('/html//li[2]')  # 选哪个li [<Element li at 0x13fcd6daec0>]

# result = tree.xpath('/html//li/a/text()') # 返回列表，['first item', 'second item', 'third item', 'fourth item', 'fifth item']

# result = tree.xpath('/html//li[@class="item-0"]') # 指定元素 [<Element li at 0x18664a7acc0>, <Element li at 0x18664a7ad80>]

# print(result)

li_list = tree.xpath('/html//li')

for li in li_list:

    # 从每一个li中提取到文字信息

    # ./当前节点下面

    result = li.xpath('./a/text()')

    print(result)  # 返回列表

    # 拿到属性值：@属性

    result2 = li.xpath('./a/@href')

    print(result2)  # 返回列表

python爬虫-xpath基础的更多相关文章

python爬虫xpath的语法
有朋友问我正则,,okey,其实我的正则也不好,但是python下xpath是相对较简单的简单了解一下xpath: XPath 是一门在 XML 文档中查找信息的语言.XPath 可用来在 XML ...
Python 爬虫四基础案例-自动登陆github
GET&POST请求一般格式爬取Github数据 GET&POST请求一般格式很久之前在讲web框架的时候,曾经提到过一句话,在网络编程中“万物皆socket”.任何的网络通信归根 ...
[Python 练习爬虫] XPATH基础语法
XPATH语法: // 定位根标签 / 往下层寻找 /text() 提取文本内容 /@xxx 提取属性内容 Sample: import requests from lxml import etree ...
python爬虫xpath
又是一个大晴天,因为马上要召开十九大,北京地铁就额外的拥挤,人贴人到爆炸,还好我常年挤地铁早已练成了轻功水上漂,挤地铁早已经不在话下. 励志成为一名高级测试工程师的我,目前还只是个菜鸟,难得有机会,公 ...
python爬虫相关基础概念
什么是爬虫爬虫就是通过编写程序模拟浏览器上网,然后让其去互联网上抓取数据的过程. 哪些语言可以实现爬虫 1.php:可以实现爬虫.但是php在实现爬虫中支持多线程和多进程方面做得不好. 2.java ...
Python爬虫零基础入门（系列）
一.前言上一篇演示了如何使用requests模块向网站发送http请求,获取到网页的HTML数据.这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据. update ...
Python爬虫 XPath语法和lxml模块
XPath语法和lxml模块什么是XPath? xpath(XML Path Language)是一门在XML和HTML文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历. X ...
python爬虫慕课基础2
实战演练:爬取百度百科1000个页面的数据对于新手来说,可以把spider_main.py代码中的try和except去掉,运行报错就会在控制台出现,根据错误去调试自己的程序发现以下错误: req ...
python爬虫慕课基础1
test_urllib2.py import http.cookiejar from urllib import request url = "http://www.baidu.com&qu ...
python爬虫----XPath
1.知道本节点元素,如何定位到兄弟元素详情见博客 XML代码见下 bt1在文档中只出现一次,所以很容易获取到bt1中内容,那怎么根据<td class='bt1'>来获取bt2中的内容 ...

随机推荐

python执行SQL语句中有格式化时是否需要加引号
import pymysqldb = pymysql.connect(host='localhost', user='root', password='123456', database='test' ...
ABAP RSA 加密
最近出现一些SAP ABAP RSA加密的需求,这里搬运一篇文章,用于学习参考. 本文链接:https://www.cnblogs.com/hhelibeb/p/14952732.html 原文标题: ...
Solution - AGC060C
Link 简要题意:称一个长为 \(2^n-1\) 的排列 \(P\) 像堆,如果 \(P_i \lt P_{2i}\),且 \(P_i \lt P_{2i+1}\).给定 \(a,b\),设 \(u ...
linux开发vue项目，不能热更新？
只需要运行下面的命令即可: echo fs.inotify.max_user_watches=524288 | sudo tee -a /etc/sysctl.conf && sudo ...
java后台@RequestBody和@RequestParam
RequestBody 接收的是请求体里面(body)的数据 RequestParam接收的是key-value里面的参数,所以它会被切割进行处理从而可以是普通元素.数组.集合.对象等接收 get-- ...
Splashtop ：符合 HIPAA 标准的远程桌面软件
如果您正在寻找可帮助您保持 HIPAA 遵从性的远程桌面软件,那么 Splashtop 就是您的最佳选择. 如果您的公司属于美国医疗保健行业,则您知道您必须遵守有关敏感和私人患者信息的联邦 HIPAA ...
java学习之旅（day.16）
集合框架集合集合:对象的容器,创建的对象就存储在集合中.集合定义了对多个对象进行操作的常用方法,可实现数组的功能集合和数组的相同点:都是容器集合和数组的区别: 数组定义后长度固定,集合长度不固 ...
防患未然 | AIRIOT城市管廊智能运维解决方案
城市管廊构建复杂,管道内部传感器和附属设备居多,且近年来事故频发,地下空间属性人员进出管理不便,紧急情况应急调度措施有限.传统人工管理模式,运营成本高,且管理水平和质量也无法得到有利保障.因此在管 ...
mybatis-puls解决多数据源事务的问题
直接上代码: pom:  <dependency> <groupId>org.springframework.boot</gr ...
为WPF框架Prism注册Nlog日志服务
这篇文章介绍了为WPF框架Prism注册Nlog日志服务的方法,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧无论是Nlog还是Serilog, 它们都提供 ...

python爬虫-xpath基础

python爬虫-xpath基础的更多相关文章

随机推荐

热门专题