# 准备一个html格式文档

doc = '''

<div>

    <ul>

         <li class="item-0"><a href="https://ask.hellobi.com/link1.html">first item</a></li>

         <li class="item-1"><a href="https://ask.hellobi.com/link2.html">second item</a></li>

         <li class="item-inactive"><a href="https://ask.hellobi.com/link3.html">third item</a></li>

         <li class="item-1"><a href="https://ask.hellobi.com/link4.html">fourth item</a></li>

         <li class="item-0"><a href="https://ask.hellobi.com/link5.html">fifth item</a>

     </ul>

 </div>

'''

# 导入模块

from lxml import etree

# etree.html是将爬取的网页数据再生成标准网页格式数据，因为有些网页不规范写的时候。

# etree.html可以解析html文件：（服务器上返回的html数据）。

# 解析HTML，返回根节点对象

# 将字符串格式的文件转化为html文档

tree = etree.HTML(doc)

# print(tree)   #==>   <Element html at 0x26f62635140> 表明这是一个html文档

# 调用 tostring() 方法即可输出修正后的 HTML 代码，但是结果是 bytes 类型

result = etree.tostring(tree)

# 利用 decode() 方法转成 str 类型

# print(result.decode('utf-8'))

# 在这里我们首先导入了 LXML 库的 etree 模块，然后声明了一段 HTML 文本，

# 调用 HTML 类进行初始化，这样我们就成功构造了一个 XPath 解析对象，

# 在这里注意到 HTML 文本中的最后一个 li 节点是没有闭合的，

# 但是 etree 模块可以对 HTML 文本进行自动修正。

# 在这里我们调用 tostring() 方法即可输出修正后的 HTML 代码，但是结果是 bytes 类型，

# 在这里我们利用 decode() 方法转成 str 类型，结果如下：

'''

<html><body><div>

    <ul>

         <li class="item-0"><a href="https://ask.hellobi.com/link1.html">first item</a></li>

         <li class="item-1"><a href="https://ask.hellobi.com/link2.html">second item</a></li>

         <li class="item-inactive"><a href="https://ask.hellobi.com/link3.html">third item</a></li>

         <li class="item-1"><a href="https://ask.hellobi.com/link4.html">fourth item</a></li>

         <li class="item-0"><a href="https://ask.hellobi.com/link5.html">fifth item</a>

     </li></ul>

 </div>

</body></html>

'''

# etree.parse是对标准网页格式数据进行解析用的。

# etree.parse直接接受一个文档，按照文档结构解析（本地文件）。

# etree.HTMLParser()指定解析器HTMLParser会根据文件修复HTML文件中缺失的如声明信息)

# b.html的内容就是doc

tree = etree.parse('./b.html', etree.HTMLParser())

result = etree.tostring(tree)

# print(result.decode('utf-8'))

# 这次的输出结果略有不同，多了一个 DOCTYPE 的声明，不过对解析无任何影响，结果如下：

'''

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">

<html><body><div>

    <ul>

         <li class="item-0"><a href="https://ask.hellobi.com/link1.html">first item</a></li>

         <li class="item-1"><a href="https://ask.hellobi.com/link2.html">second item</a></li>

         <li class="item-inactive"><a href="https://ask.hellobi.com/link3.html">third item</a></li>

         <li class="item-1"><a href="https://ask.hellobi.com/link4.html">fourth item</a></li>

         <li class="item-0"><a href="https://ask.hellobi.com/link5.html">fifth item</a>

     </li></ul>

 </div></body></html>

'''

# 定位

tree = etree.parse('./b.html', etree.HTMLParser())

# result = tree.xpath('/html') # [<Element html at 0x1f20a07aac0>]

# result = tree.xpath('/html//li') # 跟下面返回一致

# result = tree.xpath('/html//li[@class]')

# result = tree.xpath('/html//li[2]')  # 选哪个li [<Element li at 0x13fcd6daec0>]

# result = tree.xpath('/html//li/a/text()') # 返回列表，['first item', 'second item', 'third item', 'fourth item', 'fifth item']

# result = tree.xpath('/html//li[@class="item-0"]') # 指定元素 [<Element li at 0x18664a7acc0>, <Element li at 0x18664a7ad80>]

# print(result)

li_list = tree.xpath('/html//li')

for li in li_list:

    # 从每一个li中提取到文字信息

    # ./当前节点下面

    result = li.xpath('./a/text()')

    print(result)  # 返回列表

    # 拿到属性值：@属性

    result2 = li.xpath('./a/@href')

    print(result2)  # 返回列表

python爬虫-xpath基础的更多相关文章

  1. python爬虫xpath的语法

    有朋友问我正则,,okey,其实我的正则也不好,但是python下xpath是相对较简单的 简单了解一下xpath: XPath 是一门在 XML 文档中查找信息的语言.XPath 可用来在 XML ...

  2. Python 爬虫四 基础案例-自动登陆github

    GET&POST请求一般格式 爬取Github数据 GET&POST请求一般格式 很久之前在讲web框架的时候,曾经提到过一句话,在网络编程中“万物皆socket”.任何的网络通信归根 ...

  3. [Python 练习爬虫] XPATH基础语法

    XPATH语法: // 定位根标签 / 往下层寻找 /text() 提取文本内容 /@xxx 提取属性内容 Sample: import requests from lxml import etree ...

  4. python爬虫xpath

    又是一个大晴天,因为马上要召开十九大,北京地铁就额外的拥挤,人贴人到爆炸,还好我常年挤地铁早已练成了轻功水上漂,挤地铁早已经不在话下. 励志成为一名高级测试工程师的我,目前还只是个菜鸟,难得有机会,公 ...

  5. python爬虫相关基础概念

    什么是爬虫 爬虫就是通过编写程序模拟浏览器上网,然后让其去互联网上抓取数据的过程. 哪些语言可以实现爬虫 1.php:可以实现爬虫.但是php在实现爬虫中支持多线程和多进程方面做得不好. 2.java ...

  6. Python爬虫零基础入门（系列）

    一.前言上一篇演示了如何使用requests模块向网站发送http请求,获取到网页的HTML数据.这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据. update ...

  7. Python爬虫 XPath语法和lxml模块

    XPath语法和lxml模块 什么是XPath? xpath(XML Path Language)是一门在XML和HTML文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历. X ...

  8. python爬虫慕课基础2

    实战演练:爬取百度百科1000个页面的数据 对于新手来说,可以把spider_main.py代码中的try和except去掉,运行报错就会在控制台出现,根据错误去调试自己的程序 发现以下错误: req ...

  9. python爬虫慕课基础1

    test_urllib2.py import http.cookiejar from urllib import request url = "http://www.baidu.com&qu ...

  10. python爬虫----XPath

    1.知道本节点元素,如何定位到兄弟元素 详情见博客 XML代码见下 bt1在文档中只出现一次,所以很容易获取到bt1中内容,那怎么根据<td class='bt1'>来获取bt2中的内容 ...

随机推荐

  1. 一键自动化博客发布工具,用过的人都说好(segmentfault篇)

    segmentfault是我在这些平台中看过界面最为简洁的博客平台了. 今天就以segmentfault为例,讲讲在blog-auto-publishing-tools中的实现原理. 前提条件 前提条 ...

  2. Swift File Manager 三种文件路径查找方法对比

    目录 1. 引言 2. 三种文件路径查找方法 2. 1 NSSearchPathForDirectoriesInDomains(_:_:_:) 2.2 urls(for:in:) 2.3 url(fo ...

  3. java stream数据分组 stream().collect(groupingBy

    List<Map<String, Object>> foreList = forecastDataDao.getcityforeresults(param); Map<S ...

  4. 鸿蒙Blank

    Blank组件占剩余空间,类似占位组件一样

  5. P3667 Bovine Genomics Hash+二分题解

    砂金听说了你在学字符串,于是在CLOI里出了道题给你 P3667 Bovine Genomics 题链:洛谷 hzoi提高 \(hash\)基础题. 思路是二分答案,\(check\)中比较每一个区间 ...

  6. C语言：渔夫捕鱼算法问题

    题目:渔夫捕鱼 A,B,C,D,E五个渔夫夜间合伙捕鱼,,第二天清A先醒来,他把鱼均分五份,把多余的一条扔回湖中,便拿了自己的一份回家了,B醒来后,也把鱼均分五份,把多余的一条扔回湖中,便拿了自己的一 ...

  7. WPF,Frame控件的一个BUG

    我使用WPF默认的frame <Frame Style="{DynamicResource FrameStyle1}" x:Name="frame" He ...

  8. C# 在Excel中添加、应用或删除筛选器 （日期筛选、文本筛选、数字筛选）

    自动筛选器是 Excel 中的一个基本但极其有用的功能,它可以让你根据特定的条件来自动隐藏和显示你的数据.当有大量的数据需要处理时,这个功能可以帮你快速找到你需要的信息,从未更加有效地分析和处理相关数 ...

  9. 使用 CompeletedFuture 实现异步调用

    在我们平时写的项目中,异步调用是一个比较重要的优化手段,在 Java 中,提供了 CompletedFuture 供我们使用,具体实现如下: 例子 假如现在有一个需求,我需要去淘宝.天猫和京东去搜索某 ...

  10. nginx001

    本文档版权归属:陈雷雷,仅限学习交流 QQ:370460470 blog:www.chenleilei.net Nginx服务实践 简述Nginx(nginx.org) Nginx (engine x ...