Python lxml库的安装和使用

lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 Xpath 表达式提供了良好的支持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。

安装lxml库

lxml 属于 Python 第三方库，因此需要使用如下方法安装：

pip3 install lxml

在 CMD 命令行验证是否安装成功。若引入模块，不返回错误则说明安装成功。

>>> import lxml

>>>

lxml使用流程

lxml 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面我们简单介绍一下 lxml 库的使用流程，如下所示：

1) 导入模块

from lxml import etree

2) 创建解析对象

调用 etree 模块的 HTML() 方法来创建 HTML 解析对象。如下所示：

parse_html = etree.HTML(html)

HTML() 方法能够将 HTML 标签字符串解析为 HTML 文件，该方法可以自动修正 HTML 文本。示例如下：

# coding=utf-8

from lxml import etree

html_str = '''

<div>

    <ul>

         <li class="item1"><a href="link1.html">Python</a></li>

         <li class="item2"><a href="link2.html">Java</a></li>

         <li class="site1"><a href="c.biancheng.net">C语言中文网</a>

         <li class="site2"><a href="www.baidu.com">百度</a></li>

         <li class="site3"><a href="www.jd.com">京东</a></li>

     </ul>

</div>

'''

# 将 HTML 标签字符串解析为 HTML 文件

html = etree.HTML(html_str)

# tostring()将标签元素转换为字符串的字节输出，注意：加decode("utf-8")转为字符串类型

# result = etree.tostring(html).decode("utf-8")  # 打印会出现中文乱码

# lxml.etree.tostring 乱码的解决方案

# 参考文档 https://blog.csdn.net/damontive/article/details/113422206

result = etree.tostring(html, encoding="utf-8").decode("utf-8")

print(result)

输出结果如下：

<html><body><div>

    <ul>

         <li class="item1"><a href="link1.html">Python</a></li>

         <li class="item2"><a href="link2.html">Java</a></li>

         <li class="site1"><a href="c.biancheng.net">C语言中文网</a>

         </li><li class="site2"><a href="www.baidu.com">百度</a></li>

         <li class="site3"><a href="www.jd.com">京东</a></li>

     </ul>

</div>

</body></html>

上述 HTML 字符串存在缺少标签的情况，比如“C语言中文网”缺少一个 闭合标签，当使用了 HTML() 方法后，会将其自动转换为符合规范的 HTML 文档格式。

3) 调用xpath表达式

最后使用第二步创建的解析对象调用 xpath() 方法，完成数据的提取，如下所示：

r_list = parse_html.xpath('xpath表达式')

lxml库数据提取

下面通过一段 HTML 代码实例演示如何使用 lxml 库提取想要的数据。

# coding=utf-8

from lxml import etree

html_str = '''

<div class="wrapper">

    <a href="www.biancheng.net/product/" id="site">website product</a>

    <ul id="sitename">

    <li><a href="http://www.biancheng.net/" title="编程帮">编程</a></li>

    <li><a href="http://world.sina.com/" title="新浪娱乐">微博</a></li>

    <li><a href="http://www.baidu.com" title="百度">百度贴吧</a></li>

    <li><a href="http://www.taobao.com" title="淘宝">天猫淘宝</a></li>

    <li><a href="http://www.jd.com/" title="京东">京东购物</a></li>

    <li><a href="http://c.bianchneg.net/" title="C语言中文网">编程</a></li>

    <li><a href="http://www.360.com" title="360科技">安全卫士</a></li>

    <li><a href="http://www.bytesjump.com/" title=字节">视频娱乐</a></li>

    <li><a href="http://bzhan.com/" title="b站">年轻娱乐</a></li>

    <li><a href="http://hao123.com/" title="浏览器">搜索引擎</a></li>

    </ul>

</div>

'''

# 创建解析对象

parse_html = etree.HTML(html_str)

# 1) 提取a标签里的文本数据，以列表形式输出

r_list = parse_html.xpath('//a/text()')

# 打印数据列表

print(r_list)

# out: ['website product', '编程', '微博', '百度贴吧', '天猫淘宝', '京东购物', '编程', '安全卫士', '视频娱乐', '年轻娱乐', '搜索引擎']

# 2) 提取a标签里href的属性值，以列表形式输出

a_hrefs = parse_html.xpath('//a/@href')

print(a_hrefs)

# out: ['www.biancheng.net/product/', 'http://www.biancheng.net/', 'http://world.sina.com/', 'http://www.baidu.com', 'http://www.taobao.com', 'http://www.jd.com/', 'http://c.bianchneg.net/', 'http://www.360.com', 'http://www.bytesjump.com/', 'http://bzhan.com/', 'http://hao123.com/']

# 3) 匹配 id=sitename 下的li下的a标签下的 href的值

a_hrefs2 = parse_html.xpath('//ul[@id="sitename"]/li/a/@href')

print(a_hrefs2)

# out: ['http://www.biancheng.net/', 'http://world.sina.com/', 'http://www.baidu.com', 'http://www.taobao.com', 'http://www.jd.com/', 'http://c.bianchneg.net/', 'http://www.360.com', 'http://www.bytesjump.com/', 'http://bzhan.com/', 'http://hao123.com/']

转载文档：

http://c.biancheng.net/python_spider/lxml.html

03 Xpath lxml库的安装和使用的更多相关文章

  1. windows下使用pip安装python的第三方lxml库

    lxml是Python语言里和XML以及HTML工作的功能最丰富和最容易使用的库.lxml库的安装和python其他第三方库的安装方法是一样的,只是可能由于一些细节上的失误导致安装失败. 工具 Pyt ...

  2. Python3 网络爬虫（请求库的安装）

    Python3 网络爬虫(请求库的安装) 爬虫可以简单分为几步:抓取页面,分析页面和存储数据 在页面爬取的过程中我们需要模拟浏览器向服务器发送请求,所以需要用到一些python库来实现HTTP的请求操 ...

  3. Python3 常用爬虫库的安装

    Python3 常用爬虫库的安装 1 简介 Windows下安装Python3常用的爬虫库:requests.selenium.beautifulsoup4.pyquery.pymysql.pymon ...

  4. windows下python常用库的安装

    windows下python常用库的安装,前提安装了annaconda 的python开发环境.只要已经安装了anaconda,要安装别的库就很简单了.只要使用pip即可,正常安装好python,都会 ...

  5. Python爬虫利器三之Xpath语法与lxml库的用法

    前面我们介绍了 BeautifulSoup 的用法,这个已经是非常强大的库了,不过还有一些比较流行的解析库,例如 lxml,使用的是 Xpath 语法,同样是效率比较高的解析方法.如果大家对 Beau ...

  6. 芝麻HTTP：Python爬虫利器之Xpath语法与lxml库的用法

    安装 ​pip install lxml 利用 pip 安装即可 XPath语法 XPath 是一门在 XML 文档中查找信息的语言.XPath 可用来在 XML 文档中对元素和属性进行遍历.XPat ...

  7. Windows环境下使用pip install安装lxml库

    lxml是Python语言和XML以及HTML工作的功能最丰富和最容易使用的库.lxml是为libxml2和libxslt库的一个Python化的绑定.它与众不同的地方是它兼顾了这些库的速度和功能完整 ...

  8. 12.Python爬虫利器三之Xpath语法与lxml库的用法

    LXML解析库使用的是Xpath语法: XPath 是一门语言 XPath可以在XML文档中查找信息 XPath支持HTML XPath通过元素和属性进行导航 XPath可以用来提取信息 XPath比 ...

  9. xpath教程 2 - lxml库

    xpath教程 2 - lxml库 这些就是XPath的语法内容,在运用到Python抓取时要先转换为xml. lxml库 lxml 是 一个HTML/XML的解析器,主要的功能是如何解析和提取 HT ...

  10. Python爬虫11-XML与XPath概述及lxml库的应用

    GitHub代码练习地址:用lxml解析HTML,文件读取,etree和XPath的配合使用:https://github.com/Neo-ML/PythonPractice/blob/master/ ...

随机推荐

  1. Mac M芯片使用PD安装centos7无页面安装

    1.选择Centos镜像 点击继续 设置虚拟机名称: 点击创建 : 选择第一个回车开始下载系统,下载完成进入设置页面,首先输入 1 设置语言: 进入语言设置,选择77普通话: 选择c继续,又回到系统配 ...

  2. Java程序连接KingbaseES 异常

    错误信息: --KStudio客户端工具错误信息 The conncetion attempt failed.Reason:connect time out --Java应用程序控制台日志 Cause ...

  3. Python爬虫爬取国家统计局网站【统计用区划和城乡划分代码】并存入MySQL数据库

    国家统计局网站相关分级页面截图 基本思路 爬取每个页面的a标签内容,生成省市两级数据字典,最后合成区县对应的链接,爬取第三层区划代码和名字,结合省市两级名字生成最后的标准. 代码 1 import p ...

  4. 简直了，被“Java并发锁”问题追问到自闭...

    故事 地铁上,小帅双目空洞地望着窗外...绝望,发自内心地感到绝望... 距离失业已经过去两个月了,这是小帅接到的第四次面试邀请."回去等通知吧...",简简单单的六个字,把小帅的 ...

  5. #斜率优化，单调栈#洛谷 5504 [JSOI2011] 柠檬

    题目 分析 设\(dp[i]\)表示前\(i\)个贝壳可以获得的最大收益, 则\(dp[i]=\max\{dp[j-1]+S(c[i]-c[j]+1)^2\}[s_i==s_j]\) 可以发现当且仅当 ...

  6. 使用OHOS SDK构建libpng

    参照OHOS IDE和SDK的安装方法配置好开发环境. 从github下载源码. 执行如下命令: git clone --depth=1 https://github.com/glennrp/libp ...

  7. 6本值得推荐的MySQL学习书籍（有赠书福利）

    前言 在DotNetGuide技术社区交流群和微信公众号后台经常收到小伙伴们的留言,让我出一期MySQL相关学习书籍的推荐文章.因此,今天我特意为大家精选了 6 本值得推荐的 MySQL 学习书籍,希 ...

  8. 使用GUI--tkinter 制作一个批量修改文件名的桌面软件

    ''' title:批量修改文件名称 author:huyang createtime:2021-01-29 14:50:00 ''' from tkinter import * from tkint ...

  9. Python队列----queue

    import queue # 官网文档:https://docs.python.org/3/library/queue.html a1 = queue.Queue() # 先进先出队列 a2 = qu ...

  10. 报名开启 | HarmonyOS第一课“营”在暑期系列直播

    <HarmonyOS第一课>2023年再次启航! 特邀HarmonyOS布道师云集华为开发者联盟直播间 聚焦HarmonyOS 4版本新特性 邀您一同学习赢好礼! 你准备好了吗? ↓↓↓预 ...