一、 引言

BeautifulSoup是一个三方模块bs4中提供的进行HTML解析的类，可以认为是一个HTML解析工具箱，对HTML报文中的标签具有比较好的容错识别功能。阅读本节需要了解html相关的基础知识，如果这方面知识不足请参考《第14.2节 HTML知识简介》。

二、 BeautifulSoup安装、导入和创建对象

  1. 安装BeautifulSoup和lxml

    BeautifulSoup是bs4模块的类，lxml是一款html文本解析器，在操作系统命令行方式执行安装bs4模块和lxml解析器模块的命令：

    pip install bs4

    pip install lxml

  2. 加载BeautifulSoup所在模块

    因为BeautifulSoup是bs4模块提供的一个类，一般导入时使用：

    from bs4 import BeautifulSoup

  3. 定义BeautifulSoup实例对象

    BeautifulSoup类的构造方法提供6个参数并支持更多动态参数扩展，一般使用时构造BeautifulSoup类的实例时，传入前2个参数，第一个参数是要解析的html文本字符串或使用open函数打开的html文件，第二个参数是html解析器名字，参数值包括如”html.parser”,”lxml”,”html5lib”、“lxml-xml”。

    BeautifulSoup支持Python标准库中的HTML解析器html.parser,还支持一些第三方的解析器如lxml、lxml-xml、html5lib，如果我们不安装第三方的解析器，则 Python 会使用 Python默认的标准库内置解析器html.parser，官方推荐使用lxml 解析器,因为lxml 解析器更加强大，支持xml解析，速度更快。

    案例：

1)对文本字符串进行解析

>>> from bs4 import BeautifulSoup

>>> fp = open(r'c:\temp\s1.html',encoding='utf-8')

>>> buf = fp.read()

>>> soup = BeautifulSoup(buf, ' lxml ')

2)对文件对象直接进行解析

>>> from bs4 import BeautifulSoup

>>> fp = open(r'c:\temp\s1.html',encoding='utf-8')

>>> soup = BeautifulSoup(fp, 'lxml')

返回的实例对象soup可以通过print打印出html文本，为什么一个类可以通过print打印出来？这个请参考《第8.14节 Python类中内置方法__str__详解》

  1. 使用prettify查看解析报文对应的格式化后的html报文
>>> print(soup.prettify())

<!DOCTYPE html>

<html lang="zh-CN">

 <head>

  <style type="text/css">

   .textline{color:blue;}

  </style>

  <link href="https://blog.csdn.net/LaoYuanPython/article/details/95360624" rel="canonical"/>

  <title>

   BeautifulSoups使用方法 - 老猿Python - CSDN博客

  </title>

 </head>

 <body>

  <h1>

   老猿Python

  </h1>

  <div>

   <p class="textline" name="line1">

    老猿Python首行

   </p>

  </div>

  <div>

   <h2>

    老猿Python第二行

    <a href="https://blog.csdn.net/LaoYuanPython">

    </a>

   </h2>

   <h3>

    <b>

     老猿Python第三行

    </b>

    <a href="https://blog.csdn.net/LaoYuanPython">

    </a>

   </h3>

  </div>

 </body>

</html>

>>>

本节介绍了使用BeautifulSoup的安装、导入和创建对象的过程，并可以将对应html报文通过BeautifulSoup对象展示和格式化。后续《第14.9节 Python中使用urllib.request+BeautifulSoup获取url访问的基本信息》将介绍相关数据的基本使用方法。

老猿Python，跟老猿学Python!

博客地址：https://blog.csdn.net/LaoYuanPython

老猿Python博客文章目录：https://blog.csdn.net/LaoYuanPython/article/details/98245036

请大家多多支持，点赞、评论和加关注！谢谢！

第14.8节 Python中使用BeautifulSoup加载HTML报文的更多相关文章

  1. 第14.10节 Python中使用BeautifulSoup解析http报文：html标签相关属性的访问

    一. 引言 在<第14.8节 Python中使用BeautifulSoup加载HTML报文>中介绍使用BeautifulSoup的安装.导入和创建对象的过程,本节介绍导入后利用Beauti ...

  2. 第14.12节 Python中使用BeautifulSoup解析http报文：使用select方法快速定位内容

    一. 引言 在<第14.10节 Python中使用BeautifulSoup解析http报文:html标签相关属性的访问>和<第14.11节 Python中使用BeautifulSo ...

  3. 第14.11节 Python中使用BeautifulSoup解析http报文：使用查找方法快速定位内容

    一. 引言 在<第14.10节 Python中使用BeautifulSoup解析http报文:html标签相关属性的访问>介绍了BeautifulSoup对象的主要属性,通过这些属性可以访 ...

  4. 第14.9节 Python中使用urllib.request+BeautifulSoup获取url访问的基本信息

    利用urllib.request读取url文档的内容并使用BeautifulSoup解析后,可以通过一些基本的BeautifulSoup对象输出html文档的基本信息.以博文<第14.6节 使用 ...

  5. Python 中 unittest 框架加载测试用例的常用方法

    unittest 当中为我们提供了许多加载用例的方法,这里说下常用的两种方法...推荐使用第二种 第一种加载测试用例的方法:使用加载器加载两个模块 需要把所有的模块加载到套件中 那么就可以自动的运行所 ...

  6. 第7.22节 Python中使用super调用父类的方法

    第7.22节 Python中使用super调用父类的方法 前面章节很多地方都引入了super方法,这个方法就是访问超类这个类对象的.由于super方法的特殊性,本节单独谈一谈super方法. 一.su ...

  7. 第14.7节 Python模拟浏览器访问实现http报文体压缩传输

    一. 引言 在<第14.6节 Python模拟浏览器访问网页的实现代码>介绍了使用urllib包的request模块访问网页的方法.但上节特别说明http报文头Accept-Encodin ...

  8. 第7.19节 Python中的抽象类详解：abstractmethod、abc与真实子类

    第7.19节 Python中的抽象类详解:abstractmethod.abc与真实子类 一.    引言 前面相关的章节已经介绍过,Python中定义某种类型是以实现了该类型对应的协议为标准的,而不 ...

  9. 第7.15节 Python中classmethod定义的类方法详解

    第7.15节  Python中classmethod定义的类方法详解 类中的方法,除了实例方法外,还有两种方法,分别是类方法和静态方法.本节介绍类方法的定义和使用. 一.    类方法的定义 在类中定 ...

随机推荐

  1. Spark Standalone模式 高可用部署

      本文使用Spark的版本为:spark-2.4.0-bin-hadoop2.7.tgz. spark的集群采用3台机器进行搭建,机器分别是server01,server02,server03. 其 ...

  2. CC模型加载太慢？一招破解！

    伴随无人机性能的提升,单个项目涉及到的倾斜摄影数据范围不断扩大,模型的数据量越来越大,在同配置机器上的显示速度也相应的越来越慢,那么如何在不升级配置的情况下提升模型的加载速度呢? 01 百GB倾斜摄影 ...

  3. 14Flask重要知识

    一,李辉<Flask Web开发实战> 1,内网穿透 内网穿透工具可以快速让flask项目运行: 1,https://localtunnel.github.io/www/ 2,https: ...

  4. 强迫自己学习Jquery 最喜欢的hitch函数

    用过dojo的人都知道hitch. 通过绑定一个函数的上下文得到一个新函数,当然还能绑定参数 Jquery里没有这个功能,实在太不方便了. 这是我不喜欢用Jquery的第一原因,第二原因是Jquery ...

  5. nice-ni 耗光cpu

    可以看到 低优先级的进程 暂用了比较高的CPU时间. top 命令中可以看到 NI 为19, 其优先级最低 但是使用cpu 最高. 说明这个进程需要经行优化了, 通过gdb 发现此进程一直都在处理报文 ...

  6. 重看 mb volatile atomic

    在单处理器情况下,每条指令的执行都是原子性的,但在多处理器情况下,只有那些单独的读操作或写操作才是原子性的.为了弥补这一缺点,x86提供了附加的lock前缀,使带lock前缀的读修改写指令也能原子性执 ...

  7. KafkaProducer 发送消息流程

    Kafka 的 Producer 发送消息采用的是异步发送的方式.在消息发送的过程中,涉及到了 两个线程--main 线程和 Sender 线程,以及一个线程共享变量--RecordAccumulat ...

  8. linux 源码下载和在线查看网站

    下载: https://www.kernel.org/ 查看: https://elixir.bootlin.com/linux/

  9. 五：key关键字 string字符串 list列表 set集合 Zset有序集合

    key 1.keys 命令用于查找所有符合给定模式 pattern 的 key . keys *  查找所有的key返回一个列表 2.EXISTS xxx 检查是否有指定名字为xxx的key 有就返回 ...

  10. MiniCat:手写Http服务器

    minicat 项目介绍 已实现http基础协议.参数接受.servlet.filter.cookie.多文件上传等.支持NIO. 一款轻量化Http服务器.支持bio.nio两种模式.归属Coody ...