小白学 Python 爬虫（21）：解析库 Beautiful Soup（上）

Beautiful Soup 提供一些简单的、 Python 式的函数来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup 自动将输入文档转换为 Unicode 编码，输出文档转换为 UTF-8 编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时你仅仅需要说明一下原始编码方式就可以了。

Beautiful Soup 已成为和 lxml 、 html6lib 一样出色的 Python 解释器，为用户灵活地提供不同的解析策略或强劲的速度。

讲人话就是 Beautiful Soup 是一个非常好用、速度又快的 HTML 或 XML 的解析库。

Beautiful Soup 在解析时实际上依赖解析器，它除了支持Python标准库中的HTML解析器外，还支持一些第三方解析器。下表列出了主要的解析器,以及它们的优缺点（以下内容来自：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/# ）:

解析器	使用方法	优势	劣势
Python 标准库	`BeautifulSoup(markup, "html.parser")`	Python的内置标准库、执行速度适中、文档容错能力强	Python 2.7.3 or 3.2.2)前的版本中文档容错能力差
lxml HTML 解析器	`BeautifulSoup(markup, "lxml")`	速度快、文档容错能力强	需要安装C语言库
lxml XML 解析器	`BeautifulSoup(markup, ["lxml-xml"])` 、 `BeautifulSoup(markup, "xml")`	速度快、唯一支持XML的解析器	需要安装C语言库
html5lib	`BeautifulSoup(markup, "html5lib")`	最好的容错性、以浏览器的方式解析文档、生成HTML5格式的文档	速度慢、不依赖外部扩展

推荐使用 lxml 作为解析器，因为效率更高。在 Python2.7.3 之前的版本和 Python3 中 3.2.2 之前的版本，必须安装 lxml 或 html5lib ，因为那些 Python 版本的标准库中内置的 HTML 解析方法不够稳定。

提示: 如果一段 HTML 或 XML 文档格式不正确的话，那么在不同的解析器中返回的结果可能是不一样的，查看解析器之间的区别了解更多细节。

基本操作

爬取对象还是小编的个人博客（小编看着博客的流量在暗暗心痛）。最基本的，还是先打印首页的 HTML 源码，使用的类库为 Requests + bs4。

import requests

from bs4 import BeautifulSoup

response = requests.get('https://www.geekdigging.com/')

soup = BeautifulSoup(response.content, "html5lib")

print(soup.prettify())

结果就不贴了，太长，浪费大家翻页的时间。

首先先解释一下这里为什么选择了 html5lib 的解析器而不是 lxml 的解析器，因为经过小编测试 lxml 的解析器无法解析某些 HTML 标签，经过小编的测试，使用 Python 标准库或者 html5lib 解析器都无此问题，所以这里选择使用 Python 标准库。

上面这段代码主要是调用了 prettify() ，这个方法的主要作用是把要解析的字符串以标准的缩进格式输出。值得注意的是，这里的输出会自动更正 HTML 的格式，但是这一步并不是由 prettify() 这个方法来做的，而是在初始化 BeautifulSoup 时就完成了。

节点选择

我们使用 Beautiful Soup 的目的是什么？当然是要选择我们需要的节点，并从节点中提取出我们需要的数据。

Beautiful Soup 将复杂 HTML 文档转换成一个复杂的树形结构,每个节点都是 Python 对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment 。

我们直接调用节点的名称就可以选择节点元素，再调用 string 属性就可以得到节点内的文本了，这种选择方式速度非常快。

print(soup.title)

print(type(soup.title))

print(soup.title.string)

print(soup.a)

结果如下：

<title>极客挖掘机</title>

<class 'bs4.element.Tag'>

极客挖掘机

<a class="logo" href="/">

<img src="/favicon.jpg" style="margin-right: 10px;"/>极客挖掘机

</a>

可以看到，我们这里直接输出的 title 节点，它的类型是 bs4.element.Tag ，并且使用 string 属性，直接得到了该节点的内容。

这里我们打印了 a 节点，可以看到，只打印出来了第一个 a 节点，后面的节点并未打印，说明当有多个节点时，这种方式只能获得第一个节点。

获取名称

每个 tag 都有自己的名字，通过 .name 来获取：

tag = soup.section

print(tag.name)

结果如下：

section

获取属性

一个 tag 可能有很多个属性， tag 的属性的操作方法与字典相同：

print(tag['class'])

结果如下：

['content-wrap']

也可以直接”点”取属性, 比如: .attrs ：

print(tag.attrs)

结果如下：

{'class': ['content-wrap']}

获取内容

可以利用 string 属性获取节点元素包含的文本内容，比如要获取 title 标签的内容：

print(soup.title.string)

结果如下：

极客挖掘机

嵌套选择

在上面的示例中，我们的信息都是从通过 tag 的属性获得的，当然 tag 是可以继续嵌套的选择下去，比如我们刚才获取了第一个 a 标签，我们可以继续获取其中的 img 标签：

print(soup.a.img)

print(type(soup.a.img))

print(soup.a.img.attrs)

结果如下：

<img src="/favicon.jpg" style="margin-right: 10px;"/>

<class 'bs4.element.Tag'>

{'src': '/favicon.jpg', 'style': 'margin-right: 10px;'}

可以看到我们在 a 标签上继续选择的 img 标签，它的类型依然是 bs4.element.Tag ，并且我们成功的获取了 img 标签的属性值，也就是说，我们在 Tag 类型的基础上再次选择得到的依然还是 Tag 类型，所以这样就可以做嵌套选择了。

关联选择

在选择节点的时候，我们很少可以一步到位，直接选到所需要的节点，这就需要我们先选中其中的某一个节点，再已它为基准，再选择它的子节点、父节点或者兄弟节点。

子节点

获取子节点，我们可以选择使用 contents 属性，示例如下：

print(soup.article.contents)

结果太长了，小编就不贴了，这里输出了第一个 article 的所有节点，并且返回结果是列表形式。 article 节点里既包含文本，又包含节点，最后会将它们以列表形式统一返回。

这里需要注意的是，列表中的每个元素都是 article 的直接子节点，并没有将再下一级的元素列出来。而使用 children 也可以得到相同的效果。

for child in enumerate(soup.article.children):

    print(child)

结果得到的还是相同的的 HTML 文本，这里调用了 children 属性来选择，返回结果是生成器类型。

想要得到所有的孙子节点的话，可以使用 descendants ：

for i, child in enumerate(soup.article.descendants):

    print(i, child)

父节点

获取父节点可以使用 parent 属性，示例如下：

print(soup.title.parent)

结果有些长，就不贴了，各位同学可以自行尝试一下。

兄弟节点

想要获取兄弟节点可以使用属性 next_sibling 和 previous_sibling 。

print('next_sibling：', soup.title.next_sibling)

print('previous_sibling：', soup.title.previous_sibling)

print('next_siblings：', soup.title.next_siblings)

print('previous_siblings：', soup.title.previous_siblings)

结果如下：

next_sibling： 

previous_sibling： 

next_siblings： <generator object PageElement.next_siblings at 0x00000183342C5D48>

previous_siblings： <generator object PageElement.previous_siblings at 0x00000183342C5D48>

可以看到， next_sibling 和 previous_sibling 分别获取节点的下一个和上一个兄弟元素，在这里并没有获取到值，而是获取了很多的空行，这个是在初始化 BeautifulSoup 的时候初始化出来的，而 next_siblings 和 previous_siblings 则分别返回所有前面和后面的兄弟节点的生成器。

示例代码

本系列的所有代码小编都会放在代码管理仓库 Github 和 Gitee 上，方便大家取用。

示例代码-Github

示例代码-Gitee

参考

https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#