BeautifulSoup简介

　　我们知道，Python拥有出色的内置HTML解析器模块——HTMLParser，然而还有一个功能更为强大的HTML或XML解析工具——BeautifulSoup（美味的汤），它是一个第三方库。简单来说，BeautifulSoup最主要的功能是从网页抓取数据。本文我们来感受一下BeautifulSoup的优雅而强大的功能吧！

BeautifulSoup安装

　　BeautifulSoup3 目前已经停止开发，推荐在现在的项目中使用BeautifulSoup4，不过它已经被移植到bs4了，也就是说导入时我们需要 import bs4 。可以利用 pip 或者 easy_install 两种方法来安装。下面采用pip安装。

　　pip install beautifulsoup4

　　pip install lxml

　　建议同时安装"lxml"模块，BeautifulSoup支持Python标准库中的HTML解析器（HTMLParser），还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐安装。

创建对象

　　安装后，创建对象：soup = BeautifulSoup(markup='html文件', 'lxml')

　　格式化输出：soup.prettify()

BeautifulSoup四大对象类型

　　BeautifulSoup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种：

  • BeautifulSoup（文档）
  • Tag（标签）
  • NavigableString（内容）
  • Comment（注释）

1.BeautifulSoup类型（文档）

　　BeautifulSoup对象表示的是一个文档的全部内容：

print soup.name

# [document]

2.Tag类型（标签）

　　即HTML的整个标签，如获取<title>标签：

print soup.title

#<title>The Dormouse's story</title>

　　Tag有两个重要属性：name，attrs。

name

　　即HTML的标签名称：

print soup.name

#[document]

print soup.head.name

#head

attrs

　　即HTML的标签属性字典：

print soup.p.attrs

#{'class': ['title'], 'name': 'dromouse'}

　　如果想要单独获取某个属性：

print soup.p['class']

#['title']

3.NavigableString类型（内容）

　　既然我们已经得到了整个标签，那么问题来了，我们要想获取标签内部的文字内容怎么办呢？很简单，用 string 即可：

print soup.p.string

#The Dormouse's story

4.Comment类型（注释）

　　HTML的注释内容，注意的是，不包含注释符号。我们首先判断它的类型，是否为 Comment 类型，然后再进行其他操作，如打印输出：

if type(soup.a.string)==bs4.element.Comment:

    print soup.a.string

#<!-- Elsie -->

遍历文档树

1.子节点

contents

　　获取所有子节点，返回列表：

print soup.head.contents

#[<title>The Dormouse's story</title>]

children

　　获取所有子节点，返回列表生成器：

print soup.head.children

#<listiterator object at 0x7f71457f5710>

## 需要遍历

for child in  soup.body.children:

    print child

## 结果

<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>,

<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and

<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

2.节点内容

string

　　返回单个文本内容。如果一个标签里面没有标签了，那么 string 就会返回标签里面的内容。如果标签里面只有唯一的一个标签了，那么 string 也会返回最里面的内容。如果tag包含了多个子节点,tag就无法确定，string 方法应该调用哪个子节点的内容，string 的输出结果是 None。例如：

print soup.head.string

print soup.title.string

#The Dormouse's story

#The Dormouse's story

print soup.html.string
# None

strings

　　返回多个文本内容，且包含空行和空格。

stripped_strings

　　返回多个文本内容，且不包含空行和空格：

for string in soup.stripped_strings:

    print(repr(string))

    # u"The Dormouse's story"

    # u"The Dormouse's story"

    # u'Once upon a time there were three little sisters; and their names were'

    # u'Elsie'

    # u','

    # u'Lacie'

    # u'and'

    # u'Tillie'

    # u';\nand they lived at the bottom of a well.'

    # u'...'

get_text()方法

　　返回当前节点和子节点的文本内容。

from bs4 import BeautifulSoup

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

    <p class="title"><b>The Dormouse's story</b></p>

    <p class="story">Once upon a time there were three little sisters; and their names were

        <a href="http://example.com/elsie" class="sister1" id="link1">Elsie</a>,

        <a href="http://example.com/lacie" class="sister2" id="link2">Lacie</a> and

        <a href="http://example.com/tillie" class="sister3" id="link3">Tillie</a>;

        and they lived at the bottom of a well.

    </p>

    <p class="story">...</p>

</body>

</html>

"""

soup = BeautifulSoup(markup=html_doc,features='lxml')

node_p_text=soup.find('p',class_='story').get_text()　　　　# 注意class_带下划线

print(node_p_text)

# 结果

Once upon a time there were three little sisters; and their names were

        Elsie,

        Lacie and

        Tillie;

        and they lived at the bottom of a well.

3.父节点

parent

　　返回某节点的直接父节点：

p = soup.p

print p.parent.name

#body

parents

　　返回某节点的所有父辈及以上辈的节点：

content = soup.head.title.string

for parent in  content.parents:

    print parent.name

## 结果

title

head

html

[document]

4.兄弟节点

next_sibling

　　next_sibling 属性获取该节点的下一个兄弟节点，结果通常是字符串或空白，因为空白或者换行也可以被视作一个节点。

previous_sibling

　　previous_sibling 属性获取该节点的上一个兄弟节点。

print soup.p.next_sibling

#       实际该处为空白

print soup.p.prev_sibling

#None   没有前一个兄弟节点，返回 None

print soup.p.next_sibling.next_sibling

#<p class="story">Once upon a time there were three little sisters; and their names were

#<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>,

#<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and

#<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;

#and they lived at the bottom of a well.</p>

#下一个节点的下一个兄弟节点是我们可以看到的节点

next_siblings、previous_siblings

　　迭代获取全部兄弟节点。

5.前后节点

next_element、previous_element

　　不是针对于兄弟节点，而是在于所有节点，不分层次的前一个和后一个节点。

next_elements、previous_elements

　　迭代获取所有前和后节点。

搜索文档树

1.find_all(name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)

　　find_all()方法搜索当前tag的所有tag子节点，并判断是否符合过滤器的条件。

参数说明

name参数

　　name参数很强大，可以传多种方式的参数，查找所有名字为 name 的tag，字符串对象会被自动忽略掉。

（a）传标签名

　　最简单的过滤器是标签名。在搜索方法中传入一个标签名参数，BeautifulSoup会查找与标签名完整匹配的内容，下面的例子用于查找文档中所有的<a>标签：

print soup.find_all('a')

#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

　　返回结果列表中的元素仍然是BeautifulSoup对象。

（b）传正则表达式

　　如果传入正则表达式作为参数，BeautifulSoup会通过正则表达式的 match() 来匹配内容。下面例子中找出所有以b开头的标签,这表示<body>和<b>标签都应该被找到：

import re

for tag in soup.find_all(re.compile("^b")):

    print(tag.name)

# body

# b

（c）传列表

　　如果传入列表参数，BeautifulSoup会将与列表中任一元素匹配的内容返回。下面代码找到文档中所有<a>标签和<b>标签：

soup.find_all(["a", "b"])

# [<b>The Dormouse's story</b>,

#  <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,

#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,

#  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

（d）传True

　　True 可以匹配任何值，下面代码查找到所有的tag，但是不会返回字符串节点：

for tag in soup.find_all(True):

    print(tag.name)

# html

# head

# title

# body

# p

# b

# p

# a

# a

（e）传函数

　　如果没有合适过滤器，那么还可以定义一个方法，方法只接受一个元素参数。如果这个方法返回 True 表示当前元素匹配并且被找到，如果不是则反回 False：

def has_class_but_no_id(tag):

    return tag.has_attr('class') and not tag.has_attr('id')

soup.find_all(has_class_but_no_id)

# [<p class="title"><b>The Dormouse's story</b></p>,

#  <p class="story">Once upon a time there were...</p>,

#  <p class="story">...</p>]

keyword参数

　　注意的是，如果一个指定名字的参数不是搜索内置的参数名，搜索时会把该参数当作指定名字tag的属性来搜索，如果包含一个名字为 id 的参数,BeautifulSoup会搜索每个tag的”id”属性：

soup.find_all(id='link2')

# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

　　如果传入 href 参数，Beautiful Soup会搜索每个tag的"href"属性：

soup.find_all(href=re.compile("elsie"))

# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

　　使用多个指定名字的参数可以同时过滤tag的多个属性:

soup.find_all(href=re.compile("elsie"), id='link1')

# [<a class="sister" href="http://example.com/elsie" id="link1">three</a>]

　　在这里我们想用 class 过滤，不过 class 是 python 的关键词，这怎么办？加个下划线就可以：

soup.find_all("a", class_="sister")

# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,

#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,

#  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

attrs参数

　　有些tag属性在搜索不能使用,比如HTML5中的 " data-* " 自定义属性：

data_soup = BeautifulSoup('<div data-foo="value">foo!</div>')

data_soup.find_all(data-foo="value")

# SyntaxError: keyword can't be an expression

## 但是可以通过 find_all() 方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的tag

data_soup.find_all(attrs={"data-foo": "value"})

# [<div data-foo="value">foo!</div>]

text参数

　　通过 text 参数可以搜搜文档中的字符串内容。与 name 参数的可选值一样，text 参数接受字符串 、正则表达式 、列表、True。

soup.find_all(text="Elsie")

# [u'Elsie']

soup.find_all(text=["Tillie", "Elsie", "Lacie"])

# [u'Elsie', u'Lacie', u'Tillie']

soup.find_all(text=re.compile("Dormouse"))　　# 模糊查找

[u"The Dormouse's story", u"The Dormouse's story"]

limit参数

　　find_all() 方法返回全部的搜索结构，如果文档树很大那么搜索会很慢。如果我们不需要全部结果，可以使用 limit 参数限制返回结果的数量。效果与SQL中的limit关键字类似，当搜索到的结果数量达到 limit 的限制时，就停止搜索返回结果。

soup.find_all("a", limit=2)

# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,

#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

recursive参数

　　调用tag的 find_all() 方法时，BeautifulSoup会检索当前tag的所有子孙节点，如果只想搜索tag的直接子节点，可以使用参数 recursive=False。

soup.html.find_all("title")

# [<title>The Dormouse's story</title>]

soup.html.find_all("title", recursive=False)

# []

2.find( name , attrs , recursive , text , **kwargs )

　　它与 find_all() 方法唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表，而 find() 方法直接返回结果。

3.find_parents() 和 find_parent()

　　find_all() 和 find() 只搜索当前节点的所有子节点，孙子节点等。find_parents() 和 find_parent() 用来搜索当前节点的父辈节点，搜索方法与普通tag的搜索方法相同，搜索文档搜索文档包含的内容。

4.find_next_siblings() 和 find_next_sibling()　　

　　这2个方法通过 .next_siblings 属性对当 tag 的所有后面解析的兄弟 tag 节点进行迭代， find_next_siblings() 方法返回所有符合条件的后面的兄弟节点，find_next_sibling() 只返回符合条件的后面的第一个tag节点。

5.find_previous_siblings() 和 find_previous_sibling()

　　这2个方法通过 .previous_siblings 属性对当前 tag 的前面解析的兄弟 tag 节点进行迭代， find_previous_siblings() 方法返回所有符合条件的前面的兄弟节点，find_previous_sibling() 方法返回第一个符合条件的前面的兄弟节点。

6.find_all_next() 和 find_next()

　　这2个方法通过 .next_elements 属性对当前 tag 的之后的 tag 和字符串进行迭代， find_all_next() 方法返回所有符合条件的节点， find_next() 方法返回第一个符合条件的节点。

7.find_all_previous() 和 find_previous()

　　这2个方法通过 .previous_elements 属性对当前节点前面的 tag 和字符串进行迭代，find_all_previous() 方法返回所有符合条件的节点， find_previous()方法返回第一个符合条件的节点。

CSS选择器

　　我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list。

通过标签名查找

print soup.select('title')

#[<title>The Dormouse's story</title>]

print soup.select('a')

#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

print soup.select('b')

#[<b>The Dormouse's story</b>]

通过类名查找

print soup.select('.sister')

#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

通过 id 名查找

print soup.select('#link1')

#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

组合查找

　　组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开。

print soup.select('p #link1')

#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

　　直接子标签查找：

print soup.select("head > title")

#[<title>The Dormouse's story</title>]

属性查找

　　查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。

print soup.select('a[class="sister"]')

#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

print soup.select('a[href="http://example.com/elsie"]')

#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

　　同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格：

print soup.select('p a[href="http://example.com/elsie"]')

#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

　　以上的 select 方法返回的结果都是列表形式，可以遍历形式输出，然后用 string或get_text() 方法来获取它的内容：

soup = BeautifulSoup(html, 'lxml')

print type(soup.select('title'))

print soup.select('title')[0].get_text()

for title in soup.select('title'):

    print title.get_text()

　　

　　至此，转载请注明出处。

Python HTML解析器BeautifulSoup(爬虫解析器)的更多相关文章

  1. Python学习 － 使用BeautifulSoup来解析网页一：基础入门

    写技术博客主要就是总结和交流的,如果文章用错,请指正啊! 以前一直在使用SGMLParser,这个太费时间和精力了,现在为了毕业设计,改用BeautifulSoup来实现HTML页面的解析工作的. 一 ...

  2. 【Python实例二】BeautifulSoup爬虫简单实践

    前言 前面安装了BeautifulSoup库,现在就来实现一下吧. 目录 一.Urllib库的使用 二.BeautifulSoup的使用 三. 一个示例 ----------------------- ...

  3. python3 爬虫五大模块之一：爬虫调度器

    Python的爬虫框架主要可以分为以下五个部分: 爬虫调度器:用于各个模块之间的通信,可以理解为爬虫的入口与核心(main函数),爬虫的执行策略在此模块进行定义: URL管理器:负责URL的管理,包括 ...

  4. python爬虫主要就是五个模块：爬虫启动入口模块，URL管理器存放已经爬虫的URL和待爬虫URL列表，html下载器，html解析器，html输出器 同时可以掌握到urllib2的使用、bs4（BeautifulSoup）页面解析器、re正则表达式、urlparse、python基础知识回顾（set集合操作）等相关内容。

    本次python爬虫百步百科,里面详细分析了爬虫的步骤,对每一步代码都有详细的注释说明,可通过本案例掌握python爬虫的特点: 1.爬虫调度入口(crawler_main.py) # coding: ...

  5. 【Python爬虫】BeautifulSoup网页解析库

    BeautifulSoup 网页解析库 阅读目录 初识Beautiful Soup Beautiful Soup库的4种解析器 Beautiful Soup类的基本元素 基本使用 标签选择器 节点操作 ...

  6. python爬虫解析库之Beautifulsoup模块

      一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会 ...

  7. Xpath re bs4 等爬虫解析器的性能比较

    xpath re bs4 等爬虫解析器的性能比较 本文原始地址:https://sitoi.cn/posts/23470.html 思路 测试网站地址:http://baijiahao.baidu.c ...

  8. 爬虫Scrapy框架-Crawlspider链接提取器与规则解析器

    Crawlspider 一:Crawlspider简介 CrawlSpider其实是Spider的一个子类,除了继承到Spider的特性和功能外,还派生除了其自己独有的更加强大的特性和功能.其中最显著 ...

  9. HTML解析器BeautifulSoup

    BeautifulSoup是Python的一个库,可解析用urllib2抓取下来的HTML 1.Beautiful Soup 安装 可以利用 pip 来安装,在Python程序中导入 pip inst ...

随机推荐

  1. [Swift]LeetCode142. 环形链表 II | Linked List Cycle II

    Given a linked list, return the node where the cycle begins. If there is no cycle, return null. Note ...

  2. 互联网最新kafka技术面试题含答案

    1.Kafka 的设计时什么样的呢? Kafka 将消息以 topic 为单位进行归纳 将向 Kafka topic 发布消息的程序成为 producers. 将预订 topics 并消费消息的程序成 ...

  3. JavaScript02-js使用

    JS的用法有两种: 第一种是在html页面通过引入外部js文件,第二种是直接将js代码写在html中.小例如下: 第一种 <script type="text/javascript&q ...

  4. ASP.NET Core 2.1 Web API + Identity Server 4 + Angular 6 + Angular Material 实战小项目视频

    视频简介 ASP.NET Core Web API + Angular 6的教学视频 我是后端开发人员, 前端的Angular部分讲的比较差一些, 可以直接看代码!!!! 这是一个小项目的实战视频, ...

  5. AutoFac - 将 autofac 应用于MVC多层项目

    一.前言 AutoFac是.NET平台下的一款著名的IoC Container,它可以让我们很轻松的解除项目中服务类的接口与客户类的接口实现类之间的依赖关系,从而降低系统各模块之间耦合程度以提高系统的 ...

  6. python中的None

    python中的None python中的None就相较于Java中的Null.python中就没有所谓的NULL.网络上很多的时候说的"python的Null"这个说法本身就是不 ...

  7. Java 多线程（四）—— 单例模式

    这篇博客介绍线程安全的应用——单例模式. 单例模式 单例模式,是一种常用的软件设计模式.在它的核心结构中只包含一个被称为单例的特殊类.通过单例模式可以保证系统中,应用该模式的类一个类只有一个实例.即一 ...

  8. .NET Core中的CSV解析库

    感谢 本篇首先特别感谢从此启程兄的<.NetCore外国一些高质量博客分享>, 发现很多国外的.NET Core技术博客资源, 我会不定期从中选择一些有意思的文章翻译总结一下. .NET ...

  9. JAVA集合类兄妹List和Set

    List 接口及其实现类 有序集合,集合中每个元素都有其对应的顺序索引,类似数组,索引也是从 0 开始,可以根据元素的索引,来访问元素. List 集合允许添加相同的元素,因为它是通过下标来取值的,不 ...

  10. MongoDB的安全写入GetLastError

    这次聊聊业务中经常出现的重试现象,可能很多运维都被开发莫名其妙的艾特然后让查一查业务中出现失败的情况,很不巧刚接手MongoDB的运维就碰到了一个案例. 前段时间与业务开发讨论过某业务服务的超时重试问 ...