一、Beautiful Soup的简介

　　简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释：Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

#安装 Beautiful Soup

pip install beautifulsoup4

#安装解析器

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml .根据操作系统不同,可以选择下列方法来安装lxml:

$ apt-get install Python-lxml

$ easy_install lxml

$ pip install lxml

另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:

$ apt-get install Python-html5lib

$ easy_install html5lib

$ pip install html5lib

三、 Beautiful Soup的简单使用

'''

pip3 install beautifulsoup4  # 安装bs4

pip3 install lxml  # 下载lxml解析器

'''

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="sister"><b>$37</b></p>

<p class="story" id="p">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" >Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

# 从bs4中导入BeautifulSoup

from bs4 import BeautifulSoup

# 调用BeautifulSoup实例化得到一个soup对象

# 参数一: 解析文本

# 参数二:

# 参数二: 解析器（html.parser、lxml...）

soup = BeautifulSoup(html_doc, 'lxml')

print(soup)

print('*' * 100)

print(type(soup))

print('*' * 100)

# 文档美化

html = soup.prettify()

print(html)

四、 Beautiful Soup之遍历文档树

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="sister"><b>$37</b></p>

<p class="story" id="p">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" >Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc, 'lxml')

'''

遍历文档树：

    1、直接使用

    2、获取标签的名称

    3、获取标签的属性

    4、获取标签的内容

    5、嵌套选择

    6、子节点、子孙节点

    7、父节点、祖先节点

    8、兄弟节点

'''

# 1、直接使用

print(soup.p)  # 查找第一个p标签

print(soup.a)  # 查找第一个a标签

# 2、获取标签的名称

print(soup.head.name)  # 获取head标签的名称

# 3、获取标签的属性

print(soup.a.attrs)  # 获取a标签中的所有属性

print(soup.a.attrs['href'])  # 获取a标签中的href属性

# 4、获取标签的内容

print(soup.p.text)  # $37

# 5、嵌套选择

print(soup.html.head)

# 6、子节点、子孙节点

print(soup.body.children)  # body所有子节点，返回的是迭代器对象

print(list(soup.body.children))  # 强转成列表类型

print(soup.body.descendants)  # 子孙节点

print(list(soup.body.descendants))  # 子孙节点

#  7、父节点、祖先节点

print(soup.p.parent)  # 获取p标签的父亲节点

# 返回的是生成器对象

print(soup.p.parents)  # 获取p标签所有的祖先节点

print(list(soup.p.parents))

# 8、兄弟节点

# 找下一个兄弟

print(soup.p.next_sibling)

# 找下面所有的兄弟，返回的是生成器

print(soup.p.next_siblings)

print(list(soup.p.next_siblings))

# 找上一个兄弟

print(soup.a.previous_sibling)  # 找到第一个a标签的上一个兄弟节点

# 找到a标签上面的所有兄弟节点

print(soup.a.previous_siblings)  # 返回的是生成器

print(list(soup.a.previous_siblings))

四、 Beautiful Soup之搜索文档树

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="sister"><b>$37</b></p>

<p class="story" id="p">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" >Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

'''

搜索文档树:

    find()  找一个

    find_all()  找多个

标签查找与属性查找:

    标签:

            name 属性匹配

            attrs 属性查找匹配

            text 文本匹配

        - 字符串过滤器

            字符串全局匹配

        - 正则过滤器

            re模块匹配

        - 列表过滤器

            列表内的数据匹配

        - bool过滤器

            True匹配

        - 方法过滤器

            用于一些要的属性以及不需要的属性查找。

    属性:

        - class_

        - id

'''

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc, 'lxml')

# # 字符串过滤器

# name

p_tag = soup.find(name='p')

print(p_tag)  # 根据文本p查找某个标签

# # 找到所有标签名为p的节点

tag_s1 = soup.find_all(name='p')

print(tag_s1)

#

#

# # attrs

# # 查找第一个class为sister的节点

p = soup.find(attrs={"class": "sister"})

# print(p)

# # 查找所有class为sister的节点

tag_s2 = soup.find_all(attrs={"class": "sister"})

print(tag_s2)

# text

text = soup.find(text="$37")

print(text)

#

#

# # 配合使用:

# # 找到一个id为link2、文本为Lacie的a标签

a_tag = soup.find(name="a", attrs={"id": "link2"}, text="Lacie")

print(a_tag)

# # 正则过滤器

import re

# name

p_tag = soup.find(name=re.compile('p'))

print(p_tag)

# 列表过滤器

import re

# name

tags = soup.find_all(name=['p', 'a', re.compile('html')])

print(tags)

# - bool过滤器

# True匹配

# 找到有id的p标签

p = soup.find(name='p', attrs={"id": True})

print(p)

# 方法过滤器

# 匹配标签名为a、属性有id没有class的标签

def have_id_class(tag):

    if tag.name == 'a' and tag.has_attr('id') and tag.has_attr('class'):

        return tag

tag = soup.find(name=have_id_class)

print(tag)

python爬虫之beautifulsoup的使用的更多相关文章

  1. 使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解（新手必学）

    为大家介绍下Python爬虫库BeautifulSoup遍历文档树并对标签进行操作的详细方法与函数下面就是使用Python爬虫库BeautifulSoup对文档树进行遍历并对标签进行操作的实例,都是最 ...

  2. Python爬虫——用BeautifulSoup、python-docx爬取廖雪峰大大的教程为word文档

    版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 廖雪峰大大贡献的教程写的不错,写了个爬虫把教程保存为word文件,供大家方便下载学习:http://p ...

  3. 【Python爬虫】BeautifulSoup网页解析库

    BeautifulSoup 网页解析库 阅读目录 初识Beautiful Soup Beautiful Soup库的4种解析器 Beautiful Soup类的基本元素 基本使用 标签选择器 节点操作 ...

  4. Python爬虫之BeautifulSoup的用法

    之前看静觅博客,关于BeautifulSoup的用法不太熟练,所以趁机在网上搜索相关的视频,其中一个讲的还是挺清楚的:python爬虫小白入门之BeautifulSoup库,有空做了一下笔记: 一.爬 ...

  5. Python爬虫系列-BeautifulSoup详解

    安装 pip3 install beautifulsoup4 解析库 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup,'html,parser') Pyth ...

  6. Python爬虫之Beautifulsoup模块的使用

    一 Beautifulsoup模块介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Be ...

  7. Python 爬虫—— requests BeautifulSoup

    本文记录下用来爬虫主要使用的两个库.第一个是requests,用这个库能很方便的下载网页,不用标准库里面各种urllib:第二个BeautifulSoup用来解析网页,不然自己用正则的话很烦. req ...

  8. 通过哪吒动漫豆瓣影评，带你分析python爬虫与BeautifulSoup快速入门【华为云技术分享】

    久旱逢甘霖 西安连着几天温度排行全国三甲,也许是<哪吒之魔童降世>的剧组买通了老天,从踩着风火轮的小朋友首映开始,就全国性的持续高温,还好今天凌晨的一场暴雨,算是将大家从中暑边缘拯救回来了 ...

  9. python爬虫之BeautifulSoup

    爬虫有时候写正则表达式会有假死现象 就是正则表达式一直在进行死循环查找 例如:https://social.msdn.microsoft.com/forums/azure/en-us/3f4390ac ...

  10. python爬虫入门--beautifulsoup

    1,beautifulsoup的中文文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ 2, from bs4 import Be ...

随机推荐

  1. 苹果又要召回iPhone 7！这到底是要闹哪样？

    7!这到底是要闹哪样?" title="苹果又要召回iPhone 7!这到底是要闹哪样?"> 现在的苹果虽然刚刚收获了史上最赚钱的一个季度--营收和利润均创下史上最 ...

  2. 一月七笔千万美元投资！国内VR行业在刮什么风？

    虽然直到现在仍然没有一款真正能够彻底普及并改变大众操控方式的虚拟现实设备出现,但其已经被认定是未来人类社会中不可或缺的重要组成部分和工作.生活.娱乐.休闲载体.而虚拟现实设备.内容在今年年初CES展会 ...

  3. 想清楚再入！VR硬件创业能“要你命”

    每一次跨时代新产品的出现,总会让科技行业疯狂一阵儿,十年前是智能手机,今天自然是VR.自2015年开始,VR火的越来越让人欣喜,让人兴奋,更让人越来越看不清,越来越害怕.数不清的大小品牌义无反顾的杀入 ...

  4. PS4游戏将登陆PC：一曲属于主机的悲歌

    ​​ ​ 曾经,红白机.PS游戏机等成为一代人难以磨灭的记忆.而随后的索尼PS3.微软Xbox 360.任天堂Wii U等,也称霸了次时代主机时代,成为家庭娱乐的中心.但面对着依托于PC和智能移动终端 ...

  5. C++扬帆远航——1

    问题及代码: /* * Copyright (c) 2016,烟台大学计算机与控制工程学院 * All rights reserved. * 文件名:test.cpp * 作者:常轩 * 完成日期:2 ...

  6. Mac开发环境部署

    1. 安装 Xcode command line tools xcode-select --install 2. 安装 Homebrew 安装 Homebrew 之前,必须先安装 Xcode Comm ...

  7. java8新特性——stream笔记

    stream对象 Stream IntStream LongStream DoubleStream 创建 常用的三种方式: 使用list对象: list.stream() − 为集合创建串行流. li ...

  8. CSS中"position:relative"属性与文档流的关系

    前言 近期遇到一个问题--"position:relative"到底会不会导致元素脱离文档流?主流观点是不会,但都给不出一个有说服力的论据.最后我自己佐证了一番,总算有了个结果:& ...

  9. 使用HBuilder开发移动APP：ajax调用接口数据

    既然要做APP,与接口交互式少不了的,除非只是想做一个纯静态的APP.所以html5+的环境准备好后,我最先开始研究的就是如何与接口交互. 使用HBuilder新建示例教程后,里面会有一个ajax(网 ...

  10. 【5min+】AspNet Core中的全局异常处理

    系列介绍 [五分钟的dotnet]是一个利用您的碎片化时间来学习和丰富.net知识的博文系列.它所包含了.net体系中可能会涉及到的方方面面,比如C#的小细节,AspnetCore,微服务中的.net ...