官网：https://www.crummy.com/software/BeautifulSoup/bs4/doc/

　　参考：https://www.cnblogs.com/yupeng/p/3362031.html

　　

　　什么是BeautifulSoup？

　　　　BeautifulSoup是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。

　　下面通过一个测试例子简单说明下BeautifulSoup的用法

　　

from bs4 import BeautifulSoup
def beautifulSoup_test(self):

        html_doc = """

        <html><head><title>The Dormouse's story</title></head>

        <body>

        <p class="title"><b>The Dormouse's story</b></p>

        <p class="story">Once upon a time there were three little sisters; and their names were

        <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

        <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

        <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

        <div  class="text" id="div1">测试</div>

        and they lived at the bottom of a well.</p>

        <p class="story">...</p>

        """

        # soup 就是BeautifulSoup处理格式化后的字符串

        soup = BeautifulSoup(html_doc,'lxml')

        # 得到的是title标签

        print(soup.title)

        # 输出：<title>The Dormouse's story</title>

        # 得到的是文档中的第一个p标签，要想得到所有标签，得用find_all函数。

        # find_all 函数返回的是一个序列，可以对它进行循环，依次得到想到的东西.

        print(soup.p)

        print(soup.find_all('p'))

        print(soup.find(id='link3'))

        # 是返回文本,这个对每一个BeautifulSoup处理后的对象得到的标签都是生效的

        print(soup.get_text())

        aitems = soup.find_all('a')

        # 获取标签a的链接和id

        for item in aitems:

            print(item["href"],item["id"])

        # 1、通过css查找

        print(soup.find_all("a", class_="sister"))

        # 输出：[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,

        # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,

        # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

        print(soup.select("p.title"))

        # 输出：[<p class="title"><b>The Dormouse's story</b></p>]

        # 2、通过属性进行查找

        print(soup.find_all("a", attrs={"class": "sister"}))

        #输出：[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,

        # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,

        # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

        # 3、通过文本进行查找

        print(soup.find_all(text="Elsie"))

        # 输出：['Elsie']

        print(soup.find_all(text=["Tillie", "Elsie", "Lacie"]))

        # 输出：['Elsie', 'Lacie', 'Tillie']

        # 4、限制结果个数

        print(soup.find_all("a", limit=2))

        #输出：[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,

        # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

        print(soup.find_all(id="link2"))

        # [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

        print(soup.find_all(id=True))

        #输出：[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,

        # 输出：<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,

        # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>,

        # <div class="text" id="div1">测试</div>]

python BeautifulSoup的简单使用的更多相关文章

  1. Python BeautifulSoup 简单笔记

    Beautiful Soup 是用 Python 写的一个 HTML/XML 的解析器,它可以很好的处理不规范标记并生成剖析树.通常用来分析爬虫抓取的web文档.对于 不规则的 Html文档,也有很多 ...

  2. 爬虫基础库之beautifulsoup的简单使用

    beautifulsoup的简单使用 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: ''' Beautiful Soup提供一些简单的.p ...

  3. python BeautifulSoup的使用方法

    BeautifulSoup的使用 我们学习了正则表达式的相关用法,但是一旦正则写的有问题,可能得到的就不是我们想要的结果了,而且对于一个网页来说,都有一定的特殊的结构和层级关系,而且很多标签都有id或 ...

  4. 用Python写一个简单的Web框架

    一.概述 二.从demo_app开始 三.WSGI中的application 四.区分URL 五.重构 1.正则匹配URL 2.DRY 3.抽象出框架 六.参考 一.概述 在Python中,WSGI( ...

  5. 【转】Python BeautifulSoup 中文乱码解决方法

    这篇文章主要介绍了Python BeautifulSoup中文乱码问题的2种解决方法,需要的朋友可以参考下 解决方法一: 使用python的BeautifulSoup来抓取网页然后输出网页标题,但是输 ...

  6. Python django实现简单的邮件系统发送邮件功能

    Python django实现简单的邮件系统发送邮件功能 本文实例讲述了Python django实现简单的邮件系统发送邮件功能. django邮件系统 Django发送邮件官方中文文档 总结如下: ...

  7. python shutil模块简单介绍

    python shutil模块简单介绍 简介 shutil模块提供了大量的文件的高级操作.特别针对文件拷贝和删除,主要功能为目录和文件操作以及压缩操作. shutil 模块方法: copy(src, ...

  8. python之pandas简单介绍及使用（一）

    python之pandas简单介绍及使用(一) 一. Pandas简介1.Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据 ...

  9. python之simplejson，Python版的简单、 快速、 可扩展 JSON 编码器/解码器

    python之simplejson,Python版的简单. 快速. 可扩展 JSON 编码器/解码器 simplejson Python版的简单. 快速. 可扩展 JSON 编码器/解码器 编码基本的 ...

随机推荐

  1. Vue.js学习笔记之修饰符详解

    本篇将简单介绍常用的修饰符. 在上一篇中,介绍了 v-model 和 v-on 简单用法.除了常规用法,这些指令也支持特殊方式绑定方法,以修饰符的方式实现.通常都是在指令后面用小数点“.”连接修饰符名 ...

  2. laravel 同数据表字段比较查询和状态不正规排序

    今天写群组推荐接口,要求未满的群 ( 群最大人数字段maxusers, 群人数字段affiliations_count 都在群组表中),官方,热门(普通群0 ,官方1,热门2 ) 排序的群 同表字段比 ...

  3. python3 + selenium 之警告和弹窗

    获取警告框信息 texts = driver.switch_to_alert().text #获取警告文本 print(texts)#得到弹窗的文本消息,比如得到:请输入用户名! 使用switch_t ...

  4. 内联外联CSS和JS

    内联CSS 代码示例: <p style="color:red;font-size:18px">这里文字是红色.</p> 内联CSS也可称为行内CSS或者行 ...

  5. java中final,finally,finalize三个关键字的区别

    final 可以作为修饰符修饰变量.方法和类. 被final修饰的变量必须在初始化时给定初值,以后在使用时只能被引用而不能被修改. 被final修饰的方法不能够在子类中被重写(override): 被 ...

  6. CentOS 7命令行安装GNOME、KDE图形界面

    https://www.linuxidc.com/Linux/2018-04/152000.htm

  7. sdoi<序列计数>

    链接:https://www.luogu.org/problemnew/show/P3702 题解: 碰到计数题都要想想容斥 就跟碰到最大值最小要想想二分一样 考虑没有一个数是质数 那就确定了每一个数 ...

  8. day15--JavaScript

        上节作业回顾 <style></style>代表的是CSS样式 <script></script>代表的是JavaScript样式     1. ...

  9. C# 使用委托实现多线程调用窗体的四种方式

    1.方法一:使用线程 功能描述:在用c#做WinFrom开发的过程中.我们经常需要用到进度条(ProgressBar)用于显示进度信息.这时候我们可能就需要用到多线程,如果不采用多线程控制进度条,窗口 ...

  10. kuangbin 区间dp

    A - Cake 题目大意:给你一个n个顶点(n<=100)的多边形和每两个点连边的消耗,让你求把这个多边形全部切成三角形所需要的最小消耗,如果这个多边形为凹多边形则输出无解. 思路:先求一个凸 ...