BeautifulSoup是处理爬虫的一个强大工具，在HTML页面中，是由各种标签构成的，BeautifulSoup的功能就是从标签下手的，它是解析、遍历、维护“标签树”的功能库。

BeautifulSoup的基本元素如下：

1. 基本格式如下：

 from bs4 import BeautifulSoup

 import requests

 url = "http://python123.io/ws/demo.html"

 r = requests.get(url)

 demo = r.text

 soup = BeautifulSoup(demo, "html.parser")  #将爬到的内容进行解析，demo就是内容，"html.parser"是解析器，按照html格式来进行解析

 print(soup.prettify())  #输出解析得到的内容

解析效果如下：

2. 具体使用方法如下：

 >>> from bs4 import BeautifulSoup

 >>> import requests

 >>> url = "http://python123.io/ws/demo.html"

 >>> r = requests.get(url)

 >>> demo = r.text

 >>> soup = BeautifulSoup(demo, "html.parser")

 >>> soup.title  #显示标题

 <title>This is a python demo page</title>

 >>> soup.a  #显示a标签内容

 <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>

 >>> soup.a.name  #显示a标签名字

 'a'

 >>> soup.a.parent.name  #显示a标签父标签名字

 'p'

 >>> soup.a.parent.parent.name  #显示a标签父标签的父标签名字

 'body'

 >>> soup.a.attrs  #获得a标签的属性

 {'href': 'http://www.icourse163.org/course/BIT-268001', 'class': ['py1'], 'id': 'link1'}

 >>> soup.a.attrs["class"]  #因为是字典，所以这里用字典形式可以获得各个属性的值

 ['py1']

 >>> type(soup.a.attrs)

 <class 'dict'>   #字典类型

 >>> soup.a.string  #获得a标签中的字符内容

 'Basic Python'

 >>> soup   #soup内容如下

 <html><head><title>This is a python demo page</title></head>

 <body>

 <p class="title"><b>The demo python introduces several python courses.</b></p>

 <p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

 <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>

 </body></html>

 >>>

3. 标签树的下行遍历

 >>> soup.head  #获取soup的head

 <head><title>This is a python demo page</title></head>

 >>> soup.head.contents  #获取head的儿子结点

 [<title>This is a python demo page</title>]

 >>> soup.body.contents  #获取body的儿子结点

 ['\n', <p class="title"><b>The demo python introduces several python courses.</b></p>, '\n', <p 

 class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to 

 professional by tracking the following courses:<a class="py1" href="http://www.icourse163.org/course/BIT-268001" 

 id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" 

 id="link2">Advanced Python</a>.</p>, '\n']

 >>>

 >>> len(soup.body.contents)  #获取儿子结点的个数

 5

 >>>

4. 标签树的上行遍历

5. 标签树的平行遍历

平行遍历发生在同一个父节点下的各节点间。

6. find_all()方法

soup内容如下：

1、查找soup中所有的a标签：

、

2、同时查找soup中所有的a标签和b标签

3、recursive参数对子孙全部检索

4、正则表示式查找 b 开头的标签

4、用name和attrs两个参数查找含有指定字符串的标签

5、string参数检索指定字符串

爬虫系列之BeautifulSoup的更多相关文章

  1. python3爬虫系列19之反爬随机 User-Agent 和 ip代理池的使用

    站长资讯平台:python3爬虫系列19之随机User-Agent 和ip代理池的使用我们前面几篇讲了爬虫增速多进程,进程池的用法之类的,爬虫速度加快呢,也会带来一些坏事. 1. 前言比如随着我们爬虫 ...

  2. Python爬虫系列（七）：提高解析效率

    如果仅仅因为想要查找文档中的<a>标签而将整片文档进行解析,实在是浪费内存和时间.最快的方法是从一开始就把<a>标签以外的东西都忽略掉. SoupStrainer 类可以定义文 ...

  3. 爬虫系列：连接网站与解析 HTML

    这篇文章是爬虫系列第三期,讲解使用 Python 连接到网站,并使用 BeautifulSoup 解析 HTML 页面. 在 Python 中我们使用 requests 库来访问目标网站,使用 Bea ...

  4. 【爬虫入门手记03】爬虫解析利器beautifulSoup模块的基本应用

    [爬虫入门手记03]爬虫解析利器beautifulSoup模块的基本应用 1.引言 网络爬虫最终的目的就是过滤选取网络信息,因此最重要的就是解析器了,其性能的优劣直接决定这网络爬虫的速度和效率.Bea ...

  5. java爬虫系列第一讲-爬虫入门

    1. 概述 java爬虫系列包含哪些内容? java爬虫框架webmgic入门 使用webmgic爬取 http://ady01.com 中的电影资源(动作电影列表页.电影下载地址等信息) 使用web ...

  6. java爬虫系列目录

    1. java爬虫系列第一讲-爬虫入门(爬取动作片列表) 2. java爬虫系列第二讲-爬取最新动作电影<海王>迅雷下载地址 3. java爬虫系列第三讲-获取页面中绝对路径的各种方法 4 ...

  7. java爬虫系列第二讲-爬取最新动作电影《海王》迅雷下载地址

    1. 目标 使用webmagic爬取动作电影列表信息 爬取电影<海王>详细信息[电影名称.电影迅雷下载地址列表] 2. 爬取最新动作片列表 获取电影列表页面数据来源地址 访问http:// ...

  8. Python3爬虫系列：理论+实验+爬取妹子图实战

    Github: https://github.com/wangy8961/python3-concurrency-pics-02 ,欢迎star 爬虫系列: (1) 理论 Python3爬虫系列01 ...

  9. 爬虫系列4：Requests+Xpath 爬取动态数据

    爬虫系列4:Requests+Xpath 爬取动态数据 [抓取]:参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参 ...

随机推荐

  1. 使用commons-compress解压GBK格式winzip文件到UTF8，以及错误使用ZipArchiveInputStream读出来数据全是空的解决办法

    先上正确方法: 正确方式应该为,先创建一个ZipFile,然后对其entries做遍历,每一个entry其实就是一个文件或者文件夹,检测到文件夹的时候创建文件夹,其他情况创建文件,其中使用zipFil ...

  2. POJ 1789 Truck History (Kruskal 最小生成树)

    题目链接:http://poj.org/problem?id=1789 Advanced Cargo Movement, Ltd. uses trucks of different types. So ...

  3. shell命令行快捷键

    ctrl+a[A]:将光标移到命令行开头 ctrl+e[E]:将光标移到命令行结尾 ctrl+c[C]:强制终止命令执行 ctrl+u[U]:删除/剪切光标之前的所有字符 ctrl+y[Y]:粘贴ct ...

  4. python之常量和变量

    局部和全局变量: # name='lhf' # def change_name(): # # global name # name='帅了一比' # print('change_name',name) ...

  5. Censor SCU - 4438

    frog is now a editor to censor so-called sensitive words (敏感词). She has a long text (p). Her job is ...

  6. Vim常用命令：移动 跳转 到 文档开头或末尾

    gg:命令将光标移动到文档开头 G:命令将光标移动到文档末尾 vi编辑器中在命令行模式下输入G可以直接跳转到页面的底部 在命令行模式下输入1G可以跳转到页面的头部位置 更多在vi中移动编辑位置的命令说 ...

  7. php实现共享内存进程通信函数之_shm

    前面介绍了php实现共享内存的一个函数shmop,也应用到了项目中,不过shmop有局限性,那就是只支持字符串类型的:sem经过我的测试,是混合型,支持数组类型,可以直接存储,直接获取,少了多余的步骤 ...

  8. jQuery的基本过滤器与jQuery实现隔行换色实例

    没加过滤器之前: 加过滤器之后: 总的代码: <!DOCTYPE html> <html> <head> <meta charset="UTF-8& ...

  9. FFMPEG编译参数解析

    Standard options: 基本选项参数 --help 显示此帮助信息|print this message --log[=FILE|yes|no] 记录测试并输出到config.err文件| ...

  10. http状态码204/206/200/302/303/307

    HTTP的状态码有很多种,主要有1xx(临时响应).2xx(成功).3xx(已重定向).4xx(请求错误)以及5xx(服务器错误)五个大类,每个大类还对应一些具体的分类.平时我们接触比较多的是200. ...