BeautifulSoup

BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化，之后遍可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单。

举个简单的例子对其进行运用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
from django.test import TestCase
 
# Create your tests here.
 
from bs4 import BeautifulSoup
 
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
asdf
    <div class="title">
        <b>The Dormouse's story总共</b>
        <h1>f</h1>
    </div>
<div class="story">Once upon a time there were three little sisters; and their names were
    <a  class="sister0" id="link1">Els<span>f</span>ie</a>,
    <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
    <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</div>
ad<br/>sf
<p class="story">...</p>
</body>
</html>
"""
 
soup = BeautifulSoup(html_doc, features="lxml")
# 找到第一个a标签
# tag1 = soup.find(name='a')
 
# 循环所有标签
from bs4.element import Tag
from bs4.element import NavigableString
for tag in soup.body.descendants:
    if isinstance(tag,Tag):
        # print(tag.name,tag.attrs)
        pass
 
# 内容
# tag1 = soup.find(name='a')
# tag1.clear()
# print(soup)
 
# 属性
tag1 = soup.find(name='a')
del tag1.attrs['class']
print(soup)

常用参数介绍　　

name，标签名称

 tag = soup.find('a')

 name = tag.name # 获取该标签的名字

 print(name)

 tag.name = 'span' # 设置

 print(soup)

attr，标签属性

 tag = soup.find('a')

 attrs = tag.attrs # 获取

 print(attrs)

 tag.attrs = {'k':1}

 tag.attrs['id'] = ''

 print(soup)

children,所有子标签

 body = soup.find('body')

 v = body.children

children,所有子子孙孙标签

 body = soup.find('body')

 v = body.descendants

clear,将标签的所有子标签全部清空（保留标签名）

 tag = soup.find('body')

 tag.clear()

 print(soup)

decompose,递归的删除所有的标签

 body = soup.find('body')

 body.decompose()

 print(soup)

extract,递归的删除所有的标签，并获取删除的标签

 body = soup.find('body')

 v = body.extract()

 print(soup)

decode,转换为字符串（含当前标签）；decode_contents（不含当前标签）

 body = soup.find('body')

 v = body.decode()

 v = body.decode_contents()

 print(v)

encode,转换为字节（含当前标签）；encode_contents（不含当前标签）

 body = soup.find('body')

 v = body.encode()

 v = body.encode_contents()

 print(v)

find,获取匹配的第一个标签

 tag = soup.find('a')

 print(tag)

 tag = soup.find(name='a', attrs={'class': 'sister'}, recursive=True, text='Lacie')

 tag = soup.find(name='a', class_='sister', recursive=True, text='Lacie')

 print(tag)

find_all,获取匹配的所有标签

 tags = soup.find_all('a')

 print(tags)

 tags = soup.find_all('a',limit=1)

 print(tags)

 tags = soup.find_all(name='a', attrs={'class': 'sister'}, recursive=True, text='Lacie')

 # tags = soup.find(name='a', class_='sister', recursive=True, text='Lacie')

 print(tags)

 ####### 列表 #######

 v = soup.find_all(name=['a','div'])

 print(v)

 v = soup.find_all(class_=['sister0', 'sister'])

 print(v)

 v = soup.find_all(text=['Tillie'])

 print(v, type(v[0]))

 v = soup.find_all(id=['link1','link2'])

 print(v)

 v = soup.find_all(href=['link1','link2'])

 print(v)

 ####### 正则 #######

 importre

 rep = re.compile('p')

 rep = re.compile('^p')

 v = soup.find_all(name=rep)

 print(v)

 rep = re.compile('sister.*')

 v = soup.find_all(class_=rep)

 print(v)

 rep = re.compile('http://www.oldboy.com/static/.*')

 v = soup.find_all(href=rep)

 print(v)

 ####### 方法筛选 #######

 def func(tag):

 return tag.has_attr('class') and tag.has_attr('id')

 v = soup.find_all(name=func)

 print(v)

 ## get,获取标签属性

 tag = soup.find('a')

 v = tag.get('id')

 print(v)

has_attr,检查标签是否具有该属性

 tag = soup.find('a')

 v = tag.has_attr('id')

 print(v)

get_text,获取标签内部文本内容

 tag = soup.find('a')

 v = tag.get_text('id')

 print(v)

index,检查标签在某标签中的索引位置

 tag = soup.find('body')

 v = tag.index(tag.find('div'))

 print(v)

 tag = soup.find('body')

 for i,v in enumerate(tag):

 print(i,v)

is_empty_element,是否是空标签(是否可以是空)或者自闭合标签，

判断是否是如下标签：'br' , 'hr', 'input', 'img', 'meta','spacer', 'link', 'frame', 'base'

 tag = soup.find('br')

 v = tag.is_empty_element

 print(v)

当前的关联标签

 # soup.next

 # soup.next_element

 # soup.next_elements

 # soup.next_sibling

 # soup.next_siblings

 #

 # tag.previous

 # tag.previous_element

 # tag.previous_elements

 # tag.previous_sibling

 # tag.previous_siblings

 #

 # tag.parent

 # tag.parents

查找某标签的关联标签

 # tag.find_next(...)

 # tag.find_all_next(...)

 # tag.find_next_sibling(...)

 # tag.find_next_siblings(...)

 # tag.find_previous(...)

 # tag.find_all_previous(...)

 # tag.find_previous_sibling(...)

 # tag.find_previous_siblings(...)

 # tag.find_parent(...)

 # tag.find_parents(...)

 # 参数同find_all

select,select_one, CSS选择器

 soup.select("title")

 soup.select("p nth-of-type(3)")

 soup.select("body a")

 soup.select("html head title")

 tag = soup.select("span,a")

 soup.select("head > title")

 soup.select("p > a")

 soup.select("p > a:nth-of-type(2)")

 soup.select("p > #link1")

 soup.select("body > a")

 soup.select("#link1 ~ .sister")

 soup.select("#link1 + .sister")

 soup.select(".sister")

 soup.select("[class~=sister]")

 soup.select("#link1")

 soup.select("a#link2")

 soup.select('a[href]')

 soup.select('a[href="http://example.com/elsie"]')

 soup.select('a[href^="http://example.com/"]')

 soup.select('a[href$="tillie"]')

 soup.select('a[href*=".com/el"]')

 from bs4.element import Tag

 def default_candidate_generator(tag):

     for child in tag.descendants:

         if not isinstance(child, Tag):

             continue

         if not child.has_attr('href'):

             continue

         yield child

 tags = soup.find('body').select("a", _candidate_generator=default_candidate_generator)

 print(type(tags), tags)

 from bs4.element import Tag

 def default_candidate_generator(tag):

     for child in tag.descendants:

         if not isinstance(child, Tag):

             continue

         if not child.has_attr('href'):

             continue

         yield child

 tags = soup.find('body').select("a", _candidate_generator=default_candidate_generator, limit=1)

 print(type(tags), tags)

标签的内容

 # tag = soup.find('span')

 # print(tag.string)          # 获取

 # tag.string = 'new content' # 设置

 # print(soup)

 # tag = soup.find('body')

 # print(tag.string)

 # tag.string = 'xxx'

 # print(soup)

 # tag = soup.find('body')

 # v = tag.stripped_strings  # 递归内部获取所有标签的文本

 # print(v)

append在当前标签内部追加一个标签

 # tag = soup.find('body')

 # tag.append(soup.find('a'))

 # print(soup)

 #

 # from bs4.element import Tag

 # obj = Tag(name='i',attrs={'id': 'it'})

 # obj.string = '我是一个新来的'

 # tag = soup.find('body')

 # tag.append(obj)

 # print(soup)

insert在当前标签内部指定位置插入一个标签

 from bs4.element import Tag

 obj = Tag(name='i', attrs={'id': 'it'})

 obj.string = '我是一个新来的'

 tag = soup.find('body')

 tag.insert(2, obj)

 print(soup)

insert_after,insert_before 在当前标签后面或前面插入

 # from bs4.element import Tag

 # obj = Tag(name='i', attrs={'id': 'it'})

 # obj.string = '我是一个新来的'

 # tag = soup.find('body')

 # # tag.insert_before(obj)

 # tag.insert_after(obj)

 # print(soup)

replace_with 在当前标签替换为指定标签

 from bs4.element import Tag

 obj = Tag(name='i', attrs={'id': 'it'})

 obj.string = '我是一个新来的'

 tag = soup.find('div')

 tag.replace_with(obj)

 print(soup)

创建标签之间的关系

 tag = soup.find('div')

 a = soup.find('a')

 tag.setup(previous_sibling=a)

 print(tag.previous_sibling)

wrap，将指定标签把当前标签包裹起来

 # from bs4.element import Tag

 # obj1 = Tag(name='div', attrs={'id': 'it'})

 # obj1.string = '我是一个新来的'

 #

 # tag = soup.find('a')

 # v = tag.wrap(obj1)

 # print(soup)

 # tag = soup.find('a')

 # v = tag.wrap(soup.find('p'))

 # print(soup)

unwrap，去掉当前标签，将保留其包裹的标签

更多详情见官方网站：http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

BeautifulSoup详解的更多相关文章

  1. requests+BeautifulSoup详解

    简介 Python标准库中提供了:urllib.urllib2.httplib等模块以供Http请求,但是,它的 API 太渣了.它是为另一个时代.另一个互联网所创建的.它需要巨量的工作,甚至包括各种 ...

  2. Python爬虫系列-BeautifulSoup详解

    安装 pip3 install beautifulsoup4 解析库 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup,'html,parser') Pyth ...

  3. BeautifulSoup 模块详解

    BeautifulSoup 模块详解 BeautifulSoup是一个模块,该模块用于接收一个HTML或XML字符串,然后将其进行格式化,之后遍可以使用他提供的方法进行快速查找指定元素,从而使得在HT ...

  4. BuautifulSoup4库详解

    1.BeautifulSoup4库简介 What is beautifulsoup ? 答:一个可以用来从HTML 和 XML中提取数据的网页解析库,支持多种解析器(代替正则的复杂用法) 2.安装 p ...

  5. 史上最全python面试题详解（一）（附带详细答案（关注、持续更新））

    python基础题(53道题详解) 1.简述解释型和编译型编程语言? 概念: 编译型语言:把做好的源程序全部编译成二进制代码的可运行程序.然后,可直接运行这个程序. 解释型语言:把做好的源程序翻译一句 ...

  6. 利用wxpy进行微信信息发送详解（一）

    利用wxpy进行微信信息自动发送,简直是骚扰神器,除非拉黑你. 那我们就来设置一个场景吧,五秒发送一次,一次发送10条 首先我们来整理一下思路: ♦1.首先我们要从网上爬去我们想要发送的内容 ♦2.登 ...

  7. python爬虫知识点详解

    python爬虫知识点总结(一)库的安装 python爬虫知识点总结(二)爬虫的基本原理 python爬虫知识点总结(三)urllib库详解 python爬虫知识点总结(四)Requests库的基本使 ...

  8. Scrapy笔记03- Spider详解

    Scrapy笔记03- Spider详解 Spider是爬虫框架的核心,爬取流程如下: 先初始化请求URL列表,并指定下载后处理response的回调函数.初次请求URL通过start_urls指定, ...

  9. Scrapy笔记04- Selector详解

    Scrapy笔记04- Selector详解 在你爬取网页的时候,最普遍的事情就是在页面源码中提取需要的数据,我们有几个库可以帮你完成这个任务: BeautifulSoup是python中一个非常流行 ...

随机推荐

  1. mysql的left jion：就是left outer join（right join同理）

    左外连接: A left jion B on A.id=B.id 就是A表数据不动,将B表里面能和A对应上的数据补充到A表数据后 而右外连接: rignt jion 则是将A补充到B,B不动,保存全部 ...

  2. [GitHub]第七讲：GitHub issues

    文章转载自:http://blog.csdn.net/loadsong/article/details/51591701 Github 上的每个项目仓库,都有三套基础设置可供使用:一个是通过 Gith ...

  3. Android进阶(二)https请求No peer certificate的解决方法.

    在做Android客户端通过https协议访问12306,并爬取数据时,出现了如下错误: 其中有一条错误提示是 javax.net.ssl.SSLPeerUnverifiedException: No ...

  4. Ajax数据返回格式问题解决

    Ajax数据返回格式问题解决 服务端返回的数据格式为: response.setContentType("text/xml;charset=utf-8"); 设置发送到客户端的响应 ...

  5. 【一天一道LeetCode】#66. Plus One

    一天一道LeetCode 本系列文章已全部上传至我的github,地址:ZeeCoder's Github 欢迎大家关注我的新浪微博,我的新浪微博 欢迎转载,转载请注明出处 (一)题目 Given a ...

  6. Oracle中job的实例

    一.Oracle定时器(Job)各时间段写法汇总 对于DBA来说,数据库Job再熟悉不过了,因为经常要数据库定时的自动执行一些脚本,或做数据库备份,或做数据的提炼,或做数据库的性能优化,包括重建索引等 ...

  7. 使用OC和Swift两种语言写一个发射烟花的小项目

    OC与Swift两种实现方式基本上区别不大,主要是在一些对象或方法的调用方式不同,附带源码. OC代码样式: self.view.backgroundColor = [UIColor blackCol ...

  8. 【Linux学习笔记】关于ubuntu开机菜单栏和任务栏不见了的有效解决方法

    (一) 问题描述 ubuntu开机只有桌面,没有菜单栏和任务栏,如下图: (二) 问题解决 刚学习ubuntu,总有些像我这样不折腾就不舒服的人,今天改了一下主题,图标什么的,重启开机后就发现!咦!我 ...

  9. 一起来搭简单的App框架

    1.概述 最近在学车,抽着空写了一个常用的App框架,可惜不会制作gif图片,请忽略录屏软件的那个浮动窗口,要是有更好的方式制作gif麻烦告知下提前感谢,效果图如下,凑合着看下吧. 主要实现了 [1] ...

  10. 如何优化你的布局层级结构之RelativeLayout和LinearLayout及FrameLayout性能分析

    转载请注明出处:http://blog.csdn.net/hejjunlin/article/details/51159419 如何优化你的布局层级结构之RelativeLayout和LinearLa ...