BeautifulSoup使用总结

一、介绍

BeautifulSoup为一个python库，它可以接收一个HTML或XML的字符串或文件，并返回一个BeautifulSoup对象，之后我们可以使用BeautifulSoup提供的众多方法来对文件内容进行解析。

二、安装

1、使用pip安装

pip install beautifulsoup4

#安装BeautifulSoup解析器

pip install lxml

pip install html5lib

2、通过apt-get安装

sudo apt-get install Python-bs4

#安装BeautifulSoup解析器

sudo apt-get install Python-lxml

sudo apt-get install Python-html5lib

推荐使用lxml作为解析器，因为其效率更高。

三、常用方法

下面的例子将解析以下字符串：

html = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

1、将字符串包装厂BeautifulSoup对象

soup = BeautifulSoup(html, "lxml")

#使用标准的缩进结构输出

print soup.prettify()

输出：

<html>

 <head>

  <title>

   The Dormouse's story

  </title>

 </head>

 <body>

  <p class="title">

   <b>

    The Dormouse's story

   </b>

  </p>

  <p class="story">

   Once upon a time there were three little sisters; and their names were

   <a class="sister" href="http://example.com/elsie" id="link1">

    Elsie

   </a>

   ,

   <a class="sister" href="http://example.com/lacie" id="link2">

    Lacie

   </a>

   and

   <a class="sister" href="http://example.com/tillie" id="link3">

    Tillie

   </a>

   ;

and they lived at the bottom of a well.

  </p>

  <p class="story">

   ...

  </p>

 </body>

</html>

2、使用name获取标签名称

print soup.a

print soup.a.name

输出：

<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

a

需要注意的是，使用soup.[tag]来访问标签只会返回第一个名为tag的标签，若想返回所有的或者根据条件返回，可以使用find_all()方法。

3、使用string获取标签内容

通过访问标签的string属性可以获取标签的内容。

print soup.title.string

输出：

The Dormouse's story

需要注意的是使用string来访问标签内容时，该标签内只能包含一个子节点，若有多个子节点，使用string会返回None，因为不知道该返回哪个子节点的内容。

print soup.body.string

输出：

None

将string换成strings即可：

strings = soup.body.strings

for string in strings:

    print string

输出：



The Dormouse's story

Once upon a time there were three little sisters; and their names were

Elsie

,

Lacie

 and

Tillie

;

and they lived at the bottom of a well.

...

可以看到输出有很多多余的空行和空格，使用stripped_strings即可去除这些空行和空格：

strings = soup.body.stripped_strings

for string in strings:

    print string

输出：

The Dormouse's story

Once upon a time there were three little sisters; and their names were

Elsie

,

Lacie

and

Tillie

;

and they lived at the bottom of a well.

...

4、获取标签的属性名称

#获取第一个<p>标签的class属性

soup.p["class"]

输出：

['title']

返回的为一个列表，因为class可能有多个值。

#获取第一个<a>标签的href属性

soup.a["href"]

输出：

'http://example.com/elsie'

5、更改标签的属性值

#更改第一个<p>标签的href属性

soup.p["class"] = "new-class"

print soup.p["class"]

#更改第一个<a>标签的href属性

soup.a["href"] = "www.google.com"

print soup.a["href"]

print soup.prettify()

输出：

new-class

www.google.com

<html>

 <head>

  <title>

   The Dormouse's story

  </title>

 </head>

 <body>

  <p class="new-class">

   <b>

    The Dormouse's story

   </b>

  </p>

  <p class="story">

   Once upon a time there were three little sisters; and their names were

   <a class="sister" href="www.google.com" id="link1">

    Elsie

   </a>

   ,

   <a class="sister" href="http://example.com/lacie" id="link2">

    Lacie

   </a>

   and

   <a class="sister" href="http://example.com/tillie" id="link3">

    Tillie

   </a>

   ;

and they lived at the bottom of a well.

  </p>

  <p class="story">

   ...

  </p>

 </body>

</html>

6、find_all方法

6.1 返回所有的标签

#返回文档中所有的<a>标签，返回值为列表

links = soup.find_all("a")

print links

输出：

[<a class="sister" href="www.google.com" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

6.2、根据属性名返回标签

#返回文档中所有的类名为sister的<a>标签，返回值为列表

#class为python关键字，所以使用class_代替

links = soup.find_all("a", class_="sister")

print links

print '-'*20

#与上面的相同

links = soup.find_all("a", attrs={"class":"sister"})

print links

print '-'*20

#返回文档中所有的id为link2的<a>标签，返回值为列表

links = soup.find_all("a", id="link2")

print links

输出：

[<a class="sister" href="www.google.com" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

--------------------

[<a class="sister" href="www.google.com" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

--------------------

[<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

6.3、获取所有标签的href属性

links = soup.find_all("a")

for a in links:

    print a["href"]

输出：

www.google.com

http://example.com/lacie

http://example.com/tillie

三、参考

1、https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

BeautifulSoup使用总结的更多相关文章

Python爬虫小白入门（三）BeautifulSoup库
# 一.前言 *** 上一篇演示了如何使用requests模块向网站发送http请求,获取到网页的HTML数据.这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据. ...
使用beautifulsoup与requests爬取数据
1.安装需要的库 bs4 beautifulSoup requests lxml如果使用mongodb存取数据,安装一下pymongo插件 2.常见问题 1> lxml安装问题如果遇到lxm ...
BeautifulSoup ：功能使用
# -*- coding: utf-8 -*- ''' # Author : Solomon Xie # Usage : 测试BeautifulSoup一些用法及容易出bug的地方 # Envirom ...
BeautifulSoup研究一
BeautifulSoup的文档见 https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ 其中.contents 会将换行也记录为一个子节 ...
BeautifulSoup
参考:http://www.freebuf.com/news/special/96763.html 相关资料:http://www.jb51.net/article/65287.htm 1.Pytho ...
BeautifulSoup Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.
BeautifulSoup很赞的东西最近出现一个问题:Python 3.3 soup=BeautifulSoup(urllib.request.urlopen(url_path),"htm ...
beautifulSoup(1)
import re from bs4 import BeautifulSoupdoc = ['<html><head><title>Page title</t ...
python BeautifulSoup模块的简要介绍
常用介绍: pip install beautifulsoup4 # 安装模块 from bs4 import BeautifulSoup # 导入模块 soup = BeautifulSoup(ht ...
BeautifulSoup 的用法
转自:http://cuiqingcai.com/1319.html Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python ...
BeautifulSoup的选择器
用BeautifulSoup查找指定标签(元素)的时候,有几种方法: soup=BeautifulSoup(html) 1.soup.find_all(tagName),返回一个指定Tag元素的列表 ...

随机推荐

bzoj 2275: [Coci2010]HRPA
据说叫斐波那契博弈. 先手最少取的石子数是把n用斐波那契数列拆分后最小的数. 原题+证明: http://blog.csdn.net/acm_cxlove/article/details/783501 ...
Scala进阶之路-Scala特征类与unapply反向抽取
Scala进阶之路-Scala特征类与unapply反向抽取作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Scala特征类分析 1>.Unit 答:用于定义返回值类型, ...
.net 未被引用的错误
开发的时候遇到了一个错误,如下: 错误 1 类型“System.ServiceModel.ClientBase`1<T0>”在未被引用的程序集中定义. 我原本以为是版本号的问题,添加了引用 ...
Ubuntu下安装BeautifulSoup4
先去下载beautifulsoup的安装包https://www.crummy.com/software/BeautifulSoup/bs4/download/4.0/ 下载完之后解压 tar -xv ...
oracle 工作笔记，不定期更新
此博客为工作时,所见技术问题的解决方案笔记,欢迎大家转载,转载请注明出处,谢谢~ 更新时间: 2017-07-12 1. clob字段值读取时,借用extractvalue或extract函数读取节点 ...
SQL语句（九）使用特殊关系运算符查询
使用特殊关系运算符查询特殊关系运算符 IN.NOT IN IS NULL.IS NOT NULL BETWEEN.NOT BETWEEN LIKE.NOT LIKE IN , NOT IN IN 在 ...
HTML5页面开发的基础性模板
分享一个HTML5页面开发的基础性模板,包含了两个版本: 开发版本注释版本开发版本 <!DOCTYPE html> <html> <head> <meta ...
Python 入门基础1 --语言介绍
本节目录: 一.编程语言介绍二.python解释器介绍三.安装python解释器四.运行python程序的两种方式五.变量六.后期补充内容一.编程语言介绍 1.机器语言: 直接用二进制编程 ...
Mybatis逆向工程——（十四）
逆向工程可以快速将数据库的表生成JavaBean,同时生成对单标操作的Mapper.java与Mapper.xml,极大地提高了开发速度. 1.jar包
网页排版的时候不要忘了table标签
[概况] DIV+CSS是WEB设计标准,它是一种网页的布局方法.与传统中通过表格(table)布局定位的方式不同,它可以实现网页页面内容与表现相分离.但有时候在布局的时候,纯粹的用div感觉嵌套的太 ...