python BeautifulSoup库的基本使用

Beautiful Soup 是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。

安装

1. 可以利用 pip 或者 easy_install 来安装，以下两种方法均可

easy_install beautifulsoup4

pip install beautifulsoup4

2. 如果想安装最新的版本，请直接下载安装包来手动安装，也是十分方便的方法。

下载地址：https://pypi.python.org/pypi/beautifulsoup4/4.3.2

下载完成之后解压

运行下面的命令即可完成安装

sudo python setup.py install

使用

中文文档

本文将以下面的HTML代码，讲解使用BeautifulSoup库，bs4库将任何HTML输入都变成utf‐8编码

>>> import requests

>>> r = requests.get('http://python123.io/ws/demo.html')

>>> r.text

'<html><head><title>This is a python demo page</title></head>\r\n

<body>\r\n<p class="title"><b>The demo python introduces several python courses.</b>

</p>\r\n<p class="course">Python is a wonderful general-purpose programming language.

You can learn Python from novice to professional by tracking the following courses:\r\n

<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a>

 and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>

.</p>\r\n</body></html>'

>>> demo = r.text

1. BeautifulSoup4库的引用

from bs4 import BeautifulSoup

import bs4

2. BeautifulSoup4库解析器

soup = BeautifulSoup('data','html.parser')

解析器	使用方法	条件
bs4的HTML解析器	BeautifulSoup(mk, 'html.parser')	安装bs4库
lxml的HTML解析器	BeautifulSoup(mk, 'lxml')	安装 lxml 库
lxml的XML解析器	BeautifulSoup(mk, 'xml')	安装 lxml 库
html5lib的解析器	BeautifulSoup(mk, 'html5lib')	安装 html5lib 库

3. BeautifulSoup类的基本元素

基本元素	说明
Tag	标签,最基本的信息组织单元,分别用<>和</>标明开头和结尾
Name	标签的名字,<p>...</p>的名字是'p',格式：<tag>.name
Attributes	标签的属性，字典形式组织，格式：<tag>.attrs
NavigableString	标签内非属性字符串,<>...</>中字符串,格式：<tag>.string
Comment	标签内字符串的注释部分，一种特殊的Comment类型

############## Tag标签 ##############

>>> from bs4 import BeautifulSoup

>>> soup = BeautifulSoup(demo, 'html.parser')

>>> soup.title

<title>This is a python demo page</title>

>>> tag = soup.a

>>> tag

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>

任何存在于HTML语法中的标签都可以用soup.<tag>访问获得,当HTML文档中存在多个相同<tag>对应内容时，soup.<tag>返回第一个

##############  Tag Name(名字) ##############

>>> from bs4 import BeautifulSoup

>>> soup = BeautifulSoup(demo, 'html.parser')

>>> soup.a.name

'a'

>>> soup.a.parent.name	#父级标签名称

'p'

>>> soup.a.parent.parent.name	##父级的父级的标签名称

'body'

每个<tag>都有自己的名字，通过<tag>.name获取，字符串类型

##############  Tag attrs(属性) ##############

>>> from bs4 import BeautifulSoup

>>> soup = BeautifulSoup(demo, 'html.parser')

>>> tag = soup.a

>>> tag.attrs

{'class': ['py1'], 'id': 'link1', 'href': 'http://www.icourse163.org/course/BIT-268001'}

>>> tag.attrs['class']

['py1']

>>> tag.attrs['href']

'http://www.icourse163.org/course/BIT-268001'

>>> type(tag.attrs)

<class 'dict'>

>>> type(tag)

<class 'bs4.element.Tag'>

一个<tag>可以有0或多个属性，字典类型

##############  Tag的NavigableString ##############

>>> soup.a

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>

>>> soup.a.string

'Basic Python'

>>> soup.title

<title>This is a python demo page</title>

>>> soup.title.string

'This is a python demo page'

>>> type(soup.title.string)

<class 'bs4.element.NavigableString'>

NavigableString可以跨越多个层次

##############  Tag的Comment ##############

>>> newsoup = BeautifulSoup('<b><!-- This is comment --></b><p>This is comment</p>', 'html.parser')

>>> newsoup.b.string

' This is comment '

>>> type(newsoup.b.string)

<class 'bs4.element.Comment'>

>>> newsoup.p.string

'This is comment'

>>> type(newsoup.p.string)

<class 'bs4.element.NavigableString'>

Comment是一种特殊类型

4. 标签树的遍历

BeautifulSoup类型是标签树的根节点

1）下行遍历

属性	说明
.contents	子节点的列表，将<tag>所有儿子节点存入列表
.children	子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
.descendants	子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

>>> soup.head

<head><title>This is a python demo page</title></head>

>>> soup.head.contents			#返回列表类型

[<title>This is a python demo page</title>]

>>> soup.body.contents

['\n', <p class="title"><b>The demo python introduces several python courses.</b></p>, '\n', <p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>, '\n']

>>> len(soup.body.contents)

5

>>> soup.body.contents[1]

<p class="title"><b>The demo python introduces several python courses.</b></p>

#遍历儿子节点

for child in soup.body.children:

    print(child)

#遍历子孙节点

for child in soup.body.descendants:

    print(child)

2）上行遍历

属性	说明
.parent	节点的父亲标签
.parents	节点先辈标签的迭代类型，用于循环遍历先辈节点

>>> soup.title.parent

<head><title>This is a python demo page</title></head>

>>> soup.html.parent	#html的父节点是自己

<html><head><title>This is a python demo page</title></head>

<body>

<p class="title"><b>The demo python introduces several python courses.</b></p>

<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>

</body></html>

>>> soup.parent	#没有父节点

#标签树的上行遍历(遍历所有先辈节点包括soup本身所以要区别判断)

for parent in soup.a.parents:

    if parent is None:

        print(parent)

    else:

        print(parent.name)

3）平行遍历

属性	说明
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_siblings	迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings	迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

>>> soup.a.next_sibling

' and '

>>> soup.a.next_sibling.next_sibling

<a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>

>>> soup.a.previous_sibling

'Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\r\n'

#遍历后续节点

for sibling in soup.a.next_sibling:

	print(sibling)

#遍历前续节点

for sibling in soup.a.previous_sibling:

	print(sibling)

5. 使用prettify方法更友好的输出

>>> import requests

>>> r = requests.get('http://python123.io/ws/demo.html')

>>> r.text

'<html><head><title>This is a python demo page</title></head>\r\n<body>\r\n<p class="title"><b>The demo python introduces several python courses.</b></p>\r\n<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\r\n<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a> and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>.</p>\r\n</body></html>'

>>> from bs4 import BeautifulSoup

>>> soup = BeautifulSoup(r.text, 'html.parser')

>>> soup.prettify()

'<html>\n <head>\n  <title>\n   This is a python demo page\n  </title>\n </head>\n <body>\n  <p class="title">\n   <b>\n    The demo python introduces several python courses.\n   </b>\n  </p>\n  <p class="course">\n   Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\n   <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">\n    Basic Python\n   </a>\n   and\n   <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">\n    Advanced Python\n   </a>\n   .\n  </p>\n </body>\n</html>'

>>> print(soup.prettify())

<html>

 <head>

  <title>

   This is a python demo page

  </title>

 </head>

 <body>

  <p class="title">

   <b>

    The demo python introduces several python courses.

   </b>

  </p>

  <p class="course">

   Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

   <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">

    Basic Python

   </a>

   and

   <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">

    Advanced Python

   </a>

   .

  </p>

 </body>

</html>

6. 内容查找

方法	说明
<>.find()	搜索且只返回一个结果，同.find_all()参数
<>.find_parents()	在先辈节点中搜索，返回列表类型，同.find_all()参数
<>.find_parent()	在先辈节点中返回一个结果，同.find()参数
<>.find_next_siblings()	在后续平行节点中搜索，返回列表类型，同.find_all()参数
<>.find_next_sibling()	在后续平行节点中返回一个结果，同.find()参数
<>.find_previous_siblings()	在前序平行节点中搜索，返回列表类型，同.find_all()参数
<>.find_previous_sibling()	在前序平行节点中返回一个结果，同.find()参数

<>.find_all(name, attrs, recursive, string, **kwargs)

name : 对标签名称的检索字符串
attrs: 对标签属性值的检索字符串，可标注属性检索
recursive: 是否对子孙全部检索，默认True
string: <>…</>中字符串区域的检索字符串

<tag>(..) 等价于 <tag>.find_all(..)
soup(..) 等价于 soup.find_all(..)

#提取所有URL

for link in soup.find_all('a'):

    print(link.get('href'))

http://www.icourse163.org/course/BIT-268001

http://www.icourse163.org/course/BIT-1001870001

>>> soup.find_all('a')		#查找所有的a标签，返回一个列表

[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]

>>> soup.find_all(['a','b'])	#查找所有的a标签和b标签，返回一个列表

[<b>The demo python introduces several python courses.</b>, <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]

>>> soup.find_all('p','course')		#查找所有具有course属性的p标签，

[<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>]

>>> soup.find_all(id='link1')	#查找所有属性为id='link1'的标签

[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>]

>>> import re		#使用正则查找所有id属性中以'link'开头的标签

>>> soup.find_all(id=re.compile('link'))

[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]

>>> soup.find_all('a')

[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]

>>> soup.find_all('a',recursive=False)	#查找所有a标签且不遍历子孙节点

[]

>>> soup.find_all(string="Basic Python")		#查找所有标签间内容为"Basic Python"的字符串

['Basic Python']

>>> import re

>>> soup.find_all(string=re.compile('python'))

['This is a python demo page', 'The demo python introduces several python courses.']	#查找所有标签间内容中有"python"的字符串

python BeautifulSoup库的基本使用的更多相关文章

python BeautifulSoup库用法总结
1. Beautiful Soup 简介简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: Beautiful Soup提供一些简单的.pyt ...
Python BeautifulSoup库的用法
BeautifulSoup是一个可以从HTML或者XML文件中提取数据的Python库,它通过解析器把文档解析为利于人们理解的文档导航模式,有利于查找和修改文档. BeautifulSoup3目前已经 ...
Python爬虫-- BeautifulSoup库
BeautifulSoup库 beautifulsoup就是一个非常强大的工具,爬虫利器.一个灵活又方便的网页解析库,处理高效,支持多种解析器.利用它就不用编写正则表达式也能方便的实现网页信息的抓取 ...
Python爬虫小白入门（三）BeautifulSoup库
# 一.前言 *** 上一篇演示了如何使用requests模块向网站发送http请求,获取到网页的HTML数据.这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据. ...
python爬虫从入门到放弃（六）之 BeautifulSoup库的使用
上一篇文章的正则,其实对很多人来说用起来是不方便的,加上需要记很多规则,所以用起来不是特别熟练,而这节我们提到的beautifulsoup就是一个非常强大的工具,爬虫利器. beautifulSoup ...
python爬虫学习之使用BeautifulSoup库爬取开奖网站信息-模块化
实例需求:运用python语言爬取http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html这个开奖网站所有的信息,并且保存为txt文件和excel文件. 实 ...
python下载安装BeautifulSoup库
python下载安装BeautifulSoup库 1.下载https://www.crummy.com/software/BeautifulSoup/bs4/download/4.5/ 2.解压到解压 ...
python爬虫学习(一)：BeautifulSoup库基础及一般元素提取方法
最近在看爬虫相关的东西,一方面是兴趣,另一方面也是借学习爬虫练习python的使用,推荐一个很好的入门教程:中国大学MOOC的<python网络爬虫与信息提取>,是由北京理工的副教授嵩天老 ...
python库：bs4，BeautifulSoup库、Requests库
Beautiful Soup https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ Beautiful Soup 4.2.0 文档 htt ...

随机推荐

centos 7 java1.8安装
java安装检查版本信息,如果版本小于1.8,执行以下命令 java -version java version "1.8.0_144"Java(TM) SE Runtime E ...
Maven 安装和配置
一.Maven 简介 Maven 是一个强大的Java项目构建工具,类似.NET中的NuGet ,Node.js的NPM. 正如nuget.org ,Maven有一个中央仓库 maven.org,可以 ...
C#.NET 大型通用信息化系统集成快速开发平台 4.6 版本 - SSO单点登录接口
当开发的系统多了.用户多了.合作伙伴多了.对接厂商多了.开发人员多了.部署的服务器也多了,各种安全问题就暴露出来了. 如何安全的把这些系统集成在一起?实现集群的单点登录.严格统一的用户安全体系管理? ...
R语言
什么是R语言编程? R语言是一种用于统计分析和为此目的创建图形的编程语言.不是数据类型,它具有用于计算的数据对象.它用于数据挖掘,回归分析,概率估计等领域,使用其中可用的许多软件包. R语言中的不同数 ...
Elasticsearch - 简单介绍
Elasticsearch 简介 1. 什么是 Elasticsearch ElasticSearch 是一个基于 Lucene 的搜索服务器. 它了一个分布式多用户能力的全文搜索引擎,能够达到实时 ...
每周分享之JS数组的使用
数组,一堆数字归为一组,就是一个数组,一堆对象放在一个组里,也是一个数组,概念很容易懂,说白了就是一个有限集合. JS数组的语法无法两种,插入和移除(语法自行科普).用处挺常见的,既然数组是一个集合, ...
Python_线程、线程效率测试、数据隔离测试、主线程和子线程
0.进程中的概念三状态:就绪.运行.阻塞就绪(Ready):当进程已分配到除CPU以外的所有必要资源,只要获得处理机便可立即执行,这时的进程状态成为就绪状态. 执行/运行(Running)状态:当 ...
Java 常见编码格式——URL、Base64
数据编码我们对数据进行编码是因为在某些情况下,不能直接传输中文字符或者其他字符,比如在设置http协议的头部信息或者cookie时,如果value有中文字符,那么就需要将中文字符使用某种编码方式进行 ...
PAT 7-12 拯救007
在老电影“007之生死关头”(Live and Let Die)中有一个情节,007被毒贩抓到一个鳄鱼池中心的小岛上,他用了一种极为大胆的方法逃脱 —— 直接踩着池子里一系列鳄鱼的大脑袋跳上岸去!(据 ...
Linux kernel support docker storage driver aufs
How to make docker use aufs in CentOS 7? - Server Faulthttps://serverfault.com/questions/650208/how- ...

python BeautifulSoup库的基本使用

安装

使用

python BeautifulSoup库的基本使用的更多相关文章

随机推荐

热门专题