BeautifulSoup解析库的介绍和使用

### BeautifulSoup解析库的介绍和使用

### 三大选择器：节点选择器，方法选择器，CSS选择器

### 使用建议：方法选择器 > CSS选择器 > 节点选择器

## 测试文本

text = '''

<html><head><title>there is money</title></head>

<body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class='body'>...</p>

'''

1. 基本用法

## 基本用法

from bs4 import BeautifulSoup

# 初始化BeautifulSoup对象，选择lxml类型

soup = BeautifulSoup(text, 'lxml')

# 以标准的缩进格式输出

print(soup.prettify())

# 提取title节点的文本内容

print(soup.title.string)

'''

输出内容：

<html>

 <head>

  <title>

   there is money

  </title>

 </head>

 <body>

  <p class="title" name="dmr">

   <b>

    there is money

   </b>

  </p>

  <p class="money">

   good good study, day day up

   <a class="error" href="https://www.baidu.com/1" id="l1">

    <!-- 1 -->

   </a>

   ,

   <a class="error" href="https://www.baidu.com/2" id="l2">

    2

   </a>

   and

   <a class="error" href="https://www.baidu.com/3" id="l3">

    3

   </a>

   ;

66666666666

  </p>

  <p class="body">

   ...

  </p>

 </body>

</html>

there is money

'''

2. 节点选择器

### 节点选择器

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

print(type(soup))

print(soup.title)

print(type(soup.title))

print(soup.p)

print(soup.head)

'''

输出结果：

<class 'bs4.BeautifulSoup'>

<title>there is money</title>

<class 'bs4.element.Tag'>

<p class="title" name="dmr"><b>there is money</b></p>

<head><title>there is money</title></head>

'''

## 提取信息

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

# 提取title标签的文本内容

print(soup.title.string)

# p表情的名称

print(soup.p.name)

# p标签的属性，字典格式

print(soup.p.attrs)

print(soup.p.attrs.get('name'))

# attrs可省略，直接以字典的提取方式进行信息提取

print(soup.p['class'])

print(soup.p.get('class'))

print(soup.p.string)

'''

输出内容：

there is money

p

{'class': ['title'], 'name': 'dmr'}

dmr

['title']

['title']

there is money

'''

## 嵌套选择，套中套

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

print(soup.body.p.string)

'''

输出内容：

there is money

'''

## 关联选择

## 子节点和子孙节点

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

# 直接子节点，包含换行符文本内容等;contents获取到一个list, children生成一个迭代器（建议使用）

print(soup.body.contents)

print(len(soup.body.contents))

print(soup.body.children)

for i, child in enumerate(soup.body.children):

    print(i, child)

print(soup.body.descendants)

for j, item in enumerate(soup.body.descendants):

    print(j, item)

'''

输出结果：

['\n', <p class="title" name="dmr"><b>there is money</b></p>, '\n', <p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>, '\n', <p class="body">...</p>, '\n']

7

<list_iterator object at 0x0000000002DAD320>

0 

1 <p class="title" name="dmr"><b>there is money</b></p>

2 

3 <p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

4 

5 <p class="body">...</p>

6 

<generator object Tag.descendants at 0x0000000002D67E58>

0 

1 <p class="title" name="dmr"><b>there is money</b></p>

2 <b>there is money</b>

3 there is money

4 

5 <p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

6 good good study, day day up

7 <a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>

8 <span><!-- 1 --></span>

9  1

10 ,

11 <a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a>

12 <span>2</span>

13 2

14  and 

15 <a class="error" href="https://www.baidu.com/3" id="l3">3</a>

16 3

17 ;

66666666666

18 

19 <p class="body">...</p>

20 ...

21

'''

## 父节点和祖先节点

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

print(soup.a.parent)

print(soup.a.parents)

for i, parent in enumerate(soup.a.parents):

    print(i, parent)

'''

输出结果：

<p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

<generator object PageElement.parents at 0x0000000002D68E58>

0 <p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

1 <body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

</body>

2 <html><head><title>there is money</title></head>

<body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

</body></html>

3 <html><head><title>there is money</title></head>

<body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

</body></html>

'''

## 兄弟节点

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

print('Next sibling: ', soup.a.next_sibling)

print('Previous sibling: ', soup.a.previous_sibling)

print('Next siblings: ', soup.a.next_siblings)

print('Previous siblings: ', soup.a.previous_sibling)

'''

输出结果：

Next sibling:  ,

Previous sibling:  good good study, day day up

Next siblings:  <generator object PageElement.next_siblings at 0x0000000002D67E58>

Previous siblings:  good good study, day day up

'''

3. 方法选择器

### 方法选择器，较为灵活

## find_all方法，查询所有符合条件的，返回一个列表，元素类型为tag

## find方法，查询符合条件的第一个元素，返回一个tag类型对象

## 同理，find_parents和find_parent

## find_next_siblings和find_next_sibling

## find_previous_siblings和find_previous_sibling

## find_all_next和find_next

## find_all_previous和find_previous

from bs4 import BeautifulSoup

import re

soup = BeautifulSoup(text, 'lxml')

# 找到节点名为a的节点，为一个列表

print(soup.find_all(name='a'))

print(soup.find_all(name='a')[0])

# 找到id属性为l1， class属性为error的节点

print(soup.find_all(attrs={'id': 'l1'}))

print(soup.find_all(class_='error'))

# 通过文本关键字来进行匹配文本内容

print(soup.find_all(text=re.compile('money')))

'''

输出内容：

[<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>, <a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a>, <a class="error" href="https://www.baidu.com/3" id="l3">3</a>]

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>

[<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>]

[<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>, <a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a>, <a class="error" href="https://www.baidu.com/3" id="l3">3</a>]

['there is money', 'there is money']

'''

4. CSS选择器

### CSS选择器，select方法，返回一个列表

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

print(soup.select('p a'))

print(soup.select('.error'))

print(soup.select('#l1 span'))

print(soup.select('a'))

print(type(soup.select('a')))

'''

输出内容：

[<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>, <a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a>, <a class="error" href="https://www.baidu.com/3" id="l3">3</a>]

[<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>, <a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a>, <a class="error" href="https://www.baidu.com/3" id="l3">3</a>]

[<span><!-- 1 --></span>]

[<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>, <a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a>, <a class="error" href="https://www.baidu.com/3" id="l3">3</a>]

<class 'bs4.element.ResultSet'>

'''

## 嵌套选择，获取属性，获取文本

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

# 嵌套选择

for i in soup.select('a'):

    print(i.select('span'))

# 获取属性

print(soup.select('a')[0].attrs)

print(soup.select('a')[0].get('class'))

# 获取文本

print(soup.select('a')[1].string)

print(soup.select('a')[2].get_text())

'''

输出结果：

[<span><!-- 1 --></span>]

[<span>2</span>]

[]

{'href': 'https://www.baidu.com/1', 'class': ['error'], 'id': 'l1'}

['error']

2

3

'''

BeautifulSoup解析库的介绍和使用的更多相关文章

BeautifulSoup解析库
解析库解析器使用方法优势劣势 Python标准库 BeautifulSoup(html, 'html.parser') 速度适中,容错能力强老版本python容错能力差 lxml HTML解 ...
第三节：Web爬虫之BeautifulSoup解析库
Beautiful Soup官方说明: Beautiful Soup提供一些简单的.python式的函数用来处理导航.搜索.修改分析树等功能.它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为 ...
pyquery解析库的介绍和使用
### pyquery的介绍和使用 ## 测试文本 text = ''' <html><head><title>there is money</title&g ...
BeautifulSoup与Xpath解析库总结
一.BeautifulSoup解析库 1.快速开始 html_doc = """ <html><head><title>The Dor ...
xpath beautiful pyquery三种解析库
这两天看了一下python常用的三种解析库,写篇随笔,整理一下思路.太菜了,若有错误的地方,欢迎大家随时指正.......(conme on.......) 爬取网页数据一般会经过获取信息-> ...
Python爬虫3大解析库使用导航
1. Xpath解析库 2. BeautifulSoup解析库 3. PyQuery解析库
爬虫模块介绍--Beautifulsoup （解析库模块，正则）
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时 ...
爬虫解析库re,Beautifulsoup,
re模块点我回顾 Beautifulsoup模块 #安装 Beautiful Soup pip install beautifulsoup4 #安装解析器 Beautiful Soup支持Pytho ...
解析库之re，Beautifulsoup
本篇导航: 介绍基本使用遍历文档树搜索文档树总结 re模块在之前的python进阶中有讲过不再做过多的阐述,本篇为BeautifulSoup库的分析 20.collections模块和 ...

随机推荐

零基础入门C语言超详细的字符串详解
本篇文章是对C语言字符串操作进行了详细的总结分析,需要的朋友参考下 1)字符串操作 strcpy(p, p1) 复制字符串 strncpy(p, p1, n) 复制指定长度字符串 strcat(p, ...
Balance的数学思想构造辅助函数
本类题的证明难点便在于如何构造出满足答案的辅助函数.通过下列类题便可以很好的理解. 题一该类题可以理解为积分内部f(x)与xf(x)处于一种失衡状态,故我们需要使其平衡,否则直接构造出的函数无法满足 ...
wifi 热点配置最优信道
wifi热点服务hostapd启动需要配置hostad.conf文件,其中有一个参数channel是用来配置信道的,信道的可选参数如下: # channel 1-14 is 2.4 GHz ; cha ...
二叉树中和为某一值的路径牛客网程序员面试金典 C++ Python
二叉树中和为某一值的路径牛客网程序员面试金典题目描述输入一颗二叉树的跟节点和一个整数,打印出二叉树中结点值的和为输入整数的所有路径.路径定义为从树的根结点开始往下一直到叶结点所经过的结点形成一 ...
hdu 1166 敌兵布阵（简单线段树or树状数组）
题意: N个工兵营地,第i个营地有ai个人. 三种操作: 1.第i个营地增加x个人. 2.第i个营地减少x个人. 3.查询第i个到第j个营地的总人数. 思路: 线段树or树状数组代码:(树状数组) ...
批量免密ssh
参考连接:https://www.cnblogs.com/xiaoyuxixi/p/11413355.html 适用于所有密码都一样的情况下应用场景: 在应用ansible的实际情况中,有一个很现实 ...
/etc/hosts 详解
/etc/hosts:主机名查询静态表,是ip地址与域名快速解析的文件.ip地址与主机名之间的映射,包括主机的别名. 通常将常用的域名和ip地址映射加入到hosts文件中,实现快速方便的访问. 如果没 ...
【.NET 与树莓派】用 MPD 制作数字音乐播放器
树莓派的日常家居玩法多多,制作一台属于自己的数字音乐播放机是其中的一种.严格上说,树莓派是没有声卡的,其板载的 3.5 mm 音频孔实际是通过 PWM 来实现音频输出的(通过算法让PWM信号变成模拟信 ...
es聚合查询语法
{ "size": 0, "query": { "bool": { "filter ...
RabbitMQ (五)：死信队列
什么是TTL RabbitMQ的TTL全称为Time-To-Live,表示的是消息的有效期.消息如果在队列中一直没有被消费并且存在时间超过了TTL,消息就会变成了"死信" (Dea ...

BeautifulSoup解析库的介绍和使用

BeautifulSoup解析库的介绍和使用的更多相关文章

随机推荐

热门专题