使用requests库获取html页面并将其转换成字符串之后，需要进一步解析html页面格式，提取有用信息。

BeautifulSoup4库，也被成为bs4库（后皆采用简写）用于解析和处理html和xml。

1.调用

bs4库中最主要的便是bs类了，每个实例化的对象都相当于一个html页面

需要采用from-import导入bs类，同时通过BeautifulSoup（）创建一个bs对象

代码如下：

import requests

from bs4 import BeautifulSoup

r=requests.get("https://www.baidu.com/")

r.encoding="utf-8"

soup=BeautifulSoup(r.text)

print(type(soup))

运行结果：

2.常用属性

创建的BeautifulSoup对象是一个树形结构，它包含html页面中的每一个Tag（标签）元素，可以通过<a>.<b>的形式获得

常见的属性如下：

head：

html页面<head>内容

title：

html页面标题，在<head>之中，由<title>标记

body：

html页面<body>内容

p:

html页面第一个<p>内容

strings：

html页面所有呈现在web上的字符串，即标签的内容

stripped_string：

html页面所有呈现在web上的非空字符串

接下来尝试爬取百度的标语“百度一下，你就知道”

首先我们通过requests来建立请求，可以通过查看源代码找到对应部分

如下所示：

所以直接通过调用<title>标签即可

代码如下：

import requests

from bs4 import BeautifulSoup

r=requests.get("https://www.baidu.com/")

r.encoding="utf-8"

soup=BeautifulSoup(r.text)

title=soup.title

print(title)

结果如图所示：

3.标签常用属性

每一个标签在bs4中也是一个对象，被称为tag对象，以糯米为例，常见结构如下：

<a class=“mnav” href="http://www.nuomi.com">糯米</a>

其中尖括号（<>）中标签的名字为 name，其他项为attrs，尖括号之间的内容为string

所以常见的标签属性分为4种

name：

字符串、标签的名字

attrs：

字典、包含了原来页面tag的所有属性，比如href

contrnts：

列表、tag下所有子tag的内容

string：

字符串、tag所包含的文本，网页中的真实文字

由于html可以在标签中嵌套其他的标签，所以string返回遵循以下原则

①如果标签内没有其他标签，string属性返回其中的内容

②如果标签内部还有标签，但只有一个标签，string返回最里面的标签内容

③如果内部超过1层嵌套标签，则返回为none

依然以百度为例，我们需要找到第一个<a>标签的string代码应当如下：

import requests

from bs4 import BeautifulSoup

r=requests.get("https://www.baidu.com/")

r.encoding="utf-8"

soup=BeautifulSoup(r.text)

print(soup.a.string)

结果如图所示：

4.调用find()与find_all()

html中，同一个特标签会有很多内容，比如百度首页<a>一共有13处，但值返回第一处

所以这时候需要通过find与find_all来寻找，这两个方法都会遍历html文档按照条件返回内容

使用方法如下：

BeautifulSoup.find_all（name,attrs,recursive,string,limit）

name:以标签名字进行搜索，名字用字符串类型表示

attrs：按照标签的属性来搜索，需要列出属性的名字和值，用json方法表示

recursive：设置查找层次，只查找当前标签的西一层时使用recursiv=false

string：按照关键字查找string属性内容，采用string=开始

limit：返回结果个数，默认全部

至于find（）使用方法如find_all（）相同，

BeautifulSoup.find_all（name,attrs,recursive,string）

区别在于find（）只搜索第一个结果，find_all（）返回所有结果。

我们尝试来通过find_all（）来获取所有含有“百度”这一关键词的标签

首先需要调用re库，re是python的标准库可以采用compile（）对字符串的检索

所以代码如下：

import requests

import re

from bs4 import BeautifulSoup

r=requests.get("https://www.baidu.com/")

r.encoding="utf-8"

soup=BeautifulSoup(r.text)

w=soup.find_all(string=re.compile("百度"))

print(w)

结果如下：

Python网络爬虫——BeautifulSoup4库的使用的更多相关文章

  1. Python网络爬虫：空姐网、糗百、xxx结果图与源码

    如前面所述,我们上手写了空姐网爬虫,糗百爬虫,先放一下传送门: Python网络爬虫requests.bs4爬取空姐网图片Python爬虫框架Scrapy之爬取糗事百科大量段子数据Python爬虫框架 ...

  2. Python网络爬虫学习总结

    1.检查robots.txt 让爬虫了解爬取该网站时存在哪些限制. 最小化爬虫被封禁的可能,而且还能发现和网站结构相关的线索. 2.检查网站地图(robots.txt文件中发现的Sitemap文件) ...

  3. Python网络爬虫与信息提取

    1.Requests库入门 Requests安装 用管理员身份打开命令提示符: pip install requests 测试:打开IDLE: >>> import requests ...

  4. Python网络爬虫与信息提取笔记

    直接复制粘贴笔记发现有问题 文档下载地址//download.csdn.net/download/hide_on_rush/12266493 掌握定向网络数据爬取和网页解析的基本能力常用的 Pytho ...

  5. python 网络爬虫全流程教学，从入门到实战（requests+bs4+存储文件）

    python 网络爬虫全流程教学,从入门到实战(requests+bs4+存储文件) requests是一个Python第三方库,用于向URL地址发起请求 bs4 全名 BeautifulSoup4, ...

  6. 关于Python网络爬虫实战笔记①

    python网络爬虫项目实战笔记①如何下载韩寒的博客文章 python网络爬虫项目实战笔记①如何下载韩寒的博客文章 1. 打开韩寒博客列表页面 http://blog.sina.com.cn/s/ar ...

  7. python网络爬虫学习笔记

    python网络爬虫学习笔记 By 钟桓 9月 4 2014 更新日期:9月 4 2014 文章文件夹 1. 介绍: 2. 从简单语句中開始: 3. 传送数据给server 4. HTTP头-描写叙述 ...

  8. Python网络爬虫

    http://blog.csdn.net/pi9nc/article/details/9734437 一.网络爬虫的定义 网络爬虫,即Web Spider,是一个很形象的名字. 把互联网比喻成一个蜘蛛 ...

  9. 【python网络爬虫】之requests相关模块

    python网络爬虫的学习第一步 [python网络爬虫]之0 爬虫与反扒 [python网络爬虫]之一 简单介绍 [python网络爬虫]之二 python uillib库 [python网络爬虫] ...

随机推荐

  1. Springboot中使用自定义参数注解获取 token 中用户数据

    使用自定义参数注解获取 token 中User数据 使用背景 在springboot项目开发中需要从token中获取用户信息时通常的方式要经历几个步骤 拦截器中截获token TokenUtil工具类 ...

  2. C函数库stdio.h概况

    库变量 size_t    这是无符号整数类型,它是 sizeof 关键字的结果. FILE      这是一个适合存储文件流信息的对象类型. fpos_t   这是一个适合存储文件中任何位置的对象类 ...

  3. Nginx 的请求处理流程，你了解吗？

    之前我们已经讲解了 Nginx 的基础内容,接下来我们开始介绍 Nginx 的架构基础. 为什么我们要讨论 Nginx 的架构基础? 因为 Nginx 运行在企业内网的最外层也就是边缘节点,那么他处理 ...

  4. windows下安装nginx和基本配置

    1.下载并安装nginx 到nginx官网上下载相应的安装包,http://nginx.org/en/download.html: 下载之后进行解压,将解压后的文件放到自己心仪的目录下,如下图所示: ...

  5. 如何学习python，个人的一些简单见解

    什么是重要的东西 思考学习是一个什么样的过程 我们每个人都学习过数学,肯定都知道数学的学习过程是什么,我们刚开始学习数学的时候会学习一些简单的公式和概念,比如加减乘除,随着学习的深入,我们发现在大学之 ...

  6. 使用 vue-element-admin 动态路由渲染

    附上:vue-element-admin 官方文档 vue-element-admin https://panjiachen.github.io/vue-element-admin-site/zh/g ...

  7. .NET进阶篇06-async异步、thread多线程2

    知识需要不断积累.总结和沉淀,思考和写作是成长的催化剂 内容目录 一.线程Thread1.生命周期2.后台线程3.静态方法1.线程本地存储2.内存栅栏4.返回值二.线程池ThreadPool1.工作队 ...

  8. .NET Core前后端分离快速开发框架(Core.3.0+AntdVue)

    .NET Core前后端分离快速开发框架(Core.3.0+AntdVue) 目录 引言 简介 环境搭建 开发环境要求 基础数据库构建 数据库设计规范 运行 使用教程 全局配置 快速开发 管理员登录 ...

  9. etcd-operator快速入门完全教程

    Operator是指一类基于Kubernetes自定义资源对象(CRD)和控制器(Controller)的云原生拓展服务,其中CRD定义了每个operator所创建和管理的自定义资源对象,Contro ...

  10. 微信小程序api封装（promise）

    顺带这是我平时公司切换改变网络环境 直接上代码,我相信就可以懂了, //app.js function fetchApi(url, type, params, method) { return new ...