python 之网页解析器
一、什么是网页解析器
1、网页解析器名词解释
首先让我们来了解下,什么是网页解析器,简单的说就是用来解析html网页的工具,准确的说:它是一个HTML网页信息提取工具,就是从html网页中解析提取出“我们需要的有价值的数据”或者“新的URL链接”的工具。
2、网页解析图解
二、python 网页解析器
1、常见的python网页
常见的python网页解析工具有:re正则匹配、python自带的html.parser模块、第三方库BeautifulSoup(重点学习)以及lxm库。
2、常见网页解析器分类
以上四种网页解析器,是两种不同类型的解析器:
(1)模糊匹配
re正则表达式即为字符串式的模糊匹配模式;
(2)结构化解析
BeatufiulSoup、html.parser与lxml为“结构化解析”模式,他们都以DOM树结构为标准,进行标签结构信息的提取。()
(3)结构化解析
我们在了解什么是结构化解析之前,需要先了解下什么是DOM树这个概念。
DOM树解释:即文档对象模型(Document Object Model),其树形标签结构,请见下图。
而所谓结构化解析,就是网页解析器它会将下载的整个HTML文档当成一个Doucment对象,然后在利用其上下结构的标签形式,对这个对象进行上下级的标签进行遍历和信息提取操作。
三、BeautifulSoup第三方库
1、beautifulsoup4 简介
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python第三方库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
2、beautifulsoup4 安装
(1)安装方法
我直接启动cmd命令行运行环境,使用pip管理工具进行安装,安装命令如下。
$ pip install beautifulsoup4
(2)安装测试
安装完成后,我直接启动IDLE环境,引入bs4测试其是否安装成功。
>>>> from bs4 import BeautifulSoup
>>>> import bs4
>>>> print bs4
3、BeautifulSoup 语法
BeautifulSoup使用的一般流程就三步走:
(1) 创建BeautifulSoup对象
(2) 使用BeautifulSoup对象的操作方法find_all 与 find进行解读搜索。
如:
>>>> soup.find_all('a')
>>>> soup.find(‘a’)
(3) 利用DOM结构标签特性,进行更为详细的节点信息提取。
4、使用方法(学习重点)
(1)第一步:创建BeautifulSoup对象(即DOM对象)
# 引入BeautifulSoup库
>>>> from bs4 import BeatifulSoup # 根据HTML网页字符串结构创建BeatifulSoup对象。
>>>> soup = BeautifulSoup(html_doc, #HTML文档字符串
'html.parser', #HTML解析器
from_encoding = 'utf-8' #HTML文档编码
)
(2)第二步:搜索节点(find_all,find)
搜索节点方法:
soup.find_all() --- 查找所有符合查询条件的标签节点,并返回一个列表。 soup.find() --- 查找符合符合查询条件的第一个标签节点。
实例1:搜索所有<a>标签
>>>> soup.find_all('a')
实例2:查找所有标签符合标签名为a,链接符合 /view/123.html的节点
1)实现方法1:
>>>> soup.find_all('a', href = '/view/123.html')
2)实现方法2:
>>>> soup.find_all('a', href = re.compile(r'/view/\d+\.html'))
实例3:查找所有标签为名为a,class属性为abc,文字为python的节点
>>>> soup.findall('a', class_= 'abc', string = 'python')
(3)第三步:访问节点信息
比如我们得到节点:<a href = '/view/123.html' class = 'doc_link'> I love Python <a>
1) 获取节点名称
>>>> node.name
2)获取查找到的a节点的href属性
>>>> node['href'] 或者 >>>> node.get('href')
3)获取查找到的a节点的字符串内容
>>>> node.get_text()
5、BeautifulSoup 信息提取实例
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p> <p class="story">...</p>
""" # 获取所有a标签节点内容
links = BeautifulSoup('a') #查找已经获取a标签节点中所有连接
for link in links:
pirnt(link.name,link['href'],link.get_text())
python 之网页解析器的更多相关文章
- Python 网页解析器
Python 有几种网页解析器? 1. 正则表达式 2.html.parser (Python自动) 3.BeautifulSoup(第三方)(功能比较强大) 是一个HTML/XML的解析器 4.lx ...
- 第6章 网页解析器和BeautifulSoup第三方插件
第一节 网页解析器简介作用:从网页中提取有价值数据的工具python有哪几种网页解析器?其实就是解析HTML页面正则表达式:模糊匹配结构化解析-DOM树:html.parserBeautiful So ...
- python3 爬虫五大模块之四:网页解析器
Python的爬虫框架主要可以分为以下五个部分: 爬虫调度器:用于各个模块之间的通信,可以理解为爬虫的入口与核心(main函数),爬虫的执行策略在此模块进行定义: URL管理器:负责URL的管理,包括 ...
- python爬虫网页解析之lxml模块
08.06自我总结 python爬虫网页解析之lxml模块 一.模块的安装 windows系统下的安装: 方法一:pip3 install lxml 方法二:下载对应系统版本的wheel文件:http ...
- python爬虫网页解析之parsel模块
08.06自我总结 python爬虫网页解析之parsel模块 一.parsel模块安装 官网链接https://pypi.org/project/parsel/1.0.2/ pip install ...
- Python的html解析器
转自https://blog.csdn.net/jqh2002_blog/article/details/24842217 其实比较不同的解析器对html的处理能力是有点麻烦的,因为它们处理的步骤并不 ...
- Windows使用Python统一设置解析器路径
碰到的问题: .py文件放在cgi-bin文件夹下面,这个.py文件都要设置"#!python.exe路径"来告诉CGI如何找解析器解析这个.py的文件,我是想知道这个路径可否统一 ...
- Python的网页解析库-PyQuery
PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...
- python configparser配置文件解析器
一.Configparser 此模块提供实现基本配置语言的ConfigParser类,该语言提供类似于Microsoft Windows INI文件中的结构.我们经常会在一些软件安装目录下看到.ini ...
随机推荐
- [51nod1102]面积最大的矩形(单调栈||预处理)
题意:求序列上某区间最小值乘区间长度的最大值. 解题关键:很早就在<挑战程序设计竞赛>中见过了,单调栈模板题,注意弹栈时如何处理后面的元素. 法一:单调栈 #include<bits ...
- struts2+jquery+easyui+datagrid+j…
一.概述 struts2提供了针对json的插件支持.常规来讲我们将如何将对象数组转成json对象在客户端直接调用呢?尤其和jquery的easyui插件配合使用,这个可能会有很多的问题需要我们解决. ...
- LeetCode: 389 Find the Difference(easy)
题目: Given two strings s and t which consist of only lowercase letters. String t is generated by rand ...
- 记一次前端面试~终于拿到理想中的offer!
2019年已经过去一半,终于拿到一直想去的公司offer,也算是实现了今年的一个小目标. 由于这家公司是我从去年到现在最想去的公司,本次换工作一直没有投,希望先积累下面试经验再投. 没有想到居然先在b ...
- GoWeb开发_Iris框架讲解(一)
Golang介绍 Go语言是谷歌推出的一种全新的编程语言,可以在不损失应用程序性能的情况下降低代码的复杂性.谷歌首席软件工程师罗布派克(Rob Pike)说:我们之所以开发Go,是因为过去10多年间软 ...
- IDEAL基于maven创建spark程序
今天创建spark项目遇到一个奇葩问题,困扰了好久,特此记录一下. 1.按照截图创建spark项目 2.项目创建好后,运行报错: Error:scalac: error while loading J ...
- 洛谷P2912 牧场散步Pasture Walking
题目描述 The \(N\) cows (\(2 \leq N \leq 1,000\)) conveniently numbered \(1..N\) are grazing among the N ...
- Codeforces Round #563 (Div. 2) B. Ehab Is an Odd Person
链接:https://codeforces.com/contest/1174/problem/B 题意: You're given an array aa of length nn. You can ...
- JavaScript 中Array数组的几个内置函数
本文章内容均参考<JavaScript高级程序设计第三版> 今天在看JavaScript书籍的时候,看到之前没有了解过的JavaScript中Array的几个内置函数对象,为了之后再开发工 ...
- 常见的HTTP状态码说明
1.说明 HTTP服务器状态代码定义(Status Code Definitions) 做测试的时候,会产生比较多的HTTP错误,查看其错误,有超时的,链接不到图片的,连接不到服务器等等,很多人经常忘 ...