一、什么是网页解析器

　　1、网页解析器名词解释

　　首先让我们来了解下，什么是网页解析器，简单的说就是用来解析html网页的工具，准确的说：它是一个HTML网页信息提取工具，就是从html网页中解析提取出“我们需要的有价值的数据”或者“新的URL链接”的工具。

　　2、网页解析图解

　　

二、python 网页解析器

　　1、常见的python网页

　　常见的python网页解析工具有：re正则匹配、python自带的html.parser模块、第三方库BeautifulSoup(重点学习)以及lxm库。

　　2、常见网页解析器分类

　　以上四种网页解析器，是两种不同类型的解析器：

　　（1）模糊匹配

　　　　re正则表达式即为字符串式的模糊匹配模式；

　　（2）结构化解析

　　　　BeatufiulSoup、html.parser与lxml为“结构化解析”模式，他们都以DOM树结构为标准，进行标签结构信息的提取。（）

　　

　　（3）结构化解析

　　我们在了解什么是结构化解析之前，需要先了解下什么是DOM树这个概念。

　　DOM树解释：即文档对象模型（Document Object Model），其树形标签结构，请见下图。

　　

　　而所谓结构化解析，就是网页解析器它会将下载的整个HTML文档当成一个Doucment对象，然后在利用其上下结构的标签形式，对这个对象进行上下级的标签进行遍历和信息提取操作。

三、BeautifulSoup第三方库

　　1、beautifulsoup4 简介

　　Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python第三方库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

　　2、beautifulsoup4 安装

　　（1）安装方法

　　我直接启动cmd命令行运行环境，使用pip管理工具进行安装，安装命令如下。

 $ pip install beautifulsoup4

　　（2）安装测试

　　安装完成后，我直接启动IDLE环境，引入bs4测试其是否安装成功。

 >>>> from bs4 import BeautifulSoup
 >>>> import bs4
 >>>> print bs4

　　3、BeautifulSoup 语法

　　 BeautifulSoup使用的一般流程就三步走：

　　（1） 创建BeautifulSoup对象

　　（2） 使用BeautifulSoup对象的操作方法find_all 与 find进行解读搜索。

　　　　　如：

　　　　　>>>> soup.find_all('a')

　　　　　>>>> soup.find(‘a’)

　　 （3） 利用DOM结构标签特性，进行更为详细的节点信息提取。

　　

　　4、使用方法（学习重点）

　　（1）第一步：创建BeautifulSoup对象（即DOM对象）

# 引入BeautifulSoup库
 >>>> from bs4 import BeatifulSoup

# 根据HTML网页字符串结构创建BeatifulSoup对象。

>>>> soup = BeautifulSoup(html_doc,                      #HTML文档字符串

                         'html.parser',                  #HTML解析器

                         from_encoding = 'utf-8'         #HTML文档编码

                          )

　　

　　（2）第二步：搜索节点（find_all,find）

　　　　 搜索节点方法：

　　soup.find_all()  --- 查找所有符合查询条件的标签节点，并返回一个列表。

　　soup.find()      --- 查找符合符合查询条件的第一个标签节点。

　　　　实例1：搜索所有<a>标签

 >>>> soup.find_all('a')

　　　　实例2：查找所有标签符合标签名为a，链接符合 /view/123.html的节点

　　　　1)实现方法1：

 >>>> soup.find_all('a', href = '/view/123.html')

　　　　2)实现方法2：

 >>>> soup.find_all('a', href = re.compile(r'/view/\d+\.html'))

　 　　实例3：查找所有标签为名为a，class属性为abc，文字为python的节点　

 >>>> soup.findall('a', class_= 'abc', string = 'python')

　　(3)第三步：访问节点信息

　　比如我们得到节点：<a href = '/view/123.html' class = 'doc_link'> I love Python <a>

　　　　1) 获取节点名称

      >>>> node.name

　　　　2)获取查找到的a节点的href属性

　　　　>>>> node['href']

　　　　或者

　　　　>>>> node.get('href')

　　　　3）获取查找到的a节点的字符串内容

>>>> node.get_text()

　

　　5、BeautifulSoup 信息提取实例

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

# 获取所有a标签节点内容

links = BeautifulSoup('a')

#查找已经获取a标签节点中所有连接

for link in links:

    pirnt(link.name,link['href'],link.get_text())

python 之网页解析器的更多相关文章

  1. Python 网页解析器

    Python 有几种网页解析器? 1. 正则表达式 2.html.parser (Python自动) 3.BeautifulSoup(第三方)(功能比较强大) 是一个HTML/XML的解析器 4.lx ...

  2. 第6章 网页解析器和BeautifulSoup第三方插件

    第一节 网页解析器简介作用:从网页中提取有价值数据的工具python有哪几种网页解析器?其实就是解析HTML页面正则表达式:模糊匹配结构化解析-DOM树:html.parserBeautiful So ...

  3. python3 爬虫五大模块之四：网页解析器

    Python的爬虫框架主要可以分为以下五个部分: 爬虫调度器:用于各个模块之间的通信,可以理解为爬虫的入口与核心(main函数),爬虫的执行策略在此模块进行定义: URL管理器:负责URL的管理,包括 ...

  4. python爬虫网页解析之lxml模块

    08.06自我总结 python爬虫网页解析之lxml模块 一.模块的安装 windows系统下的安装: 方法一:pip3 install lxml 方法二:下载对应系统版本的wheel文件:http ...

  5. python爬虫网页解析之parsel模块

    08.06自我总结 python爬虫网页解析之parsel模块 一.parsel模块安装 官网链接https://pypi.org/project/parsel/1.0.2/ pip install ...

  6. Python的html解析器

    转自https://blog.csdn.net/jqh2002_blog/article/details/24842217 其实比较不同的解析器对html的处理能力是有点麻烦的,因为它们处理的步骤并不 ...

  7. Windows使用Python统一设置解析器路径

    碰到的问题: .py文件放在cgi-bin文件夹下面,这个.py文件都要设置"#!python.exe路径"来告诉CGI如何找解析器解析这个.py的文件,我是想知道这个路径可否统一 ...

  8. Python的网页解析库-PyQuery

    PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...

  9. python configparser配置文件解析器

    一.Configparser 此模块提供实现基本配置语言的ConfigParser类,该语言提供类似于Microsoft Windows INI文件中的结构.我们经常会在一些软件安装目录下看到.ini ...

随机推荐

  1. [51nod1102]面积最大的矩形(单调栈||预处理)

    题意:求序列上某区间最小值乘区间长度的最大值. 解题关键:很早就在<挑战程序设计竞赛>中见过了,单调栈模板题,注意弹栈时如何处理后面的元素. 法一:单调栈 #include<bits ...

  2. struts2+jquery+easyui+datagrid+j…

    一.概述 struts2提供了针对json的插件支持.常规来讲我们将如何将对象数组转成json对象在客户端直接调用呢?尤其和jquery的easyui插件配合使用,这个可能会有很多的问题需要我们解决. ...

  3. LeetCode: 389 Find the Difference(easy)

    题目: Given two strings s and t which consist of only lowercase letters. String t is generated by rand ...

  4. 记一次前端面试~终于拿到理想中的offer！

    2019年已经过去一半,终于拿到一直想去的公司offer,也算是实现了今年的一个小目标. 由于这家公司是我从去年到现在最想去的公司,本次换工作一直没有投,希望先积累下面试经验再投. 没有想到居然先在b ...

  5. GoWeb开发_Iris框架讲解（一）

    Golang介绍 Go语言是谷歌推出的一种全新的编程语言,可以在不损失应用程序性能的情况下降低代码的复杂性.谷歌首席软件工程师罗布派克(Rob Pike)说:我们之所以开发Go,是因为过去10多年间软 ...

  6. IDEAL基于maven创建spark程序

    今天创建spark项目遇到一个奇葩问题,困扰了好久,特此记录一下. 1.按照截图创建spark项目 2.项目创建好后,运行报错: Error:scalac: error while loading J ...

  7. 洛谷P2912 牧场散步Pasture Walking

    题目描述 The \(N\) cows (\(2 \leq N \leq 1,000\)) conveniently numbered \(1..N\) are grazing among the N ...

  8. Codeforces Round #563 (Div. 2) B. Ehab Is an Odd Person

    链接:https://codeforces.com/contest/1174/problem/B 题意: You're given an array aa of length nn. You can ...

  9. JavaScript 中Array数组的几个内置函数

    本文章内容均参考<JavaScript高级程序设计第三版> 今天在看JavaScript书籍的时候,看到之前没有了解过的JavaScript中Array的几个内置函数对象,为了之后再开发工 ...

  10. 常见的HTTP状态码说明

    1.说明 HTTP服务器状态代码定义(Status Code Definitions) 做测试的时候,会产生比较多的HTTP错误,查看其错误,有超时的,链接不到图片的,连接不到服务器等等,很多人经常忘 ...