一、什么是网页解析器

　　1、网页解析器名词解释

　　首先让我们来了解下，什么是网页解析器，简单的说就是用来解析html网页的工具，准确的说：它是一个HTML网页信息提取工具，就是从html网页中解析提取出“我们需要的有价值的数据”或者“新的URL链接”的工具。

　　2、网页解析图解

　　

二、python 网页解析器

　　1、常见的python网页

　　常见的python网页解析工具有：re正则匹配、python自带的html.parser模块、第三方库BeautifulSoup(重点学习)以及lxm库。

　　2、常见网页解析器分类

　　以上四种网页解析器，是两种不同类型的解析器：

　　（1）模糊匹配

　　　　re正则表达式即为字符串式的模糊匹配模式；

　　（2）结构化解析

　　　　BeatufiulSoup、html.parser与lxml为“结构化解析”模式，他们都以DOM树结构为标准，进行标签结构信息的提取。（）

　　

　　（3）结构化解析

　　我们在了解什么是结构化解析之前，需要先了解下什么是DOM树这个概念。

　　DOM树解释：即文档对象模型（Document Object Model），其树形标签结构，请见下图。

　　

　　而所谓结构化解析，就是网页解析器它会将下载的整个HTML文档当成一个Doucment对象，然后在利用其上下结构的标签形式，对这个对象进行上下级的标签进行遍历和信息提取操作。

三、BeautifulSoup第三方库

　　1、beautifulsoup4 简介

　　Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python第三方库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

　　2、beautifulsoup4 安装

　　（1）安装方法

　　我直接启动cmd命令行运行环境，使用pip管理工具进行安装，安装命令如下。

 $ pip install beautifulsoup4

　　（2）安装测试

　　安装完成后，我直接启动IDLE环境，引入bs4测试其是否安装成功。

 >>>> from bs4 import BeautifulSoup
 >>>> import bs4
 >>>> print bs4

　　3、BeautifulSoup 语法

　　 BeautifulSoup使用的一般流程就三步走：

　　（1） 创建BeautifulSoup对象

　　（2） 使用BeautifulSoup对象的操作方法find_all 与 find进行解读搜索。

　　　　　如：

　　　　　>>>> soup.find_all('a')

　　　　　>>>> soup.find(‘a’)

　　 （3） 利用DOM结构标签特性，进行更为详细的节点信息提取。

　　

　　4、使用方法（学习重点）

　　（1）第一步：创建BeautifulSoup对象（即DOM对象）

# 引入BeautifulSoup库
 >>>> from bs4 import BeatifulSoup

# 根据HTML网页字符串结构创建BeatifulSoup对象。

>>>> soup = BeautifulSoup(html_doc,                      #HTML文档字符串

                         'html.parser',                  #HTML解析器

                         from_encoding = 'utf-8'         #HTML文档编码

                          )

　　

　　（2）第二步：搜索节点（find_all,find）

　　　　 搜索节点方法：

　　soup.find_all()  --- 查找所有符合查询条件的标签节点，并返回一个列表。

　　soup.find()      --- 查找符合符合查询条件的第一个标签节点。

　　　　实例1：搜索所有<a>标签

 >>>> soup.find_all('a')

　　　　实例2：查找所有标签符合标签名为a，链接符合 /view/123.html的节点

　　　　1)实现方法1：

 >>>> soup.find_all('a', href = '/view/123.html')

　　　　2)实现方法2：

 >>>> soup.find_all('a', href = re.compile(r'/view/\d+\.html'))

　 　　实例3：查找所有标签为名为a，class属性为abc，文字为python的节点　

 >>>> soup.findall('a', class_= 'abc', string = 'python')

　　(3)第三步：访问节点信息

　　比如我们得到节点：<a href = '/view/123.html' class = 'doc_link'> I love Python <a>

　　　　1) 获取节点名称

      >>>> node.name

　　　　2)获取查找到的a节点的href属性

　　　　>>>> node['href']

　　　　或者

　　　　>>>> node.get('href')

　　　　3）获取查找到的a节点的字符串内容

>>>> node.get_text()

　

　　5、BeautifulSoup 信息提取实例

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

# 获取所有a标签节点内容

links = BeautifulSoup('a')

#查找已经获取a标签节点中所有连接

for link in links:

    pirnt(link.name,link['href'],link.get_text())

python 之网页解析器的更多相关文章

  1. Python 网页解析器

    Python 有几种网页解析器? 1. 正则表达式 2.html.parser (Python自动) 3.BeautifulSoup(第三方)(功能比较强大) 是一个HTML/XML的解析器 4.lx ...

  2. 第6章 网页解析器和BeautifulSoup第三方插件

    第一节 网页解析器简介作用:从网页中提取有价值数据的工具python有哪几种网页解析器?其实就是解析HTML页面正则表达式:模糊匹配结构化解析-DOM树:html.parserBeautiful So ...

  3. python3 爬虫五大模块之四：网页解析器

    Python的爬虫框架主要可以分为以下五个部分: 爬虫调度器:用于各个模块之间的通信,可以理解为爬虫的入口与核心(main函数),爬虫的执行策略在此模块进行定义: URL管理器:负责URL的管理,包括 ...

  4. python爬虫网页解析之lxml模块

    08.06自我总结 python爬虫网页解析之lxml模块 一.模块的安装 windows系统下的安装: 方法一:pip3 install lxml 方法二:下载对应系统版本的wheel文件:http ...

  5. python爬虫网页解析之parsel模块

    08.06自我总结 python爬虫网页解析之parsel模块 一.parsel模块安装 官网链接https://pypi.org/project/parsel/1.0.2/ pip install ...

  6. Python的html解析器

    转自https://blog.csdn.net/jqh2002_blog/article/details/24842217 其实比较不同的解析器对html的处理能力是有点麻烦的,因为它们处理的步骤并不 ...

  7. Windows使用Python统一设置解析器路径

    碰到的问题: .py文件放在cgi-bin文件夹下面,这个.py文件都要设置"#!python.exe路径"来告诉CGI如何找解析器解析这个.py的文件,我是想知道这个路径可否统一 ...

  8. Python的网页解析库-PyQuery

    PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...

  9. python configparser配置文件解析器

    一.Configparser 此模块提供实现基本配置语言的ConfigParser类,该语言提供类似于Microsoft Windows INI文件中的结构.我们经常会在一些软件安装目录下看到.ini ...

随机推荐

  1. php file_get_contents超时处理

    因为要用php去向我的虚拟主机管理系统发送开通空间等的请求,需要Post传值,由于开通空间过程很慢,同时需要延时处理.以下找到了一下file_get_contents的超时处理,网上有人用2个方法解决 ...

  2. sublime Text3支持vue高亮，sublime Text3格式化Vue

    第一:让sublime Text3支持Vue高亮 PS:我的sublime版本是3126,我不清楚其它版本的是不是这样设置,不过可以看看思路自己摸索下 1.下载可以让vue格式高亮的插件vue-syn ...

  3. [bzoj2154]Crash的数字表格(mobius反演)

    题意:$\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^m {lcm(i,j)} } $ 解题关键: $\sum\limits_{i = 1}^n {\sum\l ...

  4. 【hdu4570】Multi-bit Trie 区间DP

    标签: 区间dp hdu4570 http://acm.hdu.edu.cn/showproblem.php?pid=4570 题意:这题题意理解变态的.转自大神博客: 这题题意确实有点难懂,起码对于 ...

  5. 微信小程序开发之拼接json数组字符串

    直接上代码   : var imageitem;    var imageitemstring='';    for(var i=0;i< that.data.fbimages.length;i ...

  6. 交互原型设计软件axure rp学习之路(三)

    (三)Axure rp元件的触发事件 l  OnClick(点击时): 鼠标点击事件,除了动态面板的所有的其他元件的点击时触发.比如点击按钮. l  OnMouseEnter(鼠标移入时): 鼠标进入 ...

  7. MVC4 @helper辅助方法

    Razor提供了一种很方便的语法,可以将view页面中部分内容或部分代码抽取出来,变成一个独立的辅助方法.   eg1: @foreach(var item in Model){ <标签tr&g ...

  8. Unite 2017 | 基于Animation Instancing的大规模人群模拟

    在Unite 2017的国内技术专场,Unity技术团队为参会者们带来了Unity引擎功能相关的技术分享.今天这篇文章,将由Unity技术支持工程师金晓宇为大家分享基于Animation Instan ...

  9. Unite 2017 干货整理 优化篇

    Unite 2017 干货整理 优化篇 2017年05月16日 将Unite 2017的一些演讲做了整理.  本篇有内存,CPU.GC.UI.渲染性能指标.Tips几个小节.  内容持续整理中. 内存 ...

  10. 洛谷P2522 [HAOI2011]Problem b（莫比乌斯反演）

    传送门 我们考虑容斥,设$ans(a,b)=\sum_{i=1}^a\sum_{j=1}^b[gcd(a,b)==k]$,这个东西可以和这一题一样去算洛谷P3455 [POI2007]ZAP-Quer ...