一、什么是网页解析器

　　1、网页解析器名词解释

　　首先让我们来了解下，什么是网页解析器，简单的说就是用来解析html网页的工具，准确的说：它是一个HTML网页信息提取工具，就是从html网页中解析提取出“我们需要的有价值的数据”或者“新的URL链接”的工具。

　　2、网页解析图解

　　

二、python 网页解析器

　　1、常见的python网页

　　常见的python网页解析工具有：re正则匹配、python自带的html.parser模块、第三方库BeautifulSoup(重点学习)以及lxm库。

　　2、常见网页解析器分类

　　以上四种网页解析器，是两种不同类型的解析器：

　　（1）模糊匹配

　　　　re正则表达式即为字符串式的模糊匹配模式；

　　（2）结构化解析

　　　　BeatufiulSoup、html.parser与lxml为“结构化解析”模式，他们都以DOM树结构为标准，进行标签结构信息的提取。（）

　　

　　（3）结构化解析

　　我们在了解什么是结构化解析之前，需要先了解下什么是DOM树这个概念。

　　DOM树解释：即文档对象模型（Document Object Model），其树形标签结构，请见下图。

　　

　　而所谓结构化解析，就是网页解析器它会将下载的整个HTML文档当成一个Doucment对象，然后在利用其上下结构的标签形式，对这个对象进行上下级的标签进行遍历和信息提取操作。

三、BeautifulSoup第三方库

　　1、beautifulsoup4 简介

　　Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python第三方库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

　　2、beautifulsoup4 安装

　　（1）安装方法

　　我直接启动cmd命令行运行环境，使用pip管理工具进行安装，安装命令如下。

 $ pip install beautifulsoup4

　　（2）安装测试

　　安装完成后，我直接启动IDLE环境，引入bs4测试其是否安装成功。

 >>>> from bs4 import BeautifulSoup
 >>>> import bs4
 >>>> print bs4

　　3、BeautifulSoup 语法

　　 BeautifulSoup使用的一般流程就三步走：

　　（1） 创建BeautifulSoup对象

　　（2） 使用BeautifulSoup对象的操作方法find_all 与 find进行解读搜索。

　　　　　如：

　　　　　>>>> soup.find_all('a')

　　　　　>>>> soup.find(‘a’)

　　 （3） 利用DOM结构标签特性，进行更为详细的节点信息提取。

　　

　　4、使用方法（学习重点）

　　（1）第一步：创建BeautifulSoup对象（即DOM对象）

# 引入BeautifulSoup库
 >>>> from bs4 import BeatifulSoup

# 根据HTML网页字符串结构创建BeatifulSoup对象。

>>>> soup = BeautifulSoup(html_doc,                      #HTML文档字符串

                         'html.parser',                  #HTML解析器

                         from_encoding = 'utf-8'         #HTML文档编码

                          )

　　

　　（2）第二步：搜索节点（find_all,find）

　　　　 搜索节点方法：

　　soup.find_all()  --- 查找所有符合查询条件的标签节点，并返回一个列表。

　　soup.find()      --- 查找符合符合查询条件的第一个标签节点。

　　　　实例1：搜索所有<a>标签

 >>>> soup.find_all('a')

　　　　实例2：查找所有标签符合标签名为a，链接符合 /view/123.html的节点

　　　　1)实现方法1：

 >>>> soup.find_all('a', href = '/view/123.html')

　　　　2)实现方法2：

 >>>> soup.find_all('a', href = re.compile(r'/view/\d+\.html'))

　 　　实例3：查找所有标签为名为a，class属性为abc，文字为python的节点　

 >>>> soup.findall('a', class_= 'abc', string = 'python')

　　(3)第三步：访问节点信息

　　比如我们得到节点：<a href = '/view/123.html' class = 'doc_link'> I love Python <a>

　　　　1) 获取节点名称

      >>>> node.name

　　　　2)获取查找到的a节点的href属性

　　　　>>>> node['href']

　　　　或者

　　　　>>>> node.get('href')

　　　　3）获取查找到的a节点的字符串内容

>>>> node.get_text()

　

　　5、BeautifulSoup 信息提取实例

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

# 获取所有a标签节点内容

links = BeautifulSoup('a')

#查找已经获取a标签节点中所有连接

for link in links:

    pirnt(link.name,link['href'],link.get_text())

python 之网页解析器的更多相关文章

  1. Python 网页解析器

    Python 有几种网页解析器? 1. 正则表达式 2.html.parser (Python自动) 3.BeautifulSoup(第三方)(功能比较强大) 是一个HTML/XML的解析器 4.lx ...

  2. 第6章 网页解析器和BeautifulSoup第三方插件

    第一节 网页解析器简介作用:从网页中提取有价值数据的工具python有哪几种网页解析器?其实就是解析HTML页面正则表达式:模糊匹配结构化解析-DOM树:html.parserBeautiful So ...

  3. python3 爬虫五大模块之四：网页解析器

    Python的爬虫框架主要可以分为以下五个部分: 爬虫调度器:用于各个模块之间的通信,可以理解为爬虫的入口与核心(main函数),爬虫的执行策略在此模块进行定义: URL管理器:负责URL的管理,包括 ...

  4. python爬虫网页解析之lxml模块

    08.06自我总结 python爬虫网页解析之lxml模块 一.模块的安装 windows系统下的安装: 方法一:pip3 install lxml 方法二:下载对应系统版本的wheel文件:http ...

  5. python爬虫网页解析之parsel模块

    08.06自我总结 python爬虫网页解析之parsel模块 一.parsel模块安装 官网链接https://pypi.org/project/parsel/1.0.2/ pip install ...

  6. Python的html解析器

    转自https://blog.csdn.net/jqh2002_blog/article/details/24842217 其实比较不同的解析器对html的处理能力是有点麻烦的,因为它们处理的步骤并不 ...

  7. Windows使用Python统一设置解析器路径

    碰到的问题: .py文件放在cgi-bin文件夹下面,这个.py文件都要设置"#!python.exe路径"来告诉CGI如何找解析器解析这个.py的文件,我是想知道这个路径可否统一 ...

  8. Python的网页解析库-PyQuery

    PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...

  9. python configparser配置文件解析器

    一.Configparser 此模块提供实现基本配置语言的ConfigParser类,该语言提供类似于Microsoft Windows INI文件中的结构.我们经常会在一些软件安装目录下看到.ini ...

随机推荐

  1. H.264有四种画质级别

    H264相关知识-poseidonqiu-ChinaUnix博客 H.264有四种画质级别分别是BP.EP.MP.HP: 1.BP-Baseline Profile:基本画质.支持I/P 帧,只支持无 ...

  2. MySQL 之 扩展例子

    扩展例子 插入一条记录 INSERT INTO 表名 [(字段1,…,字段n)] VALUES (值1,…,值n) 插入查询的结果 INSERT INTO 表名 (字段1,…,字段n) VALUES ...

  3. 2014 SCAU_ACM 暑期集训

    暑期集训,希望能在这段时间获得对得起自己的提升吧 时间:7.11~8.30 集训各专题内容: 1.贪心,递推,基础DP(背包,区间DP,状态压缩DP(去年出了不少于2道铜牌题,看着办)) 2.搜索(B ...

  4. Python模拟登录代码

    注:访问http://127.0.0.1:8080/user/6,总是会要求必须有登录权限,也就是,若未登录,访问该页面,会跳转到登陆页面. 全自动模拟登录 半自动模拟登录:

  5. Umbraco examine search media folder 中的pdf文件

    可以参考的文章 http://sleslie.me/2015/selecting-media-using-razor-slow-performance-examine-to-the-rescue/ h ...

  6. UITableView设置Cell左滑多个按钮（编辑，删除，置顶等）

    一.iOS7不支持cell多个按钮这个时候可以使用一个三方库JZTableViewRowAction,引用类扩展文件并实现其代理方法 JZTableViewRowAction下载地址:http://d ...

  7. 利用URL重写隐藏复杂的URL

    第一步:模拟映射页面 我们想在一个页面上点击guid.html链接,跳转到比较复杂URL的guid_{492f3e0b-848e-11da-9550-00e08161165f}.html页面.即定义一 ...

  8. 读取静态Json文件

    创建web项目: string Json = string.Empty; string filePath = Server.MapPath("/***.json");//根目录下的 ...

  9. SP2-0734: 未知的命令开头 “IMP ” - 忽略了剩余的行

    描述 在cmd命令窗口中使用imp命令将dmp文件导入到oracle中时,出现了错误: SP2-0734: 未知的命令开头 “IMP ” - 忽略了剩余的行,如图 原因 imp命令是oracle提供的 ...

  10. cf777D(贪心&&c_str()函数)

    题目链接:http://codeforces.com/contest/777/problem/D 题意:给出n行以#开头的字符串,从原字符串尾部删除尽量少的字符串,使其为非降序排列. 思路:我们可以从 ...