一、什么是网页解析器

　　1、网页解析器名词解释

　　首先让我们来了解下，什么是网页解析器，简单的说就是用来解析html网页的工具，准确的说：它是一个HTML网页信息提取工具，就是从html网页中解析提取出“我们需要的有价值的数据”或者“新的URL链接”的工具。

　　2、网页解析图解

　　

二、python 网页解析器

　　1、常见的python网页

　　常见的python网页解析工具有：re正则匹配、python自带的html.parser模块、第三方库BeautifulSoup(重点学习)以及lxm库。

　　2、常见网页解析器分类

　　以上四种网页解析器，是两种不同类型的解析器：

　　（1）模糊匹配

　　　　re正则表达式即为字符串式的模糊匹配模式；

　　（2）结构化解析

　　　　BeatufiulSoup、html.parser与lxml为“结构化解析”模式，他们都以DOM树结构为标准，进行标签结构信息的提取。（）

　　

　　（3）结构化解析

　　我们在了解什么是结构化解析之前，需要先了解下什么是DOM树这个概念。

　　DOM树解释：即文档对象模型（Document Object Model），其树形标签结构，请见下图。

　　

　　而所谓结构化解析，就是网页解析器它会将下载的整个HTML文档当成一个Doucment对象，然后在利用其上下结构的标签形式，对这个对象进行上下级的标签进行遍历和信息提取操作。

三、BeautifulSoup第三方库

　　1、beautifulsoup4 简介

　　Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python第三方库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

　　2、beautifulsoup4 安装

　　（1）安装方法

　　我直接启动cmd命令行运行环境，使用pip管理工具进行安装，安装命令如下。

 $ pip install beautifulsoup4

　　（2）安装测试

　　安装完成后，我直接启动IDLE环境，引入bs4测试其是否安装成功。

 >>>> from bs4 import BeautifulSoup
 >>>> import bs4
 >>>> print bs4

　　3、BeautifulSoup 语法

　　 BeautifulSoup使用的一般流程就三步走：

　　（1） 创建BeautifulSoup对象

　　（2） 使用BeautifulSoup对象的操作方法find_all 与 find进行解读搜索。

　　　　　如：

　　　　　>>>> soup.find_all('a')

　　　　　>>>> soup.find(‘a’)

　　 （3） 利用DOM结构标签特性，进行更为详细的节点信息提取。

　　

　　4、使用方法（学习重点）

　　（1）第一步：创建BeautifulSoup对象（即DOM对象）

# 引入BeautifulSoup库
 >>>> from bs4 import BeatifulSoup

# 根据HTML网页字符串结构创建BeatifulSoup对象。

>>>> soup = BeautifulSoup(html_doc,                      #HTML文档字符串

                         'html.parser',                  #HTML解析器

                         from_encoding = 'utf-8'         #HTML文档编码

                          )

　　

　　（2）第二步：搜索节点（find_all,find）

　　　　 搜索节点方法：

　　soup.find_all()  --- 查找所有符合查询条件的标签节点，并返回一个列表。

　　soup.find()      --- 查找符合符合查询条件的第一个标签节点。

　　　　实例1：搜索所有<a>标签

 >>>> soup.find_all('a')

　　　　实例2：查找所有标签符合标签名为a，链接符合 /view/123.html的节点

　　　　1)实现方法1：

 >>>> soup.find_all('a', href = '/view/123.html')

　　　　2)实现方法2：

 >>>> soup.find_all('a', href = re.compile(r'/view/\d+\.html'))

　 　　实例3：查找所有标签为名为a，class属性为abc，文字为python的节点　

 >>>> soup.findall('a', class_= 'abc', string = 'python')

　　(3)第三步：访问节点信息

　　比如我们得到节点：<a href = '/view/123.html' class = 'doc_link'> I love Python <a>

　　　　1) 获取节点名称

      >>>> node.name

　　　　2)获取查找到的a节点的href属性

　　　　>>>> node['href']

　　　　或者

　　　　>>>> node.get('href')

　　　　3）获取查找到的a节点的字符串内容

>>>> node.get_text()

　

　　5、BeautifulSoup 信息提取实例

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

# 获取所有a标签节点内容

links = BeautifulSoup('a')

#查找已经获取a标签节点中所有连接

for link in links:

    pirnt(link.name,link['href'],link.get_text())

python 之网页解析器的更多相关文章

  1. Python 网页解析器

    Python 有几种网页解析器? 1. 正则表达式 2.html.parser (Python自动) 3.BeautifulSoup(第三方)(功能比较强大) 是一个HTML/XML的解析器 4.lx ...

  2. 第6章 网页解析器和BeautifulSoup第三方插件

    第一节 网页解析器简介作用:从网页中提取有价值数据的工具python有哪几种网页解析器?其实就是解析HTML页面正则表达式:模糊匹配结构化解析-DOM树:html.parserBeautiful So ...

  3. python3 爬虫五大模块之四：网页解析器

    Python的爬虫框架主要可以分为以下五个部分: 爬虫调度器:用于各个模块之间的通信,可以理解为爬虫的入口与核心(main函数),爬虫的执行策略在此模块进行定义: URL管理器:负责URL的管理,包括 ...

  4. python爬虫网页解析之lxml模块

    08.06自我总结 python爬虫网页解析之lxml模块 一.模块的安装 windows系统下的安装: 方法一:pip3 install lxml 方法二:下载对应系统版本的wheel文件:http ...

  5. python爬虫网页解析之parsel模块

    08.06自我总结 python爬虫网页解析之parsel模块 一.parsel模块安装 官网链接https://pypi.org/project/parsel/1.0.2/ pip install ...

  6. Python的html解析器

    转自https://blog.csdn.net/jqh2002_blog/article/details/24842217 其实比较不同的解析器对html的处理能力是有点麻烦的,因为它们处理的步骤并不 ...

  7. Windows使用Python统一设置解析器路径

    碰到的问题: .py文件放在cgi-bin文件夹下面,这个.py文件都要设置"#!python.exe路径"来告诉CGI如何找解析器解析这个.py的文件,我是想知道这个路径可否统一 ...

  8. Python的网页解析库-PyQuery

    PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...

  9. python configparser配置文件解析器

    一.Configparser 此模块提供实现基本配置语言的ConfigParser类,该语言提供类似于Microsoft Windows INI文件中的结构.我们经常会在一些软件安装目录下看到.ini ...

随机推荐

  1. HTML5学习笔记（三）新属性、功能

    HTML5 拖放 1.元素的 draggable 属性设置为 true 2.ondragstart 属性调用函数,函数中dataTransfer.setData() 方法设置被拖数据的数据类型和值 3 ...

  2. 3dmax沿立方体边扩展出面

    这个做法有问题,接缝问题处理起来很麻烦,立方体与平面的拼接基本就做不到 做建筑时,一般先做墙,然后通过墙扩展出地表,这么做可以保证墙和地表是一体的,避免产生缝隙 1 新建2个Cube 2 转换为可编辑 ...

  3. 前端三部曲之Html -- 1（html的基本结构和常见的meta标签的作用）

    一个H5页面的基本结构是什么 我么在编辑器中输入html:5可以得到 <!DOCTYPE html> <!-- 声明文档类型 --> <html lang="e ...

  4. Java基础--基本规则、语法

    一.关键字.保留字.标识符.常量.变量 1.关键字:使用某种语言赋予特殊含义的单词. 2.保留字:没有赋予特殊含义,但以后可能会使用的单词. 3.标识符:自定义的单词,以数字.字母.下划线以及$符组成 ...

  5. 关于 Overtrue 的拼音库 overtrue/pinyin 为何 travis 为 error

    什么是ThinkSNS ? ThinkSNS(简称TS),一款全平台综合性社交系统,为国内外大中小企业和创业者提供社会化软件研发及技术解决方案,目前最新版本为ThinkSNS+(简称TS+).Thin ...

  6. 爬虫基础(1):urllib库

    urllib库 urllib库是python中的一个基本网络请求库.用于模拟浏览器的行为,向指定服务器发送请求,并接收返回的数据. 在python3中所有的网络请求相关函数都集中在urllib.req ...

  7. oracle merge 目标表以及源表存在重复列的问题（转）

    SQL> select * from t_source;                                                                      ...

  8. TaskFactory单例模式利用xml

    /** * * Copyright (c) 1995-2009 Wonders Information Co.,Ltd. * 1518 Lianhang Rd,Shanghai 201112.P.R. ...

  9. python中“生成器”、“迭代器”、“闭包”、“装饰器”的深入理解

    python中"生成器"."迭代器"."闭包"."装饰器"的深入理解 一.生成器 1.生成器定义:在python中,一边 ...

  10. IIS中的 Asp.Net Core 和 dotnet watch

    在基于传统的.NET Framework的Asp.Net Mvc的时候,本地开发环境中可以在IIS中建立一个站点,可以直接把站点的目录指向asp.net mvc的项目的根目录.然后build一下就可以 ...