一、什么是网页解析器

　　1、网页解析器名词解释

　　首先让我们来了解下，什么是网页解析器，简单的说就是用来解析html网页的工具，准确的说：它是一个HTML网页信息提取工具，就是从html网页中解析提取出“我们需要的有价值的数据”或者“新的URL链接”的工具。

　　2、网页解析图解

　　

二、python 网页解析器

　　1、常见的python网页

　　常见的python网页解析工具有：re正则匹配、python自带的html.parser模块、第三方库BeautifulSoup(重点学习)以及lxm库。

　　2、常见网页解析器分类

　　以上四种网页解析器，是两种不同类型的解析器：

　　（1）模糊匹配

　　　　re正则表达式即为字符串式的模糊匹配模式；

　　（2）结构化解析

　　　　BeatufiulSoup、html.parser与lxml为“结构化解析”模式，他们都以DOM树结构为标准，进行标签结构信息的提取。（）

　　

　　（3）结构化解析

　　我们在了解什么是结构化解析之前，需要先了解下什么是DOM树这个概念。

　　DOM树解释：即文档对象模型（Document Object Model），其树形标签结构，请见下图。

　　

　　而所谓结构化解析，就是网页解析器它会将下载的整个HTML文档当成一个Doucment对象，然后在利用其上下结构的标签形式，对这个对象进行上下级的标签进行遍历和信息提取操作。

三、BeautifulSoup第三方库

　　1、beautifulsoup4 简介

　　Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python第三方库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

　　2、beautifulsoup4 安装

　　（1）安装方法

　　我直接启动cmd命令行运行环境，使用pip管理工具进行安装，安装命令如下。

 $ pip install beautifulsoup4

　　（2）安装测试

　　安装完成后，我直接启动IDLE环境，引入bs4测试其是否安装成功。

 >>>> from bs4 import BeautifulSoup
 >>>> import bs4
 >>>> print bs4

　　3、BeautifulSoup 语法

　　 BeautifulSoup使用的一般流程就三步走：

　　（1） 创建BeautifulSoup对象

　　（2） 使用BeautifulSoup对象的操作方法find_all 与 find进行解读搜索。

　　　　　如：

　　　　　>>>> soup.find_all('a')

　　　　　>>>> soup.find(‘a’)

　　 （3） 利用DOM结构标签特性，进行更为详细的节点信息提取。

　　

　　4、使用方法（学习重点）

　　（1）第一步：创建BeautifulSoup对象（即DOM对象）

# 引入BeautifulSoup库
 >>>> from bs4 import BeatifulSoup

# 根据HTML网页字符串结构创建BeatifulSoup对象。

>>>> soup = BeautifulSoup(html_doc,                      #HTML文档字符串

                         'html.parser',                  #HTML解析器

                         from_encoding = 'utf-8'         #HTML文档编码

                          )

　　

　　（2）第二步：搜索节点（find_all,find）

　　　　 搜索节点方法：

　　soup.find_all()  --- 查找所有符合查询条件的标签节点，并返回一个列表。

　　soup.find()      --- 查找符合符合查询条件的第一个标签节点。

　　　　实例1：搜索所有<a>标签

 >>>> soup.find_all('a')

　　　　实例2：查找所有标签符合标签名为a，链接符合 /view/123.html的节点

　　　　1)实现方法1：

 >>>> soup.find_all('a', href = '/view/123.html')

　　　　2)实现方法2：

 >>>> soup.find_all('a', href = re.compile(r'/view/\d+\.html'))

　 　　实例3：查找所有标签为名为a，class属性为abc，文字为python的节点　

 >>>> soup.findall('a', class_= 'abc', string = 'python')

　　(3)第三步：访问节点信息

　　比如我们得到节点：<a href = '/view/123.html' class = 'doc_link'> I love Python <a>

　　　　1) 获取节点名称

      >>>> node.name

　　　　2)获取查找到的a节点的href属性

　　　　>>>> node['href']

　　　　或者

　　　　>>>> node.get('href')

　　　　3）获取查找到的a节点的字符串内容

>>>> node.get_text()

　

　　5、BeautifulSoup 信息提取实例

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

# 获取所有a标签节点内容

links = BeautifulSoup('a')

#查找已经获取a标签节点中所有连接

for link in links:

    pirnt(link.name,link['href'],link.get_text())

python 之网页解析器的更多相关文章

  1. Python 网页解析器

    Python 有几种网页解析器? 1. 正则表达式 2.html.parser (Python自动) 3.BeautifulSoup(第三方)(功能比较强大) 是一个HTML/XML的解析器 4.lx ...

  2. 第6章 网页解析器和BeautifulSoup第三方插件

    第一节 网页解析器简介作用:从网页中提取有价值数据的工具python有哪几种网页解析器?其实就是解析HTML页面正则表达式:模糊匹配结构化解析-DOM树:html.parserBeautiful So ...

  3. python3 爬虫五大模块之四：网页解析器

    Python的爬虫框架主要可以分为以下五个部分: 爬虫调度器:用于各个模块之间的通信,可以理解为爬虫的入口与核心(main函数),爬虫的执行策略在此模块进行定义: URL管理器:负责URL的管理,包括 ...

  4. python爬虫网页解析之lxml模块

    08.06自我总结 python爬虫网页解析之lxml模块 一.模块的安装 windows系统下的安装: 方法一:pip3 install lxml 方法二:下载对应系统版本的wheel文件:http ...

  5. python爬虫网页解析之parsel模块

    08.06自我总结 python爬虫网页解析之parsel模块 一.parsel模块安装 官网链接https://pypi.org/project/parsel/1.0.2/ pip install ...

  6. Python的html解析器

    转自https://blog.csdn.net/jqh2002_blog/article/details/24842217 其实比较不同的解析器对html的处理能力是有点麻烦的,因为它们处理的步骤并不 ...

  7. Windows使用Python统一设置解析器路径

    碰到的问题: .py文件放在cgi-bin文件夹下面,这个.py文件都要设置"#!python.exe路径"来告诉CGI如何找解析器解析这个.py的文件,我是想知道这个路径可否统一 ...

  8. Python的网页解析库-PyQuery

    PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...

  9. python configparser配置文件解析器

    一.Configparser 此模块提供实现基本配置语言的ConfigParser类,该语言提供类似于Microsoft Windows INI文件中的结构.我们经常会在一些软件安装目录下看到.ini ...

随机推荐

  1. Depth Buffer

    Up until now there is only one type of output buffer you've made use of, the color buffer. This chap ...

  2. 使用gRPC搭建Server端与Client端

    gRPC简介 gRPC是一种RPC框架技术,采用Protocal Buffers(协议缓存) 作为其接口定义的语言(就是Proto来写接口)和基础的消息交换格式. 在gRPC中,客户端应用程序可以直接 ...

  3. windows cmd 新建和删除文件

    1.新建文件夹 # 新建App文件夹 md app # 或者使用 mkdir mkdir app 2.新建文件 # 进入App文件夹cd app # 新建 index.js 文件 type nul&g ...

  4. ue4 svn备份目录

    http://blog.csdn.net/sh15285118586/article/details/55737480 UE4工程文件备份目录有:Config.Content.Plugins.Sour ...

  5. 利用外部协议让chrome启动外部应用程序

    http://bbs.kafan.cn/thread-1254526-1-1.html 原理:很简单,标题写的很明确了,不懂的google去. 步骤:举个例子,我要启动D:\Programe file ...

  6. Hyperledger Fabric java chaincode 中文乱码问题

    开发java chaincode过程中遇到一个中文乱码的问题.都是官方的demo,请求的sdk是用java写的,部署的chaincode有两种选择(不考虑node),一种go语言写的chaincode ...

  7. 洛谷 P2327 [SCOI2005]扫雷

    P2327 [SCOI2005]扫雷 https://www.luogu.org/problem/show?pid=2327 题目描述 输入输出格式 输入格式: 第一行为N,第二行有N个数,依次为第二 ...

  8. 剑指OFFER之打印1到最大的N位数（九度OJ1515）

    题目描述: 给定一个数字N,打印从1到最大的N位数. 输入: 每个输入文件仅包含一组测试样例.对于每个测试案例,输入一个数字N(1<=N<=5). 输出: 对应每个测试案例,依次打印从1到 ...

  9. 基于 Laravel Route 的 ThinkSNS+ Component

    这里是传送门: <ThinkSNS+ 基于 Laravel master 分支,从 1 到 0,再到 0.1[ThinkSNS+研发日记系列一]> <基于 Laravel 开发 Th ...

  10. 整理的各种模板 （随时弃坑emmmmm）

    线段树: #include<iostream> #include<cstdio> #include<algorithm> #include<cmath> ...