Python的爬虫框架主要可以分为以下五个部分:

爬虫调度器:用于各个模块之间的通信,可以理解为爬虫的入口与核心(main函数),爬虫的执行策略在此模块进行定义;

URL管理器:负责URL的管理,包括带爬取和已爬取的URL、已经提供相应的接口函数(类似增删改查的函数)

网页下载器:负责通过URL将网页进行下载,主要是进行相应的伪装处理模拟浏览器访问、下载网页

网页解析器:负责网页信息的解析,这里是解析方式视具体需求来确定

信息采集器:负责将解析后的信息进行存储、显示等处理


代码示例是爬取CSDN博主下的所有文章为例,文章仅作为笔记使用,理论知识rarely

一、网页解析器简介

      解析器的工作就是按需求对网页进行解析,并将解析信息进行处理。

      解析器可以选择的工具有很多种,在这个博客里使用的时BeautifulSoup + 正则表达式进行信息的提取。BeautifulSoup使用起来比较方便(其他的目前还不会,没接触) ,因为不熟,所以不做技术说明,近将经过尝试的结果呈现。

二、网页解析器示例:(爬取CSDN博主下的所有文章

# author : sunzd
# date : 2019/3/22
# position: chengdu from bs4 import BeautifulSoup
from urllib import error
import re class HtmlParser(object):
def __init__(self):
# self.articles = {}
# self.articles_url = set()
# self.articles_title = set()
# self.articles_date = set()
self.url_page = None '''
print(link.parent.span) :
<span class="article-type type-1">原</span>
print(link.parent.span.text) :
节点span的内容:原
print(link.parent.get('href')) :
https://blog.csdn.net/s2603898260/article/details/85067018
https://blog.csdn.net/s2603898260/article/details/85020006
'''
'''
get_article_urls最后的结果只获取了文章的URL,其中大部分代码为调试记录,没删除
'''
def get_article_urls(self, page_url, soup):
# 1. 根据文章类型来确定文章信息
# links = soup.find_all('span', class_=re.compile(r"article-type type-[0-9]"))
# article_titles = soup.find_all('div', attrs={'class':"article-item-box csdn-tracking-statistics",'data-articleid':"\d+"})
# article_info = soup.find_all('div', class_="info-box d-flex align-content-center") '''
<div>
--< h4 >
--< p >
--< div >
links = soup.find_all('div', attrs={'class':"article-item-box csdn-tracking-statistics"})
# 获取文章标题信息
print(links[0].h4) # ok
# 获取文章简介信息
print(links[0].div.p)
# 获取文章发表时间、阅读量信息
for child in links[0].div.children:
if len(child) != 3: # 去除空的子标签
continue
print(child.span.text) # print(child.span)
if len(links) > 0:
for link in links:
print(link.next_sibling.next_sibling.next_sibling.next_sibling)
print(link)
print("-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-")
'''
articles_url = set()
links = soup.find_all('div', attrs={'class':"article-item-box csdn-tracking-statistics"})
if len(links) > 0:
for link in links:
try:
if link.attrs['style']: # 去除第一个不属于该博主的链接
continue
except KeyError as e:
articles_url.add(link.h4.a.get('href')) # ******文章链接******
# print(link.h4.a.attrs['href']) #get attrs在此等价
# tmp = link.h4.a.text
# tmp = tmp.replace("原", "")
# tmp = tmp.replace("转", "")
# tmp = tmp.replace("\n", "")
# self.articles_title.add(tmp.replace(" ", "")) # 文章标题
# for child in link.div.children:
# if len(child) != 3: # 去除空的子标签
# continue
# # print(child.span.text) # print(child.span)
# self.article_date.add() # self.articles = dict(zip(self.articles_url, self.articles_title)) 将两个列表合并为字典
# tmp = self.articles_url.pop()
# print(self.articles_url)
# print("-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-") return articles_url '''
第一页:
<li data-page="1" class="ui-pager focus">1</li>
<li class="js-page-next js-page-action ui-pager">下一页</li>
<li class="js-page-last js-page-action ui-pager"></li>
第二页:
<li data-page="2" class="ui-pager focus">2</li>
<li class="js-page-next js-page-action ui-pager ui-pager-disabled">下一页</li>
<li class="js-page-last js-page-action ui-pager ui-pager-disabled"></li>
'''
def get_page_url(self, page_url, soup):
if page_url is None or soup is None:
return None # https://blog.csdn.net/s2603898260/article/list/1?
# 获取当前页
cur_page = soup.find('li', attrs={'class':"ui-pager focus"}) #attrs={'class':"ui-pager focus"}
print(cur_page)
# 判断是否有下一页
# links = soup.find('li', class_=re.compile(r"js-page-last.+ui-pager-disabled"))
links = soup.find('li', class_="js-page-next js-page-action ui-pager ui-pager-disabled") if links is None or len(links) == 0:
self.url_page = None
return self.url_page
# 寻找下一页
# TODO: return self.url_page def parser(self, page_url, html):
if html is None or page_url is None:
print("html or page_url is None")
return None
soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
articles = self.get_article_urls(page_url, soup)
#new_page = self.get_page_url(page_url, soup) return articles

三、上述代码用到的知识点:

1. BeautifulSoup Note:

soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')      # 将html转换为标记树的形式soup

使用find_all()寻找符合属性的所有节点信息:

article_titles = soup.find_all('div', attrs={'class':"article-item-box csdn-tracking-statistics",'data-articleid':"\d+"})

可以使用find()寻找符合属性的第一个节点信息,一般这个节点为大节点.(以下为假设)

 如博客的正文节点<div>,可以先通过find找到<div>, 然后在一次遍历其他的节点、寻找所有符合要求的图片等 
# find('div',attrs={}).find_all('p',attrs={})
# <div>
 # ----< h4 >
 # ----< p >
 # ----< div >  
# ---------< p >
# ---------< p >
# ---------< p > # 获取文章标题信息
print(links[0].h4) # ok
# 获取文章简介信息
print(links[0].div.p)
# 获取文章发表时间、阅读量信息
for child in links[0].div.children:
if len(child) != 3: # 去除空的子标签
continue
# print(child.span.text) #打印节点文本信息
# print(child.span) #打印整个节点信息

打印节点属性信息:

# print(link.h4.a.get('href'))    # 文章链接
# print(link.h4.a.attrs['href']) # 文章链接 两个等价

python3 爬虫五大模块之四:网页解析器的更多相关文章

  1. python3 爬虫五大模块之五:信息采集器

    Python的爬虫框架主要可以分为以下五个部分: 爬虫调度器:用于各个模块之间的通信,可以理解为爬虫的入口与核心(main函数),爬虫的执行策略在此模块进行定义: URL管理器:负责URL的管理,包括 ...

  2. python3 爬虫五大模块之三:网页下载器

    Python的爬虫框架主要可以分为以下五个部分: 爬虫调度器:用于各个模块之间的通信,可以理解为爬虫的入口与核心(main函数),爬虫的执行策略在此模块进行定义: URL管理器:负责URL的管理,包括 ...

  3. python3 爬虫五大模块之二:URL管理器

    Python的爬虫框架主要可以分为以下五个部分: 爬虫调度器:用于各个模块之间的通信,可以理解为爬虫的入口与核心(main函数),爬虫的执行策略在此模块进行定义: URL管理器:负责URL的管理,包括 ...

  4. python3 爬虫五大模块之一:爬虫调度器

    Python的爬虫框架主要可以分为以下五个部分: 爬虫调度器:用于各个模块之间的通信,可以理解为爬虫的入口与核心(main函数),爬虫的执行策略在此模块进行定义: URL管理器:负责URL的管理,包括 ...

  5. 第6章 网页解析器和BeautifulSoup第三方插件

    第一节 网页解析器简介作用:从网页中提取有价值数据的工具python有哪几种网页解析器?其实就是解析HTML页面正则表达式:模糊匹配结构化解析-DOM树:html.parserBeautiful So ...

  6. python 之网页解析器

    一.什么是网页解析器 1.网页解析器名词解释 首先让我们来了解下,什么是网页解析器,简单的说就是用来解析html网页的工具,准确的说:它是一个HTML网页信息提取工具,就是从html网页中解析提取出“ ...

  7. Python 网页解析器

    Python 有几种网页解析器? 1. 正则表达式 2.html.parser (Python自动) 3.BeautifulSoup(第三方)(功能比较强大) 是一个HTML/XML的解析器 4.lx ...

  8. 爬虫笔记(四)------关于BeautifulSoup4解析器与编码

    前言:本机环境配置:ubuntu 14.10,python 2.7,BeautifulSoup4 一.解析器概述 如同前几章笔记,当我们输入: soup=BeautifulSoup(response. ...

  9. Python模块:配置文件解析器configparser

    版权声明:本文为博主皮皮http://blog.csdn.net/pipisorry原创文章,未经博主同意不得转载. https://blog.csdn.net/pipisorry/article/d ...

随机推荐

  1. 修改Eureka的metadata脚本

    最近研究了一下Spring Cloud的灰度发布, 发现方法真是多. 这里先提供一个修改Eureka注册中心里的instance实例的metadata的脚本, 可以方便地用来测试效果. 使用举例: s ...

  2. SpringBoot 源码解析笔记

    作者笔记仓库:https://github.com/seazean/javanotes 欢迎各位关注我的笔记仓库,clone 仓库到本地后使用 Typora 阅读效果更好. 如果大家只关注 Sprin ...

  3. C++ //构造函数的分类及调用 //分类 // 按照参数分类 无参构造函数(默认构造) 有参构造函数 //按照类型分类 普通构造 拷贝构造

    1 //构造函数的分类及调用 2 //分类 3 // 按照参数分类 无参构造函数(默认构造) 有参构造函数 4 //按照类型分类 普通构造 拷贝构造 5 6 #include <iostream ...

  4. C++STL—string类

    string容器 1.1 string容器的基本概念 string容器是一个类 这个容器中有一个指针,指针维护了一个数组 string容器提供copy.find.insert.replace等等功能 ...

  5. 《手把手教你》系列技巧篇(十六)-java+ selenium自动化测试-元素定位大法之By xpath下卷(详细教程)

    1.简介 按宏哥计划,本文继续介绍WebDriver关于元素定位大法,这篇介绍定位倒数二个方法:By xpath.xpath 的定位方法, 非常强大.  使用这种方法几乎可以定位到页面上的任意元素. ...

  6. Alibaba-技术专区-RocketMQ 延迟消息实现原理和源码分析

    痛点背景 业务场景 假设有这么一个需求,用户下单后如果30分钟未支付,则该订单需要被关闭.你会怎么做? 之前方案 最简单的做法,可以服务端启动个定时器,隔个几秒扫描数据库中待支付的订单,如果(当前时间 ...

  7. Shell-10-标准输入输出错误

    标准输入输出和错误 标准输入.输出和错误 重定向符号 示例 1 1 标准输出 2 错误输出 2 标准输出和错误输出同时定向到一个文件中 >share.txt 2>&1 3 > ...

  8. Bootstrap 使用小记

    1,使用Bootstrap做页面布局,使用card容器 <div class="card"> <div class="card-header" ...

  9. NOIP 模拟 $34\; \rm Equation$

    题解 \(by\;zj\varphi\) 发现每个点的权值都可以表示成 \(\rm k\pm x\). 那么对于新增的方程,\(\rm x_u+x_v=k\pm x/0\) 且 \(\rm x_u+x ...

  10. NOIP 模拟 $31\; \rm Time$

    题解 \(by\;zj\varphi\) 考虑如何才能最优. 每次一定把当前最小值移动到边界上,那么看它向左还是向右移更优. 用树状数组维护一下即可,复杂度 \(\mathcal O\rm (nlog ...