简介

　　先简略介绍一下。实际上，HTMLParser是python用来解析HTML的内置模块。它可以分析出HTML里面的标签、数据等等，是一种处理HTML的简便途径。HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParser派生出新的类，然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括：
（1）handle_startendtag  　　处理开始标签和结束标签（即单标签）
（2）handle_starttag     　　   处理开始标签，比如<xx>
（3）handle_endtag       　　  处理结束标签，比如</xx>
（4）handle_charref      　　   处理特殊字符串，就是以&#开头的，一般是内码表示的字符
（5）handle_entityref   　　   处理一些特殊字符，以&开头的，比如 &nbsp;
（6）handle_data         　　   处理数据，就是<xx>data</xx>中间的那些数据
（7）handle_comment          处理注释
（8）handle_decl         　　    处理<!开头的，比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
（9）handle_pi           　　      处理形如<?instruction>的东西

实例

　　OK，废话少说，直接上手，来一个简单的爬虫实例——抓取贴吧图片。

 from html.parser import HTMLParser

 from urllib import request

 class MyHTMLParser(HTMLParser):     # 创建HTML解析类

     def __init__(self):

         HTMLParser.__init__(self)

         self.gifs_urls = []         # 创建列表，保存gif

         self.jpgs_urls = []         # 创建列表，保存jpg

     # 重写HTMLParser中的内置方法

     def handle_starttag(self, tags, attrs):  # 处理起始标记

         if tags == 'img':   # 处理图片

             for attr in attrs:

                 for t in attr:

                     if 'gif' in t and 'https' in t:

                         self.gifs_urls.append(t)    # 添加到gif列表

                     elif 'jpg' in t and 'https' in t:

                         self.jpgs_urls.append(t)    # 添加到jpg列表

                     else:

                         pass

     # 自定义的方法

     def get_gifs(self):     # 返回gif列表

         return self.gifs_urls

     def get_jpgs(self):     # 返回jpg列表

         return self.jpgs_urls

     # 自定义的方法，获取页面

     def getHTML(self,url):

         req=request.Request(url,method='GET')

         html=request.urlopen(req,timeout=30)

         return html.read()

     # 自定义的方法，批量下载图片

     def downImgs(self,img_urls,n=10,path='Image/'):

         count=1

         for url in img_urls:

             request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg'))

             count=count+1

             if count == n + 1:

                 print('共下载%d张图片' %(n))

                 return

 if __name__ == '__main__':

     Url = 'http://tieba.baidu.com/p/2256306796'

     HtmlParser=MyHTMLParser()

     Html=HtmlParser.getHTML(Url)

     # print(Html)

     HtmlParser.feed(str(Html))      #开始解析HTML，自动调用HTMLParser中的内置方法

     HtmlParser.downImgs(HtmlParser.get_jpgs())

　　

　　至此，转载请注明出处。

Python HTML解析模块HTMLParser(爬虫工具)的更多相关文章

  1. Python HTML解析器BeautifulSoup(爬虫解析器)

    BeautifulSoup简介 我们知道,Python拥有出色的内置HTML解析器模块——HTMLParser,然而还有一个功能更为强大的HTML或XML解析工具——BeautifulSoup(美味的 ...

  2. 关于解决Python中requests模块在PyCharm工具中导入问题

    问题引入: 今天在学习Python网络请求的时候,导入requests模块时一直报红色波浪线,如图: 反复折腾,一直以为自己没有安装requests模块,反复安装反复卸载: 安装方法: 首先 cd 进 ...

  3. python 配置文件解析模块 configparser

    import ConfigParser //实例化cf = ConfigPraser.ConfigPraser()cf.read("配置文件") //获取所有sections.也就 ...

  4. 面试官问我：如何在 Python 中解析和修改 XML

    摘要:我们经常需要解析用不同语言编写的数据.Python提供了许多库来解析或拆分用其他语言编写的数据.在此 Python XML 解析器教程中,您将学习如何使用 Python 解析 XML. 本文分享 ...

  5. python爬虫主要就是五个模块：爬虫启动入口模块，URL管理器存放已经爬虫的URL和待爬虫URL列表，html下载器，html解析器，html输出器 同时可以掌握到urllib2的使用、bs4（BeautifulSoup）页面解析器、re正则表达式、urlparse、python基础知识回顾（set集合操作）等相关内容。

    本次python爬虫百步百科,里面详细分析了爬虫的步骤,对每一步代码都有详细的注释说明,可通过本案例掌握python爬虫的特点: 1.爬虫调度入口(crawler_main.py) # coding: ...

  6. python爬虫工具集合

    python爬虫工具集合 大家一起来整理吧!强烈建议PR.这是初稿,总是有很多问题,而且考虑不全面,希望大家支持! 源文件 主要针对python3 常用库 urllib Urllib是python提供 ...

  7. Python爬虫之使用Fiddler+Postman+Python的requests模块爬取各国国旗

    介绍   本篇博客将会介绍一个Python爬虫,用来爬取各个国家的国旗,主要的目标是为了展示如何在Python的requests模块中使用POST方法来爬取网页内容.   为了知道POST方法所需要传 ...

  8. python爬虫工具

    一直都听说python写爬虫工具非常方便,为了获取数据,我也要写点爬虫,但是python太灵活了,不知道python爬虫要哪些框架,要了解,比如beatiful soup,scrapy, 爬虫的额主要 ...

  9. python命令行参数解析模块argparse和docopt

    http://blog.csdn.net/pipisorry/article/details/53046471 还有其他两个模块实现这一功能,getopt(等同于C语言中的getopt())和弃用的o ...

随机推荐

  1. Pulsar Consumer实现介绍

    Pulsar-Consumer “Pulsar is a distributed pub-sub messaging platform with a very flexible messaging m ...

  2. JS中如何理解浮点数？

    本文由云+社区发表 相信大家在平常的 JavaScript 开发中,都有遇到过浮点数运算精度误差的问题,比如 console.log(0.1+0.2===0.3)// false.在 JavaScri ...

  3. mysql滑动聚合

    滑动聚合是按顺序对滑动窗口范围内的数据进行聚合的操作.下累积聚合不同,滑动聚合并不是统计开始计算的位置到当前位置的数据. 这里以统计最近三个月中员工第月订单情况为例来介绍滑动聚合. 滑动聚合和累积聚合 ...

  4. MySQL Router实现MySQL的读写分离

    1.简介 MySQL Router是MySQL官方提供的一个轻量级MySQL中间件,用于取代以前老版本的SQL proxy. 既然MySQL Router是一个数据库的中间件,那么MySQL Rout ...

  5. μC/OS-II 任务的同步与通信 --- 消息队列

    简介 使用消息队列可以在任务之间传递多条消息.消息队列由三个部分组成:事件控制块.消息队列和消息. 当把事件控制块成员 OSEventType 的值置为 OS_EVENT_TYPE_Q 时,该事件控制 ...

  6. Git介绍及常用操作演示（一）--技术流ken

    Git介绍 Git(读音为/gɪt/.)是一个开源的分布式版本控制系统,可以有效.高速的处理从很小到非常大的项目版本管理. Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发 ...

  7. 《Thinking In Java》---第四版 练习题答案

    百度网盘下载:https://pan.baidu.com/share/link?shareid=2111776725&uk=2869544179&app=zd 在线查看:http:// ...

  8. [日常]nginx与网络事件模型

    Nginx 的特点: 1.处理静态文件 2.反向代理加速 3.fastCGI,简单的负载均衡和容错 4.模块化的结构 5.分阶段资源分配技术,使得它的 CPU 与内存占用率非常低,保持 10,000 ...

  9. http协议、web服务器、并发服务器（上）

    目录 1. HTTP格式 1.1 HTTP GET请求的格式: 1.2 HTTP POST请求的格式: 1.3 HTTP响应的格式: 2. Web静态服务器-显示固定的页面 3. Web静态服务器-显 ...

  10. 腾讯云下的CentOS7 配置 Apache服务器

    第一步 :安装Apache服务程序(软件包名为httpd) * yum install httpd 第二步:配置httpd.conf文件 * vi /etc/httpd/conf/httpd.conf ...