http://blog.csdn.net/my2010sam/article/details/14526223

---------------------

对html的解析是网页抓取的基础，分析抓取的结果找到自己想要的内容或标签以达到抓取的目的。

HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。 HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以handler_开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParser派生出新的类，然后重新定义这几个以handler_开头的函数即可。这几个函数包括：

  • handle_startendtag  处理开始标签和结束标签
  • handle_starttag     处理开始标签，比如<xx>   tag不区分大小写
  • handle_endtag       处理结束标签，比如</xx>
  • handle_charref      处理特殊字符串，就是以&#开头的，一般是内码表示的字符
  • handle_entityref    处理一些特殊字符，以&开头的，比如 &nbsp;
  • handle_data         处理数据，就是<xx>data</xx>中间的那些数据
  • handle_comment      处理注释
  • handle_decl         处理<!开头的，比如<!DOCTYPE html PUBLIC “-//W3C//DTD HTML 4.01 Transitional//EN”
  • handle_pi           处理形如<?instruction>的东西

def handle_starttag(self,tag,attr):
        #注意：tag不区分大小写，此时也可以解析 <A 标签

        # SGMLParser 会在创建attrs 时将属性名转化为小写。

        if tag=='a':
            for href,link in attr:
                if href.lower()=="href":

                        pass

 

1. 基本解析，找到开始和结束标签

  1. <span style="font-size:18px;">#coding:utf-8
  2. from HTMLParser import HTMLParser
  3. '''''
  4. HTMLParser的成员函数:
  5. handle_startendtag  处理开始标签和结束标签
  6. handle_starttag     处理开始标签，比如<xx>
  7. handle_endtag       处理结束标签，比如</xx>
  8. handle_charref      处理特殊字符串，就是以&#开头的，一般是内码表示的字符
  9. handle_entityref    处理一些特殊字符，以&开头的，比如
  10. handle_data         处理数据，就是<xx>data</xx>中间的那些数据
  11. handle_comment      处理注释
  12. handle_decl         处理<!开头的，比如<!DOCTYPE html PUBLIC “-//W3C//DTD HTML 4.01 Transitional//EN”
  13. handle_pi           处理形如<?instruction>的东西
  14. '''
  15. class myHtmlParser(HTMLParser):
  16. #处理<!开头的内容
  17. def handle_decl(self,decl):
  18. print 'Encounter some declaration:'+ decl
  19. def handle_starttag(self,tag,attrs):
  20. print 'Encounter the beginning of a %s tag' % tag
  21. def handle_endtag(self,tag):
  22. print 'Encounter the end of a %s tag' % tag
  23. #处理注释
  24. def handle_comment(self,comment):
  25. print 'Encounter some comments:' + comment
  26. if __name__=='__main__':
  27. a = '<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">\
  28. <html><head><!--insert javaScript here!--><title>test</title><body><a href="http: //www.163.com">链接到163</a></body></html>'
  29. m=myHtmlParser()
  30. m.feed(a)
  31. m.close()
  32. 输出结果：
  33. Encounter some declaration:DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"
  34. Encounter the beginning of a html tag
  35. Encounter the beginning of a head tag
  36. Encounter some comments:insert javaScript here!
  37. Encounter the beginning of a title tag
  38. Encounter the end of a title tag
  39. Encounter the beginning of a body tag
  40. Encounter the beginning of a a tag
  41. Encounter the end of a a tag
  42. Encounter the end of a body tag
  43. Encounter the end of a html tag</span>

2. 解析html的超链接和链接显示的内容  

  1. <span style="font-size:18px;">#coding:utf-8
  2. from HTMLParser import HTMLParser
  3. class myHtmlParser(HTMLParser):
  4. def __init__(self):
  5. HTMLParser.__init__(self)
  6. self.flag=None
  7. # 这里重新定义了处理开始标签的函数
  8. def handle_starttag(self,tag,attrs):
  9. # 判断标签<a>的属性
  10. if tag=='a':
  11. self.flag='a'
  12. for href,link in attrs:
  13. if href=='href':
  14. print "href:",link
  15. def handle_data(self,data):
  16. if self.flag=='a':
  17. print "data:",data.decode('utf-8')
  18. if __name__ == '__main__':
  19. a = '<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">\
  20. <html><head><!--insert javaScript here!--><title>test</title><body><a href="http: //www.163.com">链接到163</a></body></html>'
  21. m=myHtmlParser()
  22. m.feed(a)
  23. m.close()
  24. 输出结果：
  25. href: http: //www.163.com
  26. data: 链接到163</span>

或：

    1. <span style="font-size:18px;">#coding:utf-8
    2. from  HTMLParser import HTMLParser
    3. import urllib2
    4. class myparser(HTMLParser):
    5. # 继承父类初始化方法，并添加一个tag属性
    6. def __init__(self):
    7. HTMLParser.__init__(self)
    8. self.tag = None
    9. def handle_decl(self,decl):
    10. print u"声明：",decl
    11. def handle_starttag(self,tag,attrs):
    12. print u"开始标签；",tag
    13. # 判断是否是a开头的标签
    14. if tag=='a' and len(attrs):
    15. #设置 self.tag 标记
    16. self.tag='a'
    17. for href,link in attrs:
    18. if href=='href':
    19. print href+":"+link
    20. def handle_endtag(self,tag):
    21. print u"结束标签：",tag
    22. def handle_data(self,data):
    23. #处理 a 标签开头的数据
    24. if self.tag=='a':
    25. print u"数据内容：",data.decode("utf-8")
    26. def handle_comment(self,comm):
    27. print u"注释：",comm
    28. if __name__ == '__main__':
    29. a = '<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">\
    30. <html><head><!--insert javaScript here!--><title>test</title><body><a href="http: //www.163.com">链接到163</a><a href="http: //www.baidu.com">百度</a></body></html>'
    31. m = myparser()
    32. m.feed(a)
    33. 结果：
    34. 声明： DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"
    35. 开始标签； html
    36. 开始标签； head
    37. 注释： insert javaScript here!
    38. 开始标签； title
    39. 结束标签： title
    40. 开始标签； body
    41. 开始标签； a
    42. href:http: //www.163.com
    43. 数据内容： 链接到163
    44. 结束标签： a
    45. 开始标签； a
    46. href:http: //www.baidu.com
    47. 数据内容： 百度
    48. 结束标签： a
    49. 结束标签： body
    50. 结束标签： html</span>

Python之HTML的解析（网页抓取一）的更多相关文章

  1. Python开发爬虫之动态网页抓取篇：爬取博客评论数据——通过Selenium模拟浏览器抓取

    区别于上篇动态网页抓取,这里介绍另一种方法,即使用浏览器渲染引擎.直接用浏览器在显示网页时解析 HTML.应用 CSS 样式并执行 JavaScript 的语句. 这个方法在爬虫过程中会打开一个浏览器 ...

  2. Python开发爬虫之静态网页抓取篇：爬取“豆瓣电影 Top 250”电影数据

    所谓静态页面是指纯粹的HTML格式的页面,这样的页面在浏览器中展示的内容都在HTML源码中. 目标:爬取豆瓣电影TOP250的所有电影名称,网址为:https://movie.douban.com/t ...

  3. Python实现简单的网页抓取

    现在开源的网页抓取程序有很多,各种语言应有尽有. 这里分享一下Python从零开始的网页抓取过程 第一步:安装Python 点击下载适合的版本https://www.python.org/ 我这里选择 ...

  4. Python网络爬虫笔记（一）：网页抓取方式和LXML示例

    (一)   三种网页抓取方法 1.    正则表达式: 模块使用C语言编写,速度快,但是很脆弱,可能网页更新后就不能用了. 2.    Beautiful Soup 模块使用Python编写,速度慢. ...

  5. Python爬虫之三种网页抓取方法性能比较

    下面我们将介绍三种抓取网页数据的方法,首先是正则表达式,然后是流行的 BeautifulSoup 模块,最后是强大的 lxml 模块. 1. 正则表达式   如果你对正则表达式还不熟悉,或是需要一些提 ...

  6. python网络爬虫-动态网页抓取（五）

    动态抓取的实例 在开始爬虫之前,我们需要了解一下Ajax(异步请求).它的价值在于在与后台进行少量的数据交换就可以使网页实现异步更新. 如果使用Ajax加载的动态网页抓取,有两种方法: 通过浏览器审查 ...

  7. python网络爬虫之解析网页的BeautifulSoup(爬取电影图片)[三]

    目录 前言 一.BeautifulSoup的基本语法 二.爬取网页图片 扩展学习 后记 前言 本章同样是解析一个网页的结构信息 在上章内容中(python网络爬虫之解析网页的正则表达式(爬取4k动漫图 ...

  8. python网络爬虫-静态网页抓取（四）

    静态网页抓取 在网站设计中,纯HTML格式的网页通常被称之为静态网页,在网络爬虫中静态网页的数据比较容易抓取,因为说有的数据都呈现在网页的HTML代码中.相对而言使用Ajax动态加载的玩个的数据不一定 ...

  9. python爬虫之分析Ajax请求抓取抓取今日头条街拍美图（七）

    python爬虫之分析Ajax请求抓取抓取今日头条街拍美图 一.分析网站 1.进入浏览器,搜索今日头条,在搜索栏搜索街拍,然后选择图集这一栏. 2.按F12打开开发者工具,刷新网页,这时网页回弹到综合 ...

随机推荐

  1. es6基础系列五--数组的拓展

    Array.from() 用于将两类对象转为真正的数组,类似数组对象和可遍历对象(包括数据结构Set和Map)转化为数组 格式:Array.from(arrayLike[, mapFn[, thisA ...

  2. 20169219 linux内核原理与分析第二周作业

    "linux内核分析"的第一讲主要讲了计算机的体系结构,和各寄存器之间对数据的处理过程. 通用寄存器 AX:累加器 BX:基地址寄存器 CX:计数寄存器 DX:数据寄存器 BP:堆 ...

  3. 一个使用MVC3+NHibernate “增删改查” 的项目（修正版）

      前言: 谈到NHibernate大伙并不陌生,搞Java的更是清楚,Hibernate是一个目前应用的最广泛的开放源代码的对象关系映射框架,它对Java的JDBC(类似于ADO.Net)进行了非常 ...

  4. 给 asp.net core 写一个简单的健康检查

    给 asp.net core 写一个简单的健康检查 Intro 健康检查可以帮助我们知道应用的当前状态是不是处于良好状态,现在无论是 docker 还是 k8s 还是现在大多数的服务注册发现大多都提供 ...

  5. Spark BlockManager 概述

    Application 启动的时候: 1. 会在 SparkEnv 中实例化 BlockManagerMaster 和 MapOutputTracker,其中 (a) BlockManagerMast ...

  6. Web——页面“传值、赋值”与页间“传值”

    前言 前期我们学习C/S开发的时候,采用三层架构,U层的参数在每个层之间传来传去,那么现在我们接触到的B/S,在Web前端是如何与后台进行传值赋值呢?由于本人是菜鸟一枚,下面写的不恰当的地方,望路过的 ...

  7. 洛谷P3387 缩点模板

    给定一个n个点m条边有向图,每个点有一个权值,求一条路径,使路径经过的点权值之和最大.你只需要求出这个权值和. 允许多次经过一条边或者一个点,但是,重复经过的点,权值只计算一次. 因为可以重复经过点, ...

  8. ps怎样简单快速去除图片上的文字

    具体步骤如下: 1.选择"修补工具": 2.在公共栏中选择"源": 3."图像"->"模式"中选择"RG ...

  9. Idea设置签名

    IntelliJ IDEA如何设置头注释,自定义author和date   下面这张图,保证你一看就会: 下面这个模板,你拿去改一改就行了. 1 /** 2 * @Author: Gosin 3 * ...

  10. centos7.3下配置本地yum仓库

    部署openstack时,网络yum源安装慢,而且经常中的提示找不到mirrors,所以配置一个本地的安装源很有必要,来解决这个揪心的问题. 安装:yum install yum-utils crea ...