python HTMLparser

1.概述

 如果我们要编写一个搜索引擎，第一步是用爬虫把目标网站的页面抓下来，
 第二步就是解析该HTML页面，看看里面的内容到底是新闻、图片还是视频。

 假设第一步已经完成了，第二步应该如何解析HTML呢？

 HTML本质上是XML的子集，但是HTML的语法没有XML那么严格，所以不能用标准的DOM或SAX来解析HTML。
 也可以用 re正则表达式
 scrapy 框架下的css选择器或者xpath

 仁者见仁智者见智

2.HTMLparser

 # 使用时需要定义一个从类HTMLParser继承的类，重定义函数：
 # handle_starttag( tag, attrs)
 #handle_startendtag( tag, attrs)
 # handle_endtag( tag)

 # 来实现自己需要的功能。

 # tag是的html标签，attrs是 (属性，值)元组(tuple)的列表(list)。
 # HTMLParser自动将tag和attrs都转为小写

 from html.parser import HTMLParser
 class MyHTMLParser(HTMLParser):
     def __init__(self):
         HTMLParser.__init__(self)
         self.links = []
     def handle_starttag(self, tag, attrs):
         #print "Encountered the beginning of a %s tag" % tag
         if tag == "a":
             if len(attrs) == 0:
                 pass
             else:
                 for (variable, value) in attrs:
                     if variable == "href":
                         self.links.append(value)   

 if __name__ == "__main__":
     html_code = """ <a href="www.google.com"> google.com</a> <A Href="www.pythonclub.org"> PythonClub </a> <A HREF = "www.sina.com.cn"> Sina </a> """
     hp = MyHTMLParser()
     hp.feed(html_code)
     hp.close()
     print(hp.links)
 # 运行结果
 # ['www.google.com', 'www.pythonclub.org', 'www.sina.com.cn']

3.总结

个人观点 如果是做搜索引擎建议还是用scrapy框架

参照：https://www.cnblogs.com/mfryf/p/3691563.html