使用HTMLParser爬取标签内容

以此网站为例

 import urllib.request
 from html.parser import HTMLParser
 from  html.entities import name2codepoint

 #相当于CURL
 def Hocontent(url):
     page = urllib.request.urlopen(url)
     html = page.read()
     return html

 class MyHTMLParser(HTMLParser): #继承HTMLParser类
     def __init__(self):
         HTMLParser.__init__(self)
         self.data = []

     #获取标签中的content
     def handle_data(self, data):
         if len(data) >40 and  data.find('itwriter')==-1 :
             str = data.strip()
             self.data.append(str)

 #获取内容
 hh = Hocontent('https://news.cnblogs.com/')
 h = hh.decode(encoding="utf-8")

 #创建一个子类实例
 objectP = MyHTMLParser()

 #解析
 objectP.feed(h)
 for con in objectP.data:
     print(con)
     print('==============')