Python3爬虫之爬取某一路径的所有html文件

要离线下载易百教程网站中的所有关于Python的教程，需要将Python教程的首页作为种子url：http://www.yiibai.com/python/，然后按照广度优先（广度优先，使用队列；深度优先，使用栈），依次爬取每一篇关于Python的文章。为了防止同一个链接重复爬取，使用集合来限制同一个链接只处理一次。
使用正则表达式提取网页源码里边的文章标题和文章url，获取到了文章的url，使用Python根据url生成html文件十分容易。

import re





import urllib.request





import urllib





from collections import deque





# 保存文件的后缀





SUFFIX='.html'





# 提取文章标题的正则表达式





REX_TITLE=r'<title>(.*?)</title>'





# 提取所需链接的正则表达式





REX_URL=r'/python/(.+?).html'





# 种子url，从这个url开始爬取





BASE_URL='http://www.yiibai.com/python/'





 





 





# 将获取到的文本保存为html文件





def saveHtml(file_name,file_content):





#    注意windows文件命名的禁用符，比如 /





    with open (file_name.replace('/','_')+SUFFIX,"wb") as f:





#   写文件用bytes而不是str，所以要转码





        f.write(bytes(file_content, encoding = "utf8"))





#   获取文章标题





def getTitle(file_content):





    linkre = re.search(REX_TITLE,file_content)





    if(linkre):





        print('获取文章标题：'+linkre.group(1))





        return linkre.group(1)





 





#   爬虫用到的两个数据结构，队列和集合





queue = deque()





visited = set()





#   初始化种子链接 





queue.append(BASE_URL)





count = 0





 





while queue:





  url = queue.popleft()  # 队首元素出队





  visited |= {url}  # 标记为已访问





 





  print('已经抓取: ' + str(count) + '   正在抓取 <---  ' + url)





  count += 1





  urlop = urllib.request.urlopen(url)





  # 只处理html链接





  if 'html' not in urlop.getheader('Content-Type'):





    continue





 





  # 避免程序异常中止





  try:





    data = urlop.read().decode('utf-8')





    title=getTitle(data);





    # 保存文件





    saveHtml(title,data)





  except:





    continue





 





  # 正则表达式提取页面中所有链接, 并判断是否已经访问过, 然后加入待爬队列





  linkre = re.compile(REX_URL)





  for sub_link in linkre.findall(data):





      sub_url=BASE_URL+sub_link+SUFFIX;





# 已经访问过，不再处理





      if sub_url in visited:





          pass





      else:





          # 设置已访问





          visited |= {sub_url}





          # 加入队列





          queue.append(sub_url)





          print('加入队列 --->  ' + sub_url)