Python 爬虫系列：糗事百科最热段子

1.获取糗事百科url

http://www.qiushibaike.com/hot/page/2/    末尾2指第2页

2.分析页面，找到段子部分的位置， 需要一点CSS和HTML的知识

3、编写代码

 import urllib.request
 from bs4 import BeautifulSoup
 from urllib.request import URLError
 from urllib.request import HTTPError
 import time
 # 调用 publicHeaders 文件的方法
 from 爬虫.publicHeaders import set_user_agent

 # 抓取网页
 def download(pagenum):
     url = r'https://www.qiushibaike.com/hot/page/'

     # 分页下载
     for i in range(1,pagenum):
         #组装url
         new_url = url + str(pagenum)
         print(new_url)
         # 有的时候访问某个网页会一直得不到响应，程序就会卡到那里，我让他1秒后自动超时而抛出异常
         header = set_user_agent()
         while 1:
             try:
                 req = urllib.request.Request(url=new_url,headers=header)
                 reponse = urllib.request.urlopen(req,timeout=1)
                 break
             # HTTPError是URLError的子类，在产生URLError时也会触发产生HTTPError。因此应该先处理HTTPError
             except HTTPError as e:
                 print(e.code)
                 # 对于抓取到的异常，让程序停止1.1秒，再循环重新访问这个链接，访问成功时退出循环
                 time.sleep(1.1)
             except URLError as err:
                 print(err.reason)
         # 正常访问，则抓取网页内容
         html = reponse.read().decode('utf-8')
         # 找到所有的class名称为content 的div
         soup = BeautifulSoup(html,"html.parser")
         contents = soup.findAll("div",{"class":"content"})
         # # 循环遍历保存每一项,并保存
         with open("E:\JustForFun.txt", "w") as f:
             for item in contents:
                 # 有些内容不是utf-8格式
                 try:
                     each_story = item.get_text()
                 #print(type(each_story))
                     f.writelines(each_story)
                 except:
                     pass

4、执行以下，结果如下：