Python爬虫批量下载糗事百科段子，怀念的天王盖地虎，小鸡炖蘑菇...

欢迎添加华为云小助手微信（微信号：HWCloud002 或 HWCloud003），输入关键字“加群”，加入华为云线上技术讨论群；输入关键字“最新活动”，获取华为云最新特惠促销。华为云诸多技术大咖、特惠活动等你来撩

自娱自乐

今天朋友发了一个段子，居然来自糗事百科…随着抖音、快手的各种火爆，仿佛从前拿着手机刷糗百的日子，已经过去好久了。不知道多少人还会念起那句“天王盖地虎，小鸡炖蘑菇…”。今天就做个小练习，爬一爬糗事百科上的段子吧！

网站分析

段子内容首页

糗百的段子栏目格式比较简单：
https://www.qiushibaike.com/text/page/<page_number>/

网站分析

网页格式就更为简单了：

每次数据定位都是用class没有创新意识，这次增加一点难度，在beautifulsoup中引入一下正则吧！可以看到没调内容的id格式都是qiushi_tage_numbers，那么我们是否可以这么定位：
findAll('div', {'id': re.compile("qiushi_tag_[0-9]+")})

避坑指南

分析段子发现，有些段子内容过长，会出现部分展示的问题，此时我们需要针对这些存在查看全文的段子，获取它的子链接，然后进入新的页面，获取所有段子内容，再进行保存。即当段子内容中存在<span class="contentForAll">查看全文</span>

整体代码

段子每页25条内容，为了减少服务器的压力，我们就默认每次获取10页内容即可：

# -*- coding: utf-8 -*-
# @Author   : 王翔
# @JianShu  : 清风Python
# @Date     : 2019/8/15 1:21
# @Software : PyCharm
# @version  ：Python 3.7.3
# @File     : JokeCrawler.py

import requests
from bs4 import BeautifulSoup
import re
import time

class JokeCrawler:
    def __init__(self):
        self.host = "https://www.qiushibaike.com"
        self.headers = {'User-Agent': ('Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 '
                                       '(KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36')}
        _time = time.strftime('%y%m%d.%H.%M.%S', time.localtime())
        self.file = open('糗事百科{}.txt'.format(_time),
                         'w+', encoding='utf-8')

    def get_request(self, url):
        r = requests.get(url, headers=self.headers)
        return BeautifulSoup(r.text, 'lxml')

    def crawler(self, url):
        jokes = self.get_request(url).findAll('div', {'id': re.compile("qiushi_tag_[0-9]+")})
        for number, joke in enumerate(jokes, start=1):
            if joke.find('span', {'class': "contentForAll"}):
                _href = joke.find('a', {"class": "contentHerf"})['href']
                content = self.get_request(self.host + _href).find('div', {"class": "content"}).text.strip()
            else:
                content = joke.find('div', {"class": "content"}).text.strip()
            self.file.write("{}.{}\n".format(number, content))

    def run(self):
        for page in range(1, 11):
            _url = "{}/text/page/{}".format(self.host, page)
            self.file.write("第{}页\n\n".format(page))
            self.crawler(_url)

    def __exit__(self):
        self.file.close()

if __name__ == '__main__':
    main = JokeCrawler()
    main.run()

来看看我们最终的爬虫结果吧

没事儿爬上些段子，休息时候慢慢看吧….

The End

OK,今天的内容就到这里，如果觉得内容对你有所帮助，欢迎点击文章右下角的“在看”。

期待你关注我的公众号清风Python，如果觉得不错，希望能动动手指转发给你身边的朋友们。

作者：清风Python