requests+bs4爬取豌豆荚排行榜及下载排行榜app

爬取排行榜应用信息

爬取豌豆荚排行榜app信息
    - app_detail_url - 应用详情页url
    - app_image_url - 应用图片url
    - app_name - 应用名称
    - app_install_count - 下载量
    - app_size - 应用大小
    - app_info - 应用简介

1.分析：
    - 目标url: https://www.wandoujia.com/top/app

    - 在网页中，发现了加载更多按钮，点击后，为异步请求，请求url为：
        https://www.wandoujia.com/wdjweb/api/top/more?resourceType=0&page=2&ctoken=kuoxO3QZz7JKIJtuA6RXibwL

    - 修改page的值，可以得到响应数据，则可以直接爬接口数据，page范围为1~41

2. 爬取数据过程
    - 发送请求
    - 解析数据
    - 保存数据到MySQL数据库

代码

# top_app.py
import requests
from bs4 import BeautifulSoup
from wandoujia.mysql_control import MySQL

# 请求函数
def get_data(url):
    response = requests.get(url)
    return response.json().get('data')

# 解析数据
def parse_data(json_data):
    data = json_data.get('content')
    # print(data)
    soup = BeautifulSoup(data, 'lxml')

    # 找出所以的li标签(每个app都在一个li标签里)
    li_list = soup.find_all(name='li', attrs={'class': 'card'})
    # print(li_list)

    for li in li_list:
        # 获取app详情页url
        app_detail_url = li.find(name='a').get('href')
        # print('应用详情页：', app_detail_url)

        # 获取app图片url
        img_tag = li.find(name='img')
        # print(img_tag)
        # app图片url
        app_image_url = img_tag.get('data-original')
        # print('应用图片：', app_image_url)
        # 应用名称
        app_name = img_tag.get('alt')
        # print('应用名称：', app_name)

        # 获取应用下载量
        app_install_count = li.find(name='span', attrs={'class': 'install-count'}).text
        # print('应用下载量：', app_install_count)

        # 获取应用大小
        try:
            app_size = li.find(name='span', attrs={'title': re.compile('MB')}).text
        except:
            app_size = ''
        # print('应用大小：', app_size)

        # 获取应用简介
        app_info = li.find(name='div', attrs={'class': 'comment'}).text.strip()
        # print('应用简介：', app_info)
        yield app_detail_url, app_image_url, app_name, app_install_count, app_size, app_info

# 保存数据
def save_data(generator_data, mysql_obj):
    for data in generator_data:
        # print(data)

        sql = 'insert into top_app(app_detail_url, app_image_url, app_name, app_install_count, app_size, app_info) ' \
              'values(%s, %s, %s, %s, %s, %s)'

        mysql_obj.execute(sql, data)

        print(f'{data[2]} 数据已爬取成功')
        print('*' * 100)

if __name__ == '__main__':
    # 实例化数据库对象
    mysql_obj = MySQL()

    # 拼接url
    for page in range(1, 42):
        url = f'https://www.wandoujia.com/wdjweb/api/top/more?resourceType=0&page={page}&ctoken=kuoxO3QZz7JKIJtuA6RXibwL'

        # 发送请求
        json_data = get_data(url)
        # 解析数据
        generator_data = parse_data(json_data)
        # 保存数据
        save_data(generator_data, mysql_obj)

MySQL数据库

# mysql.py
import pymysql

class MySQL:
    def __init__(self):
        self.client = pymysql.connect(
            host='127.0.0.1',
            port=3306,
            database='wandoujia',
            user='root',
            password='admin',
            charset='utf8',
            autocommit=True
        )

        self.cursor = self.client.cursor(pymysql.cursors.DictCursor)

    def execute(self, sql, args):
        try:
            self.cursor.execute(sql, args)
        except Exception as e:
            print(e)

    def close(self):
        self.cursor.close()
        self.client.close()

爬取详情页下载链接并下载

爬取豌豆荚排行榜app详情页

- 分析：
    - 目标url：在top_app文件中已有爬取的函数，可直接使用得到app_detail_url

    - 详情页面分析：
        - <div class="download-wp">下存在a标签<a class="normal-dl-btn">，href属性为下载链接

- 爬取数据过程：
	 - 使用上面top_app.py中的get_data(),和parse_data()可得到每个app的详情页
	 - 发送请求
	 - 解析数据
	 - 多线程下载app

代码

# top_app_detail.py
import os
from concurrent.futures import ThreadPoolExecutor
import requests
from bs4 import BeautifulSoup
from wandoujia import top_app

# 获取详情页数据
def get_detail_data(data):
    response = requests.get(data[0])
    # print(response.text)
    return response.text

# 解析数据
def parse_detail_data(response):
    soup = BeautifulSoup(response, 'lxml')
    app_download_url = soup.find(name='a', attrs={'class': 'normal-dl-btn'}).get('href')
    # print(f'应用名称： {data[2]}, 下载链接： {app_download_url}')

    return data[2], app_download_url

# 保存数据
def download_app(app_name_download_url_tuple):
    # 下载app
    app_name = os.path.join(save_dir, app_name_download_url_tuple[0])
    print(app_name_download_url_tuple[0], '开始下载')
    app_file = requests.get(app_name_download_url_tuple[1])
    # print(app_name)
    with open(app_name, 'wb') as f:
        for line in app_file.iter_lines():
            f.write(line)

    print(app_name_download_url_tuple[0], '下载完成')

if __name__ == '__main__':
    # app保存文件夹
    save_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), 'top_app')
    # 多线程下载，下载线程数为3
    pool = ThreadPoolExecutor(3)

    # 拼接url
    for page in range(1, 42):
        url = f'https://www.wandoujia.com/wdjweb/api/top/more?resourceType=0&page={page}&ctoken=kuoxO3QZz7JKIJtuA6RXibwL'

        # 获取详情页url
        # 发送请求
        json_data = top_app.get_data(url)
        # 解析数据
        generator_data = top_app.parse_data(json_data)

        # 爬取详情页
        for data in generator_data:
            # print(data)
            # 获取详情页数据
            detail_response = get_detail_data(data)
            # 解析详情页数据
            app_name_download_url_tuple = parse_detail_data(detail_response)

            # 单线程请求并下载app
            # download_app(app_name_download_url_tuple)

            # 使用多线程请求并下载app，下载线程数不宜过多，否则会很慢
            pool.submit(download_app, app_name_download_url_tuple)