Python实训day07pm【Selenium操作网页、爬取数据-下载歌曲】

练习1-爬取歌曲列表

任务：通过两个案例，练习使用Selenium操作网页、爬取数据。
使用无头模式，爬取网易云的内容。

'''
任务：通过两个案例，练习使用Selenium操作网页、爬取数据。
使用无头模式，爬取网易云的内容。
'''
from selenium import webdriver

# 无头模式：隐身地启动浏览器，但是并没有窗口展现
from selenium.webdriver.chrome.options import Options

opts = Options()
opts.add_argument('--headless')
opts.add_argument('--disable-gpu')

bw = webdriver.Chrome(options=opts);

# bw = webdriver.Chrome();
url = 'https://music.163.com/#/discover/toplist?id=3779629'
bw.get(url);

bw.switch_to.frame('g_iframe')

# 如果页面中有iframe，说明有内嵌页面
# 要爬取元素时，先切换到对应的内嵌页面中，然后再爬

ss = bw.find_elements_by_css_selector('.m-table-rank tbody tr .txt a b');
print(len(ss))  # 100

authors = bw.find_elements_by_css_selector('.m-table-rank tbody tr .text');
print(len(authors))  # 100

for i, s in enumerate(ss):
    print(s.get_attribute('title'), ':', authors[i].get_attribute('title'));

bw.close();

练习2-爬取歌曲文件mp3

网易云：能不能爬取音乐？？？可以！能不能爬歌词？？？可以！

网易云音乐，歌曲通用下载地址：http://music.163.com/song/media/outer/url?id= [ id后面拼接歌曲编号 ]

 

'''
尝试下载，requests访问，得到二进制数据，保存到本地即可
爬取网易云音乐的歌曲mp3文件(单个歌曲下载)
《初恋》歌曲id: 1873049720
《清醒》歌曲id：1909660296
《星辰大海》歌曲id：1811921555
'''
import requests as req

# hds：伪装成浏览器
hds = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'}

common_url = 'http://music.163.com/song/media/outer/url?id={}';  # 通用下载路径

resp = req.get(common_url.format('1909660296'), headers=hds);

ct = resp.content;  # 响应内容
print(len(ct))  # 响应内容长度
print(resp.status_code);  # 200正常；302重定向，需要继续获取重定向后的路径

# print(resp.headers)
# u2 = resp.headers['Location'];
# print(u2)  # 继续爬取u2路径，来下载音乐

if resp.status_code == 200:
    with open(r'C:\Users\lwx\Desktop\网易云\清醒.mp3', 'wb') as f:  # as f取别名，简写
        f.write(ct);
    # 上述两行代码(简写)，在效果上等于下面三行代码。
    # f = open(r'C:\Users\lwx\Desktop\网易云\清醒.mp3', 'wb')
    # f.write(ct)
    # f.close()
    print('over！')

练习3-下载飙升榜中的歌曲

结合上午的代码和刚才下载音乐的办法，请尝试：将飙升榜中的前20首歌曲下载(尝试下载)。
https://music.163.com/#/discover/toplist   15分钟时间

import requests as req
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

hds = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'}

def wydown(songname, songid):
    common_url = 'http://music.163.com/song/media/outer/url?id={}';
    resp = req.get(common_url.format(songid), headers=hds);
    ct = resp.content;
    # print(len(ct))
    # print(resp.status_code); #200正常  302重定向，需要继续获取重定向后的路径
    if resp.status_code == 200:
        f = open(r'C:\Users\qx\Desktop\网易云\{}.mp3'.format(songname), 'wb')
        f.write(ct);
        f.close();
        print('已下载：', songname);

# 无头模式 ： 隐身的启动浏览器，但是并没有窗口展现
opts = Options()
opts.add_argument('--headless')
opts.add_argument('--disable-gpu')

bw = webdriver.Chrome(options=opts);

url = 'https://music.163.com/#/discover/toplist'
bw.get(url);
bw.switch_to.frame('g_iframe');

ss = bw.find_elements_by_css_selector('.m-table-rank tbody tr .txt a b');
ids = bw.find_elements_by_css_selector('.m-table-rank tbody tr .txt a');

songinfo = {};  # 歌曲名:歌曲id
for i, s in enumerate(ss):
    songinfo[s.get_attribute('title')] = ids[i].get_attribute('href').split("=")[1];

bw.close();

# print(songinfo);

# 遍历字典，下载所有歌曲
for k, v in songinfo.items():
    wydown(k, v);