【音乐爬虫】Python爬虫-selenium+browsermob-proxy 解决动态网页 js渲染问题

1.一般的python爬虫很简单，直接请求对应网址，解析返回的数据即可，但是有很多网站的数据的js动态渲染的，你直接请求是得不到对应的数据的

　　这时就需要其它手段来处理了。

2.以一个例子来说明，整个过程，爬取一个音乐网站的对应歌手的歌曲。

1. 目标网址http://tool.liumingye.cn/music/?page=searchPage,在搜索框输入歌手名字即可得到歌曲。
2. 如果我们直接请求这个网址：http://tool.liumingye.cn/music/?page=audioPage&type=migu&name=周杰伦，返回的数据不是我们想要的
3. 在inspect里分析js或xhr数据找到真正的网址，可以看到在NetWork下的XHR中找到我们想要的网址，还有POSt请求时发送的数据

   

   

4. 我们仿照他发起一个post请求，返回的数据确实是我们想要的，里面包含歌曲名字，还有下载地址，歌词等信息，直接请求歌曲下载地址即可。

   import requests
   headers = {
   'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
   data={'data':'3c7frUZZlQooe5YYDmZVHi9O4qOxgj8oXuivPGr2sfTT65IGXo85FOqjwtoJPmO-t6ew_q_59dY1SSl7','v':'2'}
   r=requests.post('https://app.onenine.cc/m/api/search',headers=headers,data=data)
   
   data=r.json()#转为json
   print(data['data']['list'])

   

5. 大家不要觉得这样就可以了喔，其实问题还有很多。第一，你要构造POST请求必须要得到data参数的数据，就是那一长串字符串，如果没有data的话，会返回状态码403，禁止访问
6. 而且每一个歌手或歌曲的data参数都是动态生成的，没有规律的，这样的话，你每构造一个POST请求就要在游览器那里看一下data参数是多少，根本不符合爬虫的要求。
7. 第二，返回的数据只有二十首歌曲，想要得到更多，就必须点击‘下一页'按钮，网站才会去请求下一个二十首，然后渲染到网页上，所以就算有data参数，也无法爬到更多数据。

3.这时就到了Seleninum和Browsermob-proxy出场了。Seleninum是一个用于测试网站的自动化测试工具，支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持phantomJS无界面浏览器。它主要得功能就是可以模拟游览器行为，包括执行js代码，寻找各种元素，发送点击，滑动事件等等。这样我们就可以实现点击功能了。selenium的教程推荐这个，他写得不错，比我写得好

https://blog.csdn.net/qq_32502511/article/details/101536325

Browsermob-proxy是一个开源的Java编写的基于LittleProxy的代理服务。Browsermob-Proxy的具体流程有点类似与Flidder或Charles。即开启一个端口并作为一个标准代理存在，当HTTP客户端（浏览器等）设置了这个代理，则可以抓取所有的请求细节并获取返回内容.简单来说就是它可以将网站的请求和返回的数据获取到，就如游览器的'inspect'功能，这样我们就可以获取到‘seacher’的数据了

Browsermob-proxy的教程推荐这个，不难的，看一下就可以上手了。https://blog.csdn.net/qq_32502511/article/details/101536325

4.我们分析一下获取到的数据，包含名字和歌词，封面，下载地址。歌曲的下载地址有四种，url_m4a是流畅，128是标准，320是高品，flac则是无损音乐。url那一栏是在线播放

4.有上面这些准备后就可以写代码爬取数据了，代码如下(有详细注释)

from selenium import webdriver
import time
import os
import threading
import simplejson as json
from browsermobproxy import Server
import requests
from selenium.webdriver.chrome.options import Options

#Browsermob-proxy的路径
server=Server(r"D:\Python3.7\browser-proxy.bat\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat")
server.start()#启动browsermob-proxy
proxy=server.create_proxy()
chrome_options=Options()

#获取游览器对象，设置无界面模式
chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
chrome_options.add_argument('--headless')#无头模式，不开启游览器界面
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--incognito')
driver=webdriver.Chrome(chrome_options=chrome_options)#启用谷歌游览器

#获取音乐的信息
def getDownloadUrls(name):

    musicUrl='http://tool.liumingye.cn/music/?page=audioPage&type=migu&name='+str(name)
    proxy.new_har('music',options={'captureHeaders':True,'captureContent':True})
    driver.get(musicUrl)#请求网站
    time.sleep(3)#等待页面加载完成，必须要延时，不然获取不到数据
    lists=[]
    #获取3页数据一共60首歌
    for i in range(3):
        index=0
        result=proxy.har#获取所有请求网址
        for entry in result['log']['entries']:
            url=entry['request']['url']
            #找对应的网址，我们要的是，search网址的
            if "app.onenine.cc/m/api/search" in url:
                index+=1
                '''
                因为每点击下一页都会产生一个新的‘search',
                而proxy每次都会把所有的请求获取到,所以上一个的’search‘也会获取到
                所以要判断排除掉，只获取最新的’search'
                '''
                if index>i:
                    content = entry['response']['content']
                    text=content['text']
                    data=json.loads(text)['data']
                    lists.extend(data['list']) #这里就是获取到的json数据.每一次添加20首歌曲的信息进去

        #滑到底部
        js="window.scrollTo(0,10000)"#滑动滚动条的js代码，如果元素不在页面上显示，是找不到的，所以滑动，让下一页的按钮显示出来
        driver.execute_script(js)#执行·js代码
        #点击下一页，获取更多歌曲
        nextBtn=driver.find_element_by_css_selector('#player>div.aplayer-more')#找到下一页的按钮
        nextBtn.click()#发送点击事件
        time.sleep(1)#延时1秒等待数据加载
    return lists

#用于下载音乐代码
def download(path,musicName,folder,ext):

    r=requests.get(path)
    f=open(folder+'/'+musicName+ext,'wb')
    f.write(r.content)
    f.close()

#在lists例表中提取音乐的下载地址和歌曲名字
def downloadMusic(name,type,lists):
    '''
    name：歌手名字，为每一个歌手都新建一个文件夹
    type:表示要下载何种音质
    lists:获取的音乐数据列表
    '''
    isExists=os.path.exists(name)
    if not isExists:
        os.makedirs(name)
    musicName=''
    path=''
    ext=''
    for item in lists:
        for key,value in item.items():
            ext='.mp3'
            key=str(key)
            if key=='name':
                musicName=value
            elif key=='artist':
                musicName=musicName+'-'+value
            elif key=='url_m4a' and type==0:#m4a表示流畅
                path=value
            elif key=='url_128' and type==1:#128是标准
                path=value
            elif key=='url_320' and type==2:#320是高品质
                path=value
            elif key=='url_flac'and type==3:#flac表示无损
                path=value
                ext='.flac'

            if len(path)!=0:
                #每一首歌开启一个线程去下载
                t = threading.Thread(target=download,args=(path,musicName,name,ext))
                t.start()
                t.join()
                path=''
                musicName=''

if __name__=='__main__':

    signer=input("输入歌手名字:")
    lists=getDownloadUrls(signer)
    print('获取完成,开始下载音乐')
    downloadMusic(signer,0,lists)#0表示下载流畅音质的
    print('下载结束')

等待一段时间就爬取成功了。

5.这个网站上还有歌单和各种音乐榜单，我们一样可以爬取下来，原理都一样，我就不多解释了。你只要掌握上面的东西，爬取这些东西，还是很简单的，只要给点耐心去学一下。

　　附上完整代码，包括爬取歌单和榜单

from selenium import webdriver
import time
import os
import threading
import simplejson as json
from browsermobproxy import Server
import requests
from selenium.webdriver.chrome.options import Options

#Browsermob-proxy的路径
server=Server(r"D:\Python3.7\browser-proxy.bat\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat")
server.start()#启动browsermob-proxy
proxy=server.create_proxy()
chrome_options=Options()

#获取游览器对象，设置无界面模式
chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
chrome_options.add_argument('--headless')#无头模式，不开启游览器界面
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--incognito')
driver=webdriver.Chrome(chrome_options=chrome_options)#启用谷歌游览器

#获取音乐的信息
def getDownloadUrls(name):

    musicUrl='http://tool.liumingye.cn/music/?page=audioPage&type=migu&name='+str(name)
    proxy.new_har('music',options={'captureHeaders':True,'captureContent':True})
    driver.get(musicUrl)#请求网站
    time.sleep(3)#等待页面加载完成，必须要延时，不然获取不到数据
    lists=[]
    #获取3页数据一共60首歌
    for i in range(3):
        index=0
        result=proxy.har#获取所有请求网址
        for entry in result['log']['entries']:
            url=entry['request']['url']
            #找对应的网址，我们要的是，search网址的
            if "app.onenine.cc/m/api/search" in url:
                index+=1
                '''
                因为每点击下一页都会产生一个新的‘search',
                而proxy每次都会把所有的请求获取到,所以上一个的’search‘也会获取到
                所以要判断排除掉，只获取最新的’search'
                '''
                if index>i:
                    content = entry['response']['content']
                    text=content['text']
                    data=json.loads(text)['data']
                    lists.extend(data['list']) #这里就是获取到的json数据.每一次添加20首歌曲的信息进去

        #滑到底部
        js="window.scrollTo(0,10000)"#滑动滚动条的js代码，如果元素不在页面上显示，是找不到的，所以滑动，让下一页的按钮显示出来
        driver.execute_script(js)#执行·js代码
        #点击下一页，获取更多歌曲
        nextBtn=driver.find_element_by_css_selector('#player>div.aplayer-more')#找到下一页的按钮
        nextBtn.click()#发送点击事件
        time.sleep(1)#延时1秒等待数据加载
    return lists

#用于下载音乐代码
def download(path,musicName,folder,ext):

    r=requests.get(path)
    f=open(folder+'/'+musicName+ext,'wb')
    f.write(r.content)
    f.close()

#在lists例表中提取音乐的下载地址和歌曲名字
def downloadMusic(name,type,lists):
    '''
    name：歌手名字，为每一个歌手都新建一个文件夹
    type:表示要下载何种音质
    lists:获取的音乐数据列表
    '''
    isExists=os.path.exists(name)
    if not isExists:
        os.makedirs(name)
    musicName=''
    path=''
    ext=''
    for item in lists:
        for key,value in item.items():
            ext='.mp3'
            key=str(key)
            if key=='name':
                musicName=value
            elif key=='artist':
                musicName=musicName+'-'+value
            elif key=='url_m4a' and type==0:#m4a表示流畅
                path=value
            elif key=='url_128' and type==1:#128是标准
                path=value
            elif key=='url_320' and type==2:#320是高品质
                path=value
            elif key=='url_flac'and type==3:#flac表示无损
                path=value
                ext='.flac'

            if len(path)!=0:
                #每一首歌开启一个线程去下载
                t = threading.Thread(target=download,args=(path,musicName,name,ext))
                t.start()
                t.join()
                path=''
                musicName=''

#获取歌单的id和歌单名字
def getSongsSheetId(type):

    id=[]
    sheetNames=[]
    #这里的                                       limit表示获取多少个歌单，2表示两个
    url='https://musicapi.leanapp.cn/top/playlist?limit=2&offset=0&order=hot&cat='+str(type)
    r=requests.get(url);
    data=r.json()
    playlist=data['playlists']
    for item in playlist:
        id.append(item['id'])
        sheetNames.append(item['name'])
        print(id)

    return id,sheetNames
#下载歌单的歌曲
def getSongsSheetSongs(type):

    id,sheetNames=getSongsSheetId('日语')#这里可以做成变量，比如华语，欧美，流行....
    url='http://tool.liumingye.cn/music/?page=audioPage&type=YQD&name=https%3A%2F%2Fmusic.163.com%2F%23%2Fplaylist%3Fid%3D'
    lists=[]
    for i in range(len(id)):
        reqUrl=url+str(id[i])
        proxy.new_har('lists',options={'captureHeaders':True,'captureContent':True})
        driver.get(reqUrl)
        time.sleep(3)
        result=proxy.har
        for entry in result['log']['entries']:
            repUrl=entry['request']['url']
            if "app.onenine.cc/m/api/search" in repUrl:
                content = entry['response']['content']
                text=content['text']
                data=json.loads(text)['data']
                lists=data['list'][:]
                downloadMusic(sheetNames[i],type,lists)

#榜单，榜单比较少所以可以，直接复制data数据然后直接请求
def getMusicListSongs(listType,quality):
    '''
    listType:何种榜单
    quality:何种音质
    '''
    musicLists={'飙升榜':'9a96BCVWtsdySz5JAlEM4ETawT0kPc0PKnwYwhGTCdL_ABeeIChrZMDWVoEkAy8xVORmVw_mS9xE1maSBbzV1ISsUCDTq2_sWMDY2T-KnB7cqYjoRo9EYTROqsURCA',
    '新歌榜':'0eb8XS226D93TYlB6f0YRLwpd88EElQZglIn4CnZo9CUa8yqKtPDCG-pL3GKi_9UoBxJClL04dhhdgjAh-EAho2EkPBct2PF2tJl3F8p2atv3IwIxgPYE9iDGFKD',
    '原创':'9cecTgCD-VsNzA2od9fsyX6c2KpOCdI1VfGRMO26vy4XgwyApkwNtsii9u2La2FS1xoBsJL-nPFpORJ1t9Vd3T0aSzg-0R2LWbS8Yj8wJeYsTVlnnbzFdMeO88OV',
    '热歌榜':'bfaFw92RlNQ6e3pJQ9tIkNtitPFqTUbXZHDzE8yuiJ-nNo7gpsDldd5R6AQ83eqQCuE9Id2GiS6ycC9Q8wqeB-HNfxC-Q-Mbv-Amdir7AHal8MKsHnZYeiCWKGG',
    'ACG音乐榜':'b91b2EKQBotaf_vdDg3ttFZwGBGJ_uFpbSf8oSjga2p7NKAsNCCHFdj_dywOpfalhPUQz78HAwDNqp127vWDFCP5Ie4pKJEbigRXjr0FwVgPcrhyR5A_RvbJibnGlw',
    '欧美热歌榜':'10e2UIqDLgcQvg74T9Y6BU0mlxUHvstcHkV5UKHPkSDzyi3TRBORkKAKLtAspirLXvbbTwN4B8Jm_IYzis6kbq1VkFnbcpM28AV54vdGk9Trj1ycEP1FbclVuvxGAXuX',
    '抖音热歌榜':'b0758Dllkk2pO4ripW44AWtSVQMHsmPgxNcVsJZmQKtNgoIi4dCd0CVRsKOIt69f6TFRffmQhJKCp6dBO9l1UGyiwUks3T5xlxHndE5oOz0NJogMrE49W6e2S8xc-sZb',
    '古典音乐榜':'c6540n5sOF11X1eYySdN9elyUeEtSPKAzU0b-Pm41g5Kpt7WGD7E6pEVyNNMEsMb5OL5f5NC-bAt6Prqvesz9xIwYWDrHCbfAsWldzvzMDJCNybErloRvh98iev2oQ'
    }
    lists=[]
    url='https://app.onenine.cc/m/api/search'
    headers={'content-type':'application/x-www-form-urlencoded; charset=UTF-8','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
    data={'data':'b91b2EKQBotaf_vdDg3ttFZwGBGJ_uFpbSf8oSjga2p7NKAsNCCHFdj_dywOpfalhPUQz78HAwDNqp127vWDFCP5Ie4pKJEbigRXjr0FwVgPcrhyR5A_RvbJibnGlw','v':'2'}
    r=requests.post(url,headers=headers,data=data)#构造post请求
    data=r.json()
    print(len(data))
    lists=data['data']['list']

    #data=data['list']

    #print(data)
    downloadMusic(listType,quality,lists)

if __name__=='__main__':

    signer=input("输入歌手名字:")
    lists=getDownloadUrls(signer)
    print('获取完成,开始下载音乐')
    downloadMusic(signer,0,lists)#0表示下载流畅音质的
    print('下载结束')
    '''
    #这个是下载歌单的
    getSongsSheetSongs(0)
    '''
    '''
    #这个是下载榜单的
    getMusicListSongs('ACG音乐榜',1)
    '''
    # getSongsSheetSongs(1)
    # getMusicListSongs('ACG音乐榜',1)
    # print('end')
    server.stop()
    driver.quit()

效果

6.在Windows下安装Browsermob-proxy，可能比较麻烦一点，如果不会，可以找。

有其他问题也可以随时留言。