QQ音乐抓取所有歌手

2024-09-02

爬取QQ音乐歌手的歌单

import requests# 引用requests库res_music = requests.get('https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.song&searchid=60997426243444153&t=0&aggr=1&cr=1&catZhida=1&lo

C#使用Selenium实现QQ空间数据抓取说说抓取

上一篇讲的是如何模拟真人操作登录QQ空间,本篇主要讲述一下如何抓取QQ说说数据继续登录空间后的操作登陆后我们发现QQ空间的菜单其实是固定的,只需要找到对应元素就可以,继续XPath 可以得到地址 //*[@id="menuContainer"]/div/ul/li[5]/a 看来是第5个li元素,不过这个5看起来并不是索引点击说说菜单 //*[@id="menuContainer"]/div/ul/li[5]/a var msgDom = driver.Fin

C#使用Selenium实现QQ空间数据抓取登录QQ空间

经@吃西瓜的星星提醒首先我们介绍下Selenium Selenium也是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一样.支持的浏览器包括IE.Mozilla Firefox.Mozilla Suite等.这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上.测试系统功能——创建衰退测试检验软件功能和用户需求.支持自动录制动作和自动生成.Net.Java.Perl等不同语言的测试脚本.S

周董新歌搞崩QQ，抓取20W评论看看歌迷在说啥

9 月 16 日晚间,周董在朋友圈发布了最新单曲<说好不哭> 发布后,真的让一波人哭了一群想抢鲜听的小伙伴直接泪奔因为 QQ 音乐直接被搞崩了没想到干翻 QQ 音乐的不是网易云音乐也不是虾米音乐而是周董! 周董成成功地凭一己之力干翻了 QQ 音乐那么听过周董新歌后的小伙伴都是怎么评价的呢? 这里,我们获取了 QQ 音乐的近 20W 条评论数据进行分析看看其中有哪些有趣的东西一.数据获取 1.请求分析在 QQ 网页版直接搜索『说好不哭』很容易就能找到单曲页面拉到页面最下方

qq音乐网站页面切换歌手分类时不刷新

1.提交表单时会自动刷新页面(提交表单一般使用post方式提交) 2.动态加载数据时页面不会刷新,只是把页面中某个位置的内容替换掉想要的内容 3.一般在切换到不同的html页面时才会强制让你把页面刷新一下 4.以上是对qq音乐的歌手页面切换分类时页面并不会刷新的解释. 网易云音乐使用了共用模板,所以在切换时页面也不会刷新. 为什么每次点击一个选项的时候都会获取一个不同的url? 因为采用的是get方式获取服务器的资源,get方式获取资源的信息会显示在地址栏中(get方式的信息也会传递给服务器)

爬虫下载QQ音乐：获取所有歌手-每个歌手的专辑-每个专辑里的歌曲

# coding=utf-8 # !/usr/bin/env python ''' author: dangxusheng desc : 稍微有点难度,需要多次请求获取key date : 2018-08-29 ''' # 导入模块 import requests from lxml import etree import json import time # 准备全局变量 headers = { "User-Agent": "Mozilla/5.0 (Windows NT

htmlunit+fastjson抓取酷狗音乐 qq音乐链接及下载

上次学了jsoup之后,发现一些动态生成的网页内容是无法抓取的,于是又学习了htmlunit,下面是抓取酷狗音乐与qq音乐链接的例子: 酷狗音乐: import java.io.BufferedInputStream; import java.io.FileOutputStream; import java.io.InputStream; import java.net.URL; import java.net.URLEncoder; import java.util.UUID; import

获取qq音乐json数据---某课网音乐app学习

移动端qq音乐地址:https://m.y.qq.com/ .抓取QQ音乐数据请求首页时,有如下链接,回调了jsonp https://c.y.qq.com/splcloud/fcgi-bin/p.fcg?g_tk=1847183166&format=jsonp&jsonpCallback=jsonp1 真正xhr: https://c.y.qq.com/musichall/fcgi-bin/fcg_yqqhomepagerecommend.fcg?g_tk=1847183166&

手把手教你使用Python抓取QQ音乐数据（第一弹）

[一.项目目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. [二.需要的库] 主要涉及的库有:requests.json.openpyxl [三.项目实现] 1.了解 QQ 音乐网站的 robots 协议只禁止播放列表,可以操作. 2.进入 QQ 音乐主页 https://y.qq.com/ 3.输入任意歌手,比如邓紫棋 4.打开审查元素(快捷键 Ctrl+Shift+I) 5.分析网页源代码 Elements,发

手把手教你使用Python抓取QQ音乐数据（第二弹）

[一.项目目标] 通过Python爬取QQ音乐数据(一)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 此次我们在之前的基础上获取QQ音乐指定歌曲的歌词及前15个精彩评论. [二.需要的库] 主要涉及的库有:requests.json.html [三.项目实现] 1.以歌曲"泡沫"为例,查看该界面的XHR 2.通过对XHR的Size进行排序,逐个查看(参考英文含义),我们看到第一个红框内是歌曲评论,第二个框内是歌词! 3.分别查看这两条数据Heade

使用浏览器抓取QQ音乐接口(歌曲篇)

前言前面我们获取了歌曲的排行榜的数据,我们现在需要实现歌曲播放前面我们写了一段函数来得到了回调的数据,现在我们需要使用这一段数据,来实现播放歌曲完整代码 <!DOCTYPE html> <html lang="zh-cn" xmlns="http://www.w3.org/1999/xhtml"> <head> <meta charset="utf-8" /> <title>QQ音

使用浏览器抓取QQ音乐接口(排行榜篇)

前言最近手头比较空闲,再加上看到其他人的博客都差不多有个类似的播放控件,手就会闲不下来,说干就干,所以我们开始吧! 来到QQ音乐的官网,我们就直奔着目标去,寻找排行榜我们主要用的是最近比较热的歌,所以我们选择热歌的来下手提前打开浏览器控制台,点击NetWork(网络视图) 现在什么都没有,我们需要点击按钮来提交数据,这里就可以捕捉到点击后,它就会获取数据,并写入浏览器Cookie,再打开新页面,实现播放我们如果没有播放器的页面就会跳转到播放器的页面我们要想或取排行榜数据就必须切回官网

百度音乐API抓取

百度音乐API抓取前段时间做了一个本地音乐的播放器 github地址,想实现在线播放的功能,于是到处寻找API,很遗憾,不是歌曲不全就是质量不高.在网上发现这么一个APIMRASONG博客,有“获取榜单,搜索歌词,下载地址,专辑”信息等等接口. 后来发现有些接口使用起来不是很方便,比如获取专辑信息,只能得到歌曲列表的id信息,所以自己决定用fiddler来对百度音乐安卓客户端抓包. 下面是一系列的接口: 一. 关键词建议: GET: http://tingapi.ting.baidu.com/

NetCloud——一个网易云音乐评论抓取和分析的Python库

在17的四月份,我曾经写了一篇关于网易云音乐爬虫的文章,还写了一篇关于评论数据可视化的文章.在这大半年的时间里,有时会有一些朋友给我发私信询问一些关于代码方面的问题.所以我最近抽空干脆将原来的代码整理了一下,做成了一个Python模块NetCloud放在Pypi上了.目前只是对原来的代码做了一些整理与重构,功能还很不完善,后续打算抽空继续完善,如果有人用的话可能会长期维护下去. 目前只需要使用命令pip install NetCloud 即可以完成模块的安装,支持Windows与Linux系统,

Python爬虫实战一之爬取QQ音乐

一.前言前段时间尝试爬取了网易云音乐的歌曲,这次打算爬取QQ音乐的歌曲信息.网易云音乐歌曲列表是通过iframe展示的,可以借助Selenium获取到iframe的页面元素, 而QQ音乐采用的是异步加载的方式,套路不一样,这是主流的页面加载方式,爬取有点难度,不过也是对自己的一个挑战. 二.Python爬取QQ音乐单曲之前看的慕课网的一个视频, 很好地讲解了一般编写爬虫的步骤,我们也按这个来. 爬虫步骤 1.确定目标首先我们要明确目标,本次爬取的是QQ音乐歌手刘德华的单曲. (百度百科

Vue慕课网音乐项目随手记--node代理及数据抓取

1.抓取数据链接 https://y.qq.com/portal/playlist.html Parameters 通过上图能看到,qq音乐通过设置了refer和host来保护接口. 那么怎么才能获取到数据呢? 2.进入build==>webpack.dev.conf.js 使用axios 做请求, 定义一个api的router 3.定义一个getDiskList的接口,回调传入两个参数,前端请求这个接口,通过nodejs请求QQ音乐接口,发送HTTP请求的时候,修改referer 和ho

Python Scrapy的QQ音乐爬虫音乐下载、爬取歌曲信息、歌词、精彩评论

QQ音乐爬虫(with scrapy)/QQ Music Spider UPDATE 2019.12.23 已实现对QQ音乐文件的下载,出于版权考虑,不对此部分代码进行公开.此项目仅作为学习交流使用,支持正版,人人有责项目介绍在写一个项目的时候需要用到一些音乐的信息,但是在网上找了许久也没找到满意的音乐语料,于是便用scrapy写了一个QQ音乐的爬虫由于本人只需要用到中文歌曲,所以仅使用该爬虫爬取了QQ音乐中排名前6400名的内地和港台歌手的49万+的歌曲信息,该资源也分享到了百度云(该资

一篇文章带你用Python网络爬虫实现网易云音乐歌词抓取

前几天小编给大家分享了数据可视化分析,在文尾提及了网易云音乐歌词爬取,今天小编给大家分享网易云音乐歌词爬取方法. 本文的总体思路如下: 找到正确的URL,获取源码: 利用bs4解析源码,获取歌曲名和歌曲ID: 调用网易云歌曲API,获取歌词: 将歌词写入文件,并存入本地. 本文的目的是获取网易云音乐的歌词,并将歌词存入到本地文件.整体的效果图如下所示: 本文以民谣歌神赵雷为数据采集对象,专门采集他的歌曲歌词,其他歌手的歌词采集方式可以类推,下图展示的是<成都>歌词. 一般来说,网页上显示的UR

抓取QQ音乐歌单

抓取QQ音乐歌单1.通过分析歌曲下载路径来分析所需参数: 通过比较, 得出其中歌曲下载url与参数vkey是可变的,歌曲下载url中可变得值是请求歌单返回的歌曲数据的strMediaMid参数, 而vkey是通过请求歌单返回的歌曲数据的songmid参数再次请求另一个url返回vkey值2.通过分析请求歌单url来分析所需参数: dissid dissid为请求diss的返回数据中的dissid参数 import os import re import requests from urllib.

抓取百度音乐频道歌曲url

参考了 http://blog.csdn.net/banguijun/article/details/11815263 后写了一个抓取fm音乐url的模块,得到所有频道歌曲的url.缺点是百度会变更url地址,失效后需要重新获取.话不多说上代码: # -*- coding: UTF-8 -*- ''' Created on 2013-12-3 从百度的频道中抓取歌曲的下载地址 @author: ''' import urllib import json SAVEPATH='/home/gfc/m

通过Scrapy抓取QQ空间

毕业设计题目就是用Scrapy抓取QQ空间的数据,最近毕业设计弄完了,来总结以下: 首先是模拟登录的问题: 由于Tencent对模拟登录比较讨厌,各个防备,而本人能力有限,所以做的最简单的,手动登录后,获得Cookie信息,然后携带访问. 其次是数据接口: 通过对QQ空间的网页分析,数据主要是通过Json的形式返回.选择了两个数据接口进行数据抓取每个QQ的详细信息接口: "http://user.qzone.qq.com/p/base.s8/cgi-bin/user/cgi_userinfo_

QQ音乐抓取所有歌手

热门专题