1.抓取数据 链接   https://y.qq.com/portal/playlist.html Parameters 通过上图能看到,qq音乐通过设置了refer和host来保护接口. 那么怎么才能获取到数据呢? 2.进入build==>webpack.dev.conf.js 使用axios 做请求, 定义一个api的router 3.定义一个getDiskList的接口,回调传入两个参数,前端请求这个接口,通过nodejs请求QQ音乐接口,发送HTTP请求的时候,修改referer 和ho…

一.非UTF-8页面处理 1.背景 windows-1251编码 比如俄语网站:https://vk.com/cciinniikk 可耻地发现是这种编码 所有这里主要说的是 Windows-1251(cp1251)编码与utf-8编码的问题,其他的如 gbk就先不考虑在内了~ 2.解决方案 1. 使用js原生编码转换 但是我现在还没找到办法哈.. 如果是utf-8转window-1251还可以 http://stackoverflow.com/questions/2696481/encoding…

一  返回的信息提示  Something went wrong  request模块请求出现未知错误 其中,所用代码如下(无User-Agent部分) 问题多次派查无果,包括: 1:postman请求正常 2. curl 请求正常 解决办法: 为请求添加user-agent头,如取消上注释部分.(我发现,只要有了user-agent这个key,无论其value是否为空,都可以正常返回了) 所以对于模拟请求,有时候相应的http头部信息还是必须的.…

东方财富网 股市行情数据抓取: http://quote.eastmoney.com/center/gridlist.html#hs_a_board 请求数据未入库处理,其中数据只存入数据文本,未做存入数据库处理 请求样例数据结果: jQuery112406092635132097686_1569674756779({"rc":0,"rt":6,"svr":181233083,"lt":1,"full":1…

1. 微医挂号网专家团队数据----写在前面 今天尝试使用一个新的爬虫库进行数据的爬取,这个库叫做pyspider,国人开发的,当然支持一下. github地址: https://github.com/binux/pyspider 官方文档地址:http://docs.pyspider.org/en/latest/ 安装起来是非常简单的 pip install pyspider 安装之后,启动 在CMD控制台里面敲入命令 pyspider 出现如下界面,代表运行成功,一般情况下,你的电脑如果没有…

爬前叨叨 缘由 今天本来没有打算抓取这个网站的,无意中看到某个微信群有人问了一嘴这个网站,想看一下有什么特别复杂的地方,一顿操作下来,发现这个网站除了卡慢,经常自己宕机以外,好像还真没有什么特殊的.... 爬取网址 http://cgk.kxjs.tj.gov.cn/navigation.do 有很明显的分页表示 列表如下 Request URL: http://cgk.kxjs.tj.gov.cn/navigation.do Request Method: POST 参数说明,里面两个比较重要…

写在前面 今天咱们抓取一下网易云课堂的课程数据,这个网站的数据量并不是很大,我们只需要使用requests就可以快速的抓取到这部分数据了. 你第一步要做的是打开全部课程的地址,找出爬虫规律, 地址如下: https://study.163.com/courses/ 我简单的看了一下,页面数据是基于 https://study.163.com/p/search/studycourse.json 这个地址进行异步加载的.你自己尝试的时候需要借助开发者工具 进行多次尝试,抓取到这个地址的数据为准. 还…

https://course.tianmaying.com/node 这个系列的文章看起来很不错,值得学习一下. /Users/baidu/Documents/Data/Interview/Web-Server开发/深入浅出Node.js-f46c.pdf 深入浅出Node笔记: // math.js exports.add = function () { var sum = 0, i = 0, args = arguments, l = args.length; while (i < l) {…

第一步:在api文件夹下的singer.js中抛出getSingerDetail方法 第二步:在singer-detail.vue组件中引入api文件夹下的singer.js和config.js 第三步:在singer-detail.vue的方法中调用getSingerDetail方法  这个方法返回一个promise实例  所以要用then 得到获取成功的情况…

1. 写在前面 今天要抓取的一个网站叫做微医网站,地址为 https://www.guahao.com ,我们将通过python3爬虫抓取这个网址,然后数据存储到CSV里面,为后面的一些分析类的教程做准备.本篇文章主要使用的库为pyppeteer 和 pyquery 首先找到 医生列表页 https://www.guahao.com/expert/all/全国/all/不限/p5 这个页面显示有 75952 条数据 ,实际测试中,翻页到第38页,数据就加载不出来了,目测后台程序猿没有把数据返回,…