由于本网站较为特殊 目标网站加密与其他稍有不同 目标网站 68747470733a2f2f65632e6d696e6d6574616c732e636f6d2e636e2f6f70656e2f686f6d652f70757263686173652d696e666f2f3f746162496e6465783d31 需求 爬取所有的列表页 标题 时间 url 以及详情页内容 分析 在爬取列表页时 会发现 有两个请求,说明有两个请求是一起发送的. 第一个请求 可以发现这个请求 直接发起post 请求就可…

今天爬取的是网站需要模拟登陆 目标网站 aHR0cHM6Ly9wYXNzcG9ydC55aGQuY29tL3Bhc3Nwb3J0L2xvZ2luX2lucHV0LmRv 浏览器抓包分析 随便输入一堆假账户和密码 然后进入断点 如下图 根据setpublic 设置公钥 可知 这是个RSA加密 (当然 不能说百分百RSA 百分之80吧 毕竟我之前写过的一篇文章:[https://www.cnblogs.com/zichliang/p/16710284.html] 这也有这个方法. ) 扣了半天 发现…

今天准备爬取网页时,遇到『JS逆向AES加密』反爬.比如这样的: 在发送请求获取数据时,需要用到参数params和encSecKey,但是这两个参数经过JS逆向AES加密而来. 既然遇到了这个情况,那么辰哥就教大家如何去解决这类反爬(JS逆向AES加密) 01 网页分析 在开始分析JS逆向AES加密之前,先简单介绍一下要爬取的内容:下载某抑云音乐.其中获取歌曲的真实播放地址m4a的过程涉及到JS逆向AES加密. 点击播放,在浏览器中查看抓取到的数据包,如下图所示: 查看响应数据: 可以看到在ur…

故事背景: 在获取某网站接口数据时,发现其请求的 headers 中的参数 使用了 AES算法加密 ,并对其进行校验,在此简单记录下自己的踩坑历程. AES简介: 高级加密标准(AES,Advanced Encryption Standard)为最常见的对称加密算法.对称加密算法也就是加密和解密用相同的密钥. AES加密方式有五种:ECB, CBC, CTR, CFB, OFB CBC:加密需要一个十六位的key(密钥)和一个十六位iv(偏移量) ECB:加密不需要iv AES,CBC: 加密的…

C语言趣味程序设计编程百例精解 C/C++语言经典.实用.趣味程序设计编程百例精解(1)  https://wenku.baidu.com/view/b9f683c08bd63186bcebbc3c.html https://blog.csdn.net/nigulasi_dawei/article/details/72795786 1.绘制余弦曲线 在屏幕上用“*”显示0~360度的余弦函数cos(x)曲线 *问题分析与算法设计 如果在程序中使用数组,这个问题十分简单.但若规定不能使用数组,问题…

1 引言 数月前写过某网站(请原谅我的掩耳盗铃)的爬虫,这两天需要重新采集一次,用的是scrapy-redis框架,本以为二次爬取可以轻松完成的,可没想到爬虫启动没几秒,出现了大堆的重试提示,心里顿时就咯噔一下,悠闲时光估计要结束了. 仔细分析后,发现是获取店铺列表的请求出现问题,通过浏览器抓包,发现请求头参数中相比之前多了一个X-Shard和x-uab参数,如下图所示: X-Shard倒是没什么问题,一看就是兴趣点的经纬度,但x-uab看过之后就让人心里苦了,js加密啊,只能去逆向解密了. 2…

前言 本文意在记录,在爬虫过程中,我首次遇到Protobuf时的一系列问题和解决问题的思路. 文章编写遵循当时工作的思路,优点:非常详细,缺点:文字冗长,描述不准确 protobuf用在前后端传输,在一定程度节约了带宽,也为爬虫工程师增加了工作量. 遇见Protobuf 一拿到网站,F12查看是否有相关数据的请求接口 ok! 接口找到了,看下请求参数吧! emmm~~ 为啥请求参数是乱码? 平时见着的都是这个样子滴?可以直接看到参数! 哎,咱们这初出茅庐的菜鸟,乖乖搜搜,看看有没有前辈们写过相关…

爬取某省公共资源交易中心 通过抓包数据可知 这个data是我们所需要的数据,但是已经通过加密隐藏起来了 分析 首先这是个json文件,我们可以用请求参数一个一个搜 但是由于我们已经知道了这是个json 所以我们可以直接偷个懒 直接搜索json.parse 然后还看见了state 刚好也是返回的值 3. 根据上述请求参数我们看见了ts是一个时间戳, 然后往周围找找 所以可以判断这是个AES加密 基本这个函数就是AES加密的,我们把代码抠出来就能直接运行了,但是抠出来之后发现 这就是个常规AES加密…

JS逆向之补环境过瑞数详解 "瑞数" 是逆向路上的一座大山,是许多JS逆向者绕不开的一堵围墙,也是跳槽简历上的一个亮点,我们必须得在下次跳槽前攻克它!! 好在现在网上有很多讲解瑞数相关的文章,贴心的一步一步教我们去分析瑞数流程,分析如何去扣瑞数逻辑,企图以此教会我们 (手动狗头).却鲜有文章详细去讲解如何通过纯补环境的方式过瑞数.今天,它来了! 为了让大家彻底搞定瑞数这个老大哥,本文将从以下四个部分进行描述: rs的流程逻辑 浅谈扣代码过rs 详解补环境过rs 扣代码与补环境对比 弯道…

JS逆向之浏览器补环境详解 "补浏览器环境"是JS逆向者升职加薪的必备技能,也是工作中不可避免的操作. 为了让大家彻底搞懂 "补浏览器环境"的缘由及原理,本文将从以下四个部分进行描述: 什么是补环境? 为什么要补环境? 怎么补环境? 补环境实战 补环境框架成品源码 一:什么是 "补浏览器环境"? 浏览器环境: 是指 JS代码在浏览器中的运行时环境,它包括V8自动构建的对象(即ECMAScript的内容,如Date.Array),浏览器(内置)传递…