某Websocket反爬逆向分析+请求加解密+还原html

网址

aHR0cHM6Ly93d3cueWR4Zi5nb3YuY24vTmV3cy9zaG93TGlzdC80L3BhZ2VfMS5odG1s

前言

工作中遇到的某websocket反爬，比混淆网站还恶心，看到也有其他人在问这个

之前看到其他大佬也弄过这个websocket反爬，但是只是说了下加解密，个人觉得最重要的还是还原最终的html，所以来分享一下过程

目标

• 过无限debugger
• session请求加解密
• websocket通信
• 消息结构解析还原成html
• 使用Python还原算法

分析过程

无限debugger

1. 首先打开F12，刷新页面发现会被断住
2. 右键js文件替换内容
3. 看堆栈往上先随便点几个看看

1. 可以直接找到通过正则检测代码格式化的检测点，这里是个自执行函数，我们需要把整个函数干掉，然后保存刷新页面
2. 发现还是会被断住，老套路直接看堆栈往上找检测点

1. 可以清楚看到定时器在不断检测，直接干掉就行了
2. 刷新页面，到此为止无限debugger就过了，这个站的检测还是很简单的对吧

session请求加解密

• XHR

• Payload

• Response

Payload加密

直接看xhr的堆栈

这个比较简单我就不废话了，看截图就行

跟进去函数后可以看到用到了iv，iv生成就在上面一个函数

往下继续跟，进入这个解密函数，这个解密函数计算iv的时候也用到这个函数

直接跟到下图这个位置可以看到是个AES加密，差不多就结束了，这个是个标准AES-128-CBC，直接引库就行了

Response解密

跟加密算法一致，用同一个key解密就行，这里就不再写具体流程了

Python实现

• AES-128-CBC

代码抄了晨哥的

• 构造请求&加解密

• 运行结果

Websocket

wss链接分析

wss://www.xxxx.cn/1ywuKELSO2ahQuWZ/pr/rSakD15JVxHzfnpXyZpkf4J5HNjv_CSciPJFAMMxKE0%3D/c/ws/zpgffq9z89/a0c20283-d62c-411a-820b-33e42f1c6082

• 1ywuKELSO2ahQuWZ：固定值
• rSakD15JVxHzfnpXyZpkf4J5HNjv_CSciPJFAMMxKE0%3D：session返回的token值
• zpgffq9z89：网站tab_id，与请求时保持一致，随机字符串（可固定）
• a0c20283-d62c-411a-820b-33e42f1c6082：uuid，可固定

Python连接Websocket

• 第三方库：websocket-client、msgpack
• 代码

• 结果

这里返回的结果通过msgpack进行解包了，这里就不再赘述了，有兴趣的可以看我晨哥的分析文章讲到了这个https://mp.weixin.qq.com/s/o5UCJFhBg-4JFdS0aEwDuw

消息结构解析

重点来了，这个网站最难的不是session的加解密和websocket连接，而是websocket收发的消息，页面的内容均是通过websocket返回的特殊指令渲染出来的，因此我们从websocket中取想要的数据可能会比较复杂，并且不能通用，我们这里会讲到如何将收到的指令还原成原本的html，从而通过pyquery或者bs4等html解析库来提取数据

定位websocket接收消息函数

找到ws连接请求，进入第一个调用堆栈

在连接下面找到消息回调函数，直接下断点后跟进去

这样我们就找到了ws消息回调函数了

分析接收到的数据

单步跟着走一遍

可以直接把指令表拿出来，这样比较清晰，也可以根据对应名称来猜指令的作用

CommandCodes = {
    "TAB_OPS": 0,
    "DOM_EVENT": 4,
    "DOM_METHOD": 5,
    "RESET_DOM": 6,
    "ADD_DOC_TYPE": 7,
    "ADD_HTML_ELEMENT": 8,
    "ADD_SVG_ELEMENT": 9,
    "ADD_NS_ELEMENT": 10,
    "MOVE_ELEMENT": 11,
    "SHUFFLE_CHILDREN": 12,
    "EDIT_ELEMENT": 13,
    "DELETE_ELEMENT": 14,
    "ADD_STYLE": 15,
    "ADD_TEXT": 16,
    "MODIFY_TEXT": 17,
    "MODIFY_PROPERTY": 18,
    "MODIFY_ATTRIBUTES": 19,
    "SET_SELECTIONS": 20,
    "INSERT_RULE": 21,
    "DELETE_RULE": 22,
    "DISABLED_STYLE": 24,
    "SET_CANVAS_DATA": 23,
    "REPLACE_SYNC": 25,
    "WEBRTC": 30,
    "NAVIGATE": 31,
    "SYNC": 32,
    "SYNC_COOKIE": 34,
    "FILE": 35,
    "TAB_ACTIVE": 42,
    "NATIVE_METHOD": 44,
    "MODIFY_DOC_TYPE": 47,
    "CHANGE_BLOCK": 48,
    "RELOAD": 49,
    "SYNC_ALL_COOKIE": 50,
    "SYNC_WRITE_COOKIE": 51,
    "MEDIA_STATE": 52,
    "DOM_READY": 53,
    "AUGMENT_CSS": 54,
    "MULTI_CMD": 55,
    "REDIRECT_REQUEST": 56,
    "TEXTAREA_RESIZE": 57,
    "SIMPLE_HTML": 58,
    "RENDER_STATE": 59,
    "SYNC_CONFIG_TO_CLIENT_WIC": 60,
    "SYNC_CONFIG_TO_CLIENT_AIC": 61,
    "SYNC_CONFIG_TO_CLIENT_EIC": 62,
    "FRAME_PUSH_STATE": 63
}

断到一个53指令码，根据码表来看应该是dom相关的指令，继续单步跟

这里将数据传送到其他回调函数了，继续跟进去

大概跟了几个函数就跟到这里了，这里比较重要，我们慢慢看

这个应该是将数组形式的消息转换为对象形式，这个消息太短了，看不出效果，我们多接收几个消息看一下

这个55指令码对应的指令名是"MULTI_CMD": 55 ，应该是多条指令的集合，我们还需要对content的多条指令进行转换，才能拿到最终的对象

单步跟了一下后发现会进入到另外一个接收函数

这里就是根据不同指令码来执行不同操作的地方了

可以看到这个55指令码实际上会进行递归执行指令

后面会根据不同指令码来走不同的分支，我这里就直接给结果吧，"ADD_DOC_TYPE": 7

这个指令操作会给在html中添加一个dom元素，它这里实际上是将这个指令都放到一个指令队列里面，然后再根据指令队列循环操作dom树来渲染页面元素

将websocket消息转换为对象

单步跟进之前那个转换指令的函数

这里会根据e的指令码映射拿到对应的指令处理器，再执行转换命令

不同的指令对应不同的转换器，所以这里如果要还原得一个一个抠下来才行

使用Python还原指令解析算法

基本上只要对照js来还原就行了

• 指令转换器

• 消息解析

• 运行结果

使用Pyquery还原HTML

我们需要将上一步转换后的指令队列转换为HTML代码

• 转换代码

• 运行结果

• 列表页

• 详情页

有了html代码后就可以用xpath大法来拿内容了

微信公众号

公众号更新比较快，欢迎关注！

完整源代码

欢迎各位大佬一起完善，有问题可以一起讨论，希望有更好的方案能带俺一手

https://github.com/Meteo-Pig/CommandSpider

码字不易，动起你的发财的小手点个赞吧~~