猿人学python爬虫第一题

打开网站。F12，开启devtools。发现有段代码阻止了我们调试

好的。接下来有几种解决方法

1- 绕过阻止调试方法

方法1（推荐）

鼠标放在debugger该行，左边数字行号那一列。右键选择不在永不在此处暂停

再次点击恢复，就跳出该debbug了

方法2 （抓包改返回）

我用的抓包软件是burp，burp默认不拦截js请求。需要更改成拦截js请求。更改教程

拦截对应代码的文件，将其中内容去掉，保证它发挥不出原本的功能就行

2- 反混淆包含数据的请求代码

经过上一步，我们可以正常调试代码了。这一步我们要找到包含价格数据的请求，然后爬取它。最后就大功告成！可是这个过程似乎并不顺利

找到含有数据的请求

所以，只要传入m，还有page，就可以返回数据。关于m的生成，在后面

查看该请求调用堆栈
进入eval方法

因为eval是除主程序外最先开始调用的。所以要找的代码在这里

关于VM102647该文件：我认为这个文件就是传入eval的内容，然后调试器帮我们代码美化了下，就成为了这个文件。

4. 代码反混淆

官方js反混淆网址

记得复制所有代码进去。不要漏掉底下下的request()。

这是图片，拖动条拖不得

3-分析m的生成

抛开其中无关代码，只找有关m生成的

var _0x2268f9 = Date.parse(new Date()) + 100000000, _0x57feae = oo0O0(_0x2268f9.toString()) + window.f;_

0x5d83a3.m = oo0O0(_0x2268f9.toString()) + window.f + '丨' + _0x2268f9 / 1000;

不难发现，需要找到oo0O0 函数的实现方法。其他要么就是系统自带，要么就是变量。我们先关注该函数是怎么实现的

找到该代码位置，复制该行下来。

丢进之前的反混淆网站上去，里面有代码美化功能

这个网站解密要把一些其他的js标签，如<script>..<script> 将它们删除，只留下包含目标函数的js标签。然后去解密才可以代码美化。

分析该函数代码，最后一行有个eval。

● atop 将base64代码解密

● window['b'] 包含base64代码，里面经过atop解密出一些js代码

● J('0x0', ']dQW') 一个混淆，拿到调试器控制台去运行发现是 "replacee" 这个字符串

● J('0x1', 'GTu!') 一个混淆，解密发现是 "mwqqppz" 这个字符串

● '\x27' + mw + '\x27' 就拿单引号包着这个变量。

该代码的意思是，将字符串mwqqppz替换为 '\x27' + mw + '\x27'

运行 atob(window['b']

运行atob(window['b'])[J('0x0', ']dQW')](J('0x1', 'GTu!'), '\x27' + '123456' + '\x27')

不难看出，这就是一个简单替换。即

windows.f = hex_md5(mv)

将相关加密代码copy到本地

在同文件中编写生成m的函数，以便于python调用该函数

function get_m_value() {

    var _date = Date.parse(new Date()) + 100000000;

    var f = hex_md5(_date.toString());

    var m = f + '丨' + _date / 1000;

    return m;

}

编写python代码

import requests

import execjs

import time

requests.packages.urllib3.disable_warnings()

def get_res(page_num, parm):

    url = f'https://match.yuanrenxue.com/api/match/1?page={page_num}&m={parm}'

    headers = {

        'Host': 'match.yuanrenxue.com',

        'Referer': 'http://match.yuanrenxue.com/match/1',

        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36 Edg/94.0.992.50',

        'X-Requested-With': 'XMLHttpRequest',

        'Cookie': 'Hm_lvt_c99546cf032aaa5a679230de9a95c7db=1634894322; qpfccr=true; no-alert3=true; Hm_lvt_9bcbda9cbf86757998a2339a0437208e=1634894331; vaptchaNetway=cn; Hm_lvt_0362c7a08a9a04ccf3a8463c590e1e2f=1634894320,1634894605; Hm_lpvt_0362c7a08a9a04ccf3a8463c590e1e2f=1634894656; tk=2886305154209229651; Hm_lpvt_9bcbda9cbf86757998a2339a0437208e=1634900896; Hm_lpvt_c99546cf032aaa5a679230de9a95c7db=1634902874'

        }

    proxies = {

        'http' : 'http://127.0.0.1:8888',

        'https' : 'http://127.0.0.1:8888',

    }

    if page_num > 3:

        headers['Cookie'] = headers['Cookie'] + ';sessionid=1;'

        headers['User-Agent'] = 'yuanrenxue.project'

    resp = requests.get(url=url, headers=headers, verify=False, timeout=5, proxies='')

    if resp.status_code < 400:

        return resp.json()

    else:

        print("Error!!")

def calc_m_value():

    with open('get_m.js', mode='r', encoding='utf-8') as f:

        jsdata = f.read()

        m_value  = execjs.compile(jsdata).call('get_m_value')

        result = m_value.replace("丨", "%E4%B8%A8")

        return result

def calc_result(res_data):

    global _sum

    for item in res_data['data']:

        _sum += item['value']

if __name__ == '__main__':

    _sum = 0

    m = calc_m_value()

    for page in range(1,6):

        res_data = get_res(page, m)

        calc_result(res_data)

        time.sleep(1)

        print(_sum)

    print(_sum/50)