利用简易爬虫完成一道基础CTF题

声明：本文主要写给新手，侧重于表现使用爬虫爬取页面并提交数据的大致过程，所以没有对一些东西解释的很详细，比如表单，post，get方法，感兴趣的可以私信或评论给我。如果文中有哪些问题，也欢迎大家指正。

Written by Menglin Ma

写在前面

如果有想学习基础爬虫的同学，建议在中国大学MOOC上搜索嵩天老师的爬虫课程，讲的真的很细致，也很基础。

想入门CTF的同学，给你们推荐个基础的网站，上面的好多题对新手比较友好：www.shiyanbar.com

。初学者可以先从基础密码学开始，比其他的部分相对容易。

题目描述

100米你能跑多快？预备，跑！

解题链接： http://ctf5.shiyanbar.com/jia

via:www.shiyanbar.com

将网址打开后是这样的，一个很复杂的表达式，需要在三秒内提交，依靠人的力量几乎是不可能的（神仙除外）。最靠谱的方法就是利用程序来计算这个表达式，然后自动提交结果。本文采用的是利用简易Python爬虫来实现表达式的自动计算与提交，来获取含有flag页面的方法。

页面分析

使用爬虫爬取页面的第一步就是分析页面。在这道题目中，需要获取需要提交表单的参数，以及所需计算表达式的位置。可以在输入窗口右键选择审查元素，查看所需信息。

在这里我们获得了所需要的信息：需要提交的值为pass_key的值，提交的方法为post方法，表达式夹在两个div标签之间，且div的name为my_expr是独一无二的，提交的动作为?action=check_pass。（关于HTML页面提交表单的一些详情可以尝试百度一下或私聊我）

爬虫编写

编写该爬虫需要一些前提条件，包括导入re库使用正则表达式，导入requests库爬取信息，还有就是需要获得目标网页的URL和需要发送的数据，这些条件要在程序中体现出来。

编写该爬虫大概需要以下几步：

1.导入必要的库

2.利用get方法抓取页面

3.利用正则表达式筛选表达式对应的字符串

4.处理字符串并利用eval方法自动计算

5.利用计算出的数值构造需要post的字典

6.利用post方法（注意带上cookies）向服务器发送数据，接收响应并打印

代码实现

import re

import requests

#发送post和get请求的url

get_url = 'http://ctf5.shiyanbar.com/jia/'

post_url = 'http://ctf5.shiyanbar.com/jia/?action=check_pass'

#利用get方法获取网页数据

r = requests.get(get_url)

#构造与匹配正则表达式

str_text = r"<div name='my_expr'>.*</div>"

match = re.search(str_text,r.text)

#处理匹配后的结果

result = match.group().replace("<div name='my_expr'>","")

result = result.replace("</div>","")

if 'x' in result:

    result = str(eval(result.replace('x','*')))

#构造字典

data = {'pass_key':result}

#利用post请求发送data和cookie数据,获得回复

response = requests.post(post_url,data=data,cookies=r.cookies)

response.encoding = response.apparent_encoding

print(response.text[:1000])

运行并拿到key

Vscode下运行该程序，得到了KEY的值