Python socket模拟HTTP请求

0x00 起

最近在做一个对时间要求比较高的扫描器，需要封装一下SOCKET模拟HTTP发包的一些常用函数。简单的说，就是重写一下requests中的get、post方法。

今天在写的时候，遇到一枚很奇怪的问题，对同一个URL，POST请求能正常返回信息，而一旦切到GET，socket time out。

伪代码如下：

get_str = 'GET %s HTTP/1.1\r\nHost: %s\r\nUser-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.125 Safari/537.36\r\nAccept: */*\r\n\r\n'
post_str = 'POST %s HTTP/1.1\r\nHost: %s\r\nUser-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.125 Safari/537.36\r\n\r\n%s\r\n\r\n'

def get(url,port):
    sock = socket.connect(url,port)
    sock.send(get_str % (url, port))    

    response = ''
    temp = sock.recv(4096)
    while temp:
        temp = sock.recv(4096)
        response += temp

    return response 

0x10 结

心烦意乱的调了很久无果，出去吃了个饭，回来查查资料，从头开始顺了一遍，找到了bug点。原因是HTTP 1.1协议中，默认connection: keep-alive。

Connection: keep-alive   当一个网页打开完成后，客户端和服务器之间用于传输HTTP数据的TCP连接不会关闭，如果客户端再次访问这个服务器上的网页，会继续使用这一条已经建立的连接

Connection: close  代表一个Request完成后，客户端和服务器之间用于传输HTTP数据的TCP连接会关闭， 当客户端再次发送Request，需要重新建立TCP连接。

而python中的sock.recv如果接收不到数据，会等到TCP连接down掉，才会返回NULL。如果在程序中没有设置超时时间，会等到服务器主动断开连接，一般是30s~60s。

这就是造成socket timeout的原因。在http request里添加connection: close即可解决问题。但是为什么只有get受到影响，post却没有问题呢？

做了个简单的测试：

post 很快就返回了结果:

而get用了很久才返回结果，其中connection为keep-alive:

所以，之前所说的HTTP 1.1协议中，所有的请求都默认为Connection: keep-alive是错误的认识。

只有get请求会默认采取Connection: keep-alive

参考资料：

https://www.byvoid.com/blog/http-keep-alive-header