python 实现简单 http 代理

http 代理有什么用处？

1，可以是插入 js 广告，某些 isp 就是这么干的，强插广告，现在 https 的网站越来越多了，插入不了。

2,  用来调试 app 或是别的程序，可以看到详细的 http 请求，响应，fiddler 这个软件也是做这个的，但它不开源。

用浏览器打开测试的 HTTP 请求  http://localhost/logo.gif  带端口号的  http://localhost:8000/logo.gif

使用 wireshark 抓包：

GET http://localhost/logo.gif HTTP/1.1
Host: localhost
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:56.0) Gecko/ Firefox/56.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
Accept-Encoding: gzip, deflate
DNT: 1
Connection: keep-alive
Upgrade-Insecure-Requests: 1

#或第 2 种
GET http://localhost:8000/logo.gif HTTP/1.1
Host: localhost:8000
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
Accept-Encoding: gzip, deflate
DNT:
Connection: keep-alive
Upgrade-Insecure-Requests: 

原理：

http 1.1 也就是 tcp 连接，有 header 和 body ，更多复杂的细节这里不做介绍（session cookie 缓存等）

下面使用 python 实现，  listen 8000 端口，分析原始的 请求网址的HOST 和端口，建立连接拿回数据转发。

设置浏览器，使用 localhost 8000 http 代理方式 。

下图以 firefox 设置为例：

源码 py2.7：

 #!/usr/bin/env python
 #coding:utf-8
 import socket
 import sys
 import re
 import os
 import time
 import urllib
 import urllib2
 import threading

 HEADER_SIZE = 4096

 host = '0.0.0.0'
 port = 8000

 #子进程进行socket 网络请求
 def http_socket(conn, addr):
     print("client connent:{0}:{1}".format(addr[0], addr[1]))
     try:
         #读取 http 请求头信息
         request_header = conn.recv(HEADER_SIZE)
         #拆分头信息
         host_addr = request_header.split("\r\n")[1].split(":")
         #如果未指定端口则为默认 80
         if 2 == len(host_addr):
             host_addr.append("")
         name, host, port = map(lambda x: x.strip(), host_addr)
         #建立 socket tcp 连接
         sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
         sock.connect((host, int(port)))
         #发送原始请求头
         sock.sendall(request_header)
         #接收数据并发送给浏览器
         while(True):
             resp = sock.recv(512)
             if resp:
                 conn.sendall(resp)
             else:
                 break
         #关闭连接
         sock.close()
     except Exception as e:
         print("http socket error")
         print(e)

 #创建socket对象
 http_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
 try:
     http_server.bind((host, port))
 except:
     sys.exit("python proxy bind error ")

 print("python proxy start")

 http_server.listen(1024)

 while True:
     conn, addr = http_server.accept()
     http_thread = threading.Thread(target=http_socket, args=(conn, addr))
     http_thread.start()
     time.sleep(1)

 #关闭所有连接
 http_server.close()
 print("python proxy close")

测试下载大点的文件：

正常。

缺点是，性能不好，没有实现 Connection : keep-alive 打开一次就关闭了。

在 win10 python2.7 ubuntu 16.0.4 上应该都可以用

select 版 修改了 keep-alive 不是每次都关闭连接

 #!/usr/bin/env python
 #coding:utf-8
 import socket
 import sys
 import re
 import os
 import time
 import select
 import threading

 HEADER_SIZE = 4096

 host = '0.0.0.0'
 port = 8000

 #子进程进行socket 网络请求
 def http_socket(client, addr):
     #创建 select 检测 fd 列表
     inputs  = [client]
     outputs = []
     remote_socket = 0
     print("client connent:{0}:{1}".format(addr[0], addr[1]))
     while True:
         readable, writable, exceptional = select.select(inputs, outputs, inputs)
         try:
             for s in readable:
                 if s is client:
                     #读取 http 请求头信息
                     request_header = s.recv(HEADER_SIZE)
                     if remote_socket is 0:
                         #拆分头信息
                         host_addr = request_header.split("\r\n")[1].split(":")
                         #如果未指定端口则为默认 80
                         if 2 == len(host_addr):
                             host_addr.append("")
                         name, host, port = map(lambda x: x.strip(), host_addr)
                         #建立 socket tcp 连接
                         sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
                         sock.connect((host, int(port)))
                         remote_socket = sock
                         inputs.append(sock)
                     #发送原始请求头
                     remote_socket.sendall(request_header)
                 else:
                     #接收数据并发送给浏览器
                     while(True):
                         resp = s.recv(512)
                         if resp:
                             client.sendall(resp)
                     else:
                         break
         except Exception as e:
             print("http socket error {0}".format(e))

 #创建socket对象
 http_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
 try:
     http_server.bind((host, port))
 except:
     sys.exit("python proxy bind error ")

 print("python proxy start")

 http_server.listen(1024)

 while True:
     client, addr = http_server.accept()
     http_thread = threading.Thread(target=http_socket, args=(client, addr))
     http_thread.start()
     time.sleep(1)

 #关闭所有连接
 http_server.close()
 print("python proxy close")

https 的实现稍复杂一点，下面讲。