Mitmproxy 拦截、mock移动设备网络请求

转载于https://blog.csdn.net/countofdane/article/details/82055173

1.  安装

pip install mitmproxy

2.  启动

mitmweb

若端口8080被占用，可通过运行mitmweb --port “任一可用端口”更改，更改为你想用的端口

3. 抓取 app 请求的数据

注意：如果 Android 的版本在 7.0 以上，抓取数据包可能会遇到一些问题，所以我们推荐你使用7.0 一下的Android 版本，或者使用 iOS 系统进行抓包测试，Android 7.0 的版本也是可以抓到app 数据的，但是需要开发包才行

在手机里面设置手机的代理模式为「手动」，代理的地址设置到自己的电脑的IP 端口设置为自己运行 mitm 时指定的端口即可，在手上下载并安装证书 (访问地址 mitm.it ) 按照提示就可以安装完成

接下来既可以看到拦截到的请求信息了

4. 写个脚本对拦截的数据做处理

脚本

完成了上述工作，我们已经具备了操作 mitmproxy 的基本能力 了。接下来开始开发自定义脚本，这才是 mitmproxy 真正强大的地方。

脚本的编写需要遵循 mitmproxy 规定的套路，这样的套路有两个。

第一个是，编写一个 py 文件供 mitmproxy 加载，文件中定义了若干函数，这些函数实现了某些 mitmproxy 提供的事件，mitmproxy 会在某个事件发生时调用对应的函数，形如：

1.  
   import mitmproxy.http
2.  
   from mitmproxy import ctx
3.  
    
4.  
   num = 0
5.  
    
6.  
    
7.  
   def request(flow: mitmproxy.http.HTTPFlow):
8.  
   global num
9.  
   num = num + 1
10.  
    ctx.log.info("We've seen %d flows" % num)
11.  
     

第二个是，编写一个 py 文件供 mitmproxy 加载，文件定义了变量 addons，addons 是个数组，每个元素是一个类实例，这些类有若干方法，这些方法实现了某些 mitmproxy 提供的事件，mitmproxy 会在某个事件发生时调用对应的方法。这些类，称为一个个 addon，比如一个叫 Counter 的 addon：

1.  
   import mitmproxy.http
2.  
   from mitmproxy import ctx
3.  
    
4.  
    
5.  
   class Counter:
6.  
   def __init__(self):
7.  
   self.num = 0
8.  
    
9.  
   def request(self, flow: mitmproxy.http.HTTPFlow):
10.  
    self.num = self.num + 1
11.  
    ctx.log.info("We've seen %d flows" % self.num)
12.  
     
13.  
     
14.  
    addons = [
15.  
    Counter()
16.  
    ]

这里强烈建议使用第二种套路，直觉上就会感觉第二种套路更为先进，使用会更方便也更容易管理和拓展。况且这也是官方内置的一些 addon 的实现方式。

我们将上面第二种套路的示例代码存为 addons.py，再重新启动 mitmproxy：

mitmweb -s addons.py

当浏览器使用代理进行访问时，就应该能看到控制台里有类似这样的日志：

1.  
   Web server listening at http://127.0.0.1:8081/
2.  
   Loading script addons.py
3.  
   Proxy server listening at http://*:8080
4.  
   We've seen 1 flows
5.  
   ……
6.  
   ……
7.  
   We've seen 2 flows
8.  
   ……
9.  
   We've seen 3 flows
10.  
    ……
11.  
    We've seen 4 flows
12.  
    ……
13.  
    ……
14.  
    We've seen 5 flows
15.  
    ……

这就说明自定义脚本生效了

事件

上述的脚本估计不用我解释相信大家也看明白了，就是当 request 发生时，计数器加一，并打印日志。这里对应的是 request 事件，那拢共有哪些事件呢？不多，也不少，这里详细介绍一下。

事件针对不同生命周期分为 5 类。“生命周期”这里指在哪一个层面看待事件，举例来说，同样是一次 web 请求，我可以理解为“HTTP 请求 -> HTTP 响应”的过程，也可以理解为“TCP 连接 -> TCP 通信 -> TCP 断开”的过程。那么，如果我想拒绝来个某个 IP 的客户端请求，应当注册函数到针对 TCP 生命周期 的 tcp_start 事件，又或者，我想阻断对某个特定域名的请求时，则应当注册函数到针对 HTTP 声明周期的 http_connect 事件。其他情况同理。

下面一段估计会又臭又长，如果你没有耐心看完，那至少看掉针对 HTTP 生命周期的事件，然后跳到示例。

1. 针对 HTTP 生命周期

def http_connect(self, flow: mitmproxy.http.HTTPFlow):

(Called when) 收到了来自客户端的 HTTP CONNECT 请求。在 flow 上设置非 2xx 响应将返回该响应并断开连接。CONNECT 不是常用的 HTTP 请求方法，目的是与服务器建立代理连接，仅是 client 与 proxy 的之间的交流，所以 CONNECT 请求不会触发 request、response 等其他常规的 HTTP 事件。

def requestheaders(self, flow: mitmproxy.http.HTTPFlow):

(Called when) 来自客户端的 HTTP 请求的头部被成功读取。此时 flow 中的 request 的 body 是空的。

def request(self, flow: mitmproxy.http.HTTPFlow):

(Called when) 来自客户端的 HTTP 请求被成功完整读取。

def responseheaders(self, flow: mitmproxy.http.HTTPFlow):

(Called when) 来自服务端的 HTTP 响应的头部被成功读取。此时 flow 中的 response 的 body 是空的。

def response(self, flow: mitmproxy.http.HTTPFlow):

(Called when) 来自服务端端的 HTTP 响应被成功完整读取。

def error(self, flow: mitmproxy.http.HTTPFlow):

(Called when) 发生了一个 HTTP 错误。比如无效的服务端响应、连接断开等。注意与“有效的 HTTP 错误返回”不是一回事，后者是一个正确的服务端响应，只是 HTTP code 表示错误而已。

2. 针对 TCP 生命周期

def tcp_start(self, flow: mitmproxy.tcp.TCPFlow):

(Called when) 建立了一个 TCP 连接。

def tcp_message(self, flow: mitmproxy.tcp.TCPFlow):

(Called when) TCP 连接收到了一条消息，最近一条消息存于 flow.messages[-1]。消息是可修改的。

def tcp_error(self, flow: mitmproxy.tcp.TCPFlow):

(Called when) 发生了 TCP 错误。

def tcp_end(self, flow: mitmproxy.tcp.TCPFlow):

(Called when) TCP 连接关闭。

3. 针对 Websocket 生命周期

def websocket_handshake(self, flow: mitmproxy.http.HTTPFlow):

(Called when) 客户端试图建立一个 websocket 连接。可以通过控制 HTTP 头部中针对 websocket 的条目来改变握手行为。flow 的 request 属性保证是非空的的。

def websocket_start(self, flow: mitmproxy.websocket.WebSocketFlow):

(Called when) 建立了一个 websocket 连接。

def websocket_message(self, flow: mitmproxy.websocket.WebSocketFlow):

(Called when) 收到一条来自客户端或服务端的 websocket 消息。最近一条消息存于 flow.messages[-1]。消息是可修改的。目前有两种消息类型，对应 BINARY 类型的 frame 或 TEXT 类型的 frame。

def websocket_error(self, flow: mitmproxy.websocket.WebSocketFlow):

(Called when) 发生了 websocket 错误。

def websocket_end(self, flow: mitmproxy.websocket.WebSocketFlow):

(Called when) websocket 连接关闭。

4. 针对网络连接生命周期

def clientconnect(self, layer: mitmproxy.proxy.protocol.Layer):

(Called when) 客户端连接到了 mitmproxy。注意一条连接可能对应多个 HTTP 请求。

def clientdisconnect(self, layer: mitmproxy.proxy.protocol.Layer):

(Called when) 客户端断开了和 mitmproxy 的连接。

def serverconnect(self, conn: mitmproxy.connections.ServerConnection):

(Called when) mitmproxy 连接到了服务端。注意一条连接可能对应多个 HTTP 请求。

def serverdisconnect(self, conn: mitmproxy.connections.ServerConnection):

(Called when) mitmproxy 断开了和服务端的连接。

def next_layer(self, layer: mitmproxy.proxy.protocol.Layer):

(Called when) 网络 layer 发生切换。你可以通过返回一个新的 layer 对象来改变将被使用的 layer。详见 layer 的定义。

5. 通用生命周期

def configure(self, updated: typing.Set[str]):

(Called when) 配置发生变化。updated 参数是一个类似集合的对象，包含了所有变化了的选项。在 mitmproxy 启动时，该事件也会触发，且 updated 包含所有选项。

def done(self):

(Called when) addon 关闭或被移除，又或者 mitmproxy 本身关闭。由于会先等事件循环终止后再触发该事件，所以这是一个 addon 可以看见的最后一个事件。由于此时 log 也已经关闭，所以此时调用 log 函数没有任何输出。

def load(self, entry: mitmproxy.addonmanager.Loader):

(Called when) addon 第一次加载时。entry 参数是一个 Loader 对象，包含有添加选项、命令的方法。这里是 addon 配置它自己的地方。

def log(self, entry: mitmproxy.log.LogEntry):

(Called when) 通过 mitmproxy.ctx.log 产生了一条新日志。小心不要在这个事件内打日志，否则会造成死循环。

def running(self):

(Called when) mitmproxy 完全启动并开始运行。此时，mitmproxy 已经绑定了端口，所有的 addon 都被加载了。

def update(self, flows: typing.Sequence[mitmproxy.flow.Flow]):

(Called when) 一个或多个 flow 对象被修改了，通常是来自一个不同的 addon。

示例

估计看了那么多的事件你已经晕了，正常，鬼才会记得那么多事件。事实上考虑到 mitmproxy 的实际使用场景，大多数情况下我们只会用到针对 HTTP 生命周期的几个事件。再精简一点，甚至只需要用到 http_connect、request、response 三个事件就能完成大多数需求了。

这里以一个稍微有点黑色幽默的例子，覆盖这三个事件，展示如果利用 mitmproxy 工作。

需求是这样的：

1. 因为百度搜索是不靠谱的，所有当客户端发起百度搜索时，记录下用户的搜索词，再修改请求，将搜索词改为“360 搜索”；
2. 因为 360 搜索还是不靠谱的，所有当客户端访问 360 搜索时，将页面中所有“搜索”字样改为“请使用谷歌”。
3. 因为谷歌是个不存在的网站，所有就不要浪费时间去尝试连接服务端了，所有当发现客户端试图访问谷歌时，直接断开连接。
4. 将上述功能组装成名为 Joker 的 addon，并保留之前展示名为 Counter 的 addon，都加载进 mitmproxy。

第一个需求需要篡改客户端请求，所以实现一个 request 事件：

1.  
   def request(self, flow: mitmproxy.http.HTTPFlow):
2.  
   # 忽略非百度搜索地址
3.  
   if flow.request.host != "www.baidu.com" or not flow.request.path.startswith("/s"):
4.  
   return
5.  
    
6.  
   # 确认请求参数中有搜索词
7.  
   if "wd" not in flow.request.query.keys():
8.  
   ctx.log.warn("can not get search word from %s" % flow.request.pretty_url)
9.  
   return
10.  
     
11.  
    # 输出原始的搜索词
12.  
    ctx.log.info("catch search word: %s" % flow.request.query.get("wd"))
13.  
    # 替换搜索词为“360搜索”
14.  
    flow.request.query.set_all("wd", ["360搜索"])

第二个需求需要篡改服务端响应，所以实现一个 response 事件：

1.  
   def response(self, flow: mitmproxy.http.HTTPFlow):
2.  
   # 忽略非 360 搜索地址
3.  
   if flow.request.host != "www.so.com":
4.  
   return
5.  
    
6.  
   # 将响应中所有“搜索”替换为“请使用谷歌”
7.  
   text = flow.response.get_text()
8.  
   text = text.replace("搜索", "请使用谷歌")
9.  
   flow.response.set_text(text)

第三个需求需要拒绝客户端请求，所以实现一个 http_connect 事件：

1.  
   def http_connect(self, flow: mitmproxy.http.HTTPFlow):
2.  
   # 确认客户端是想访问 www.google.com
3.  
   if flow.request.host == "www.google.com":
4.  
   # 返回一个非 2xx 响应断开连接
5.  
   flow.response = http.HTTPResponse.make(404)

为了实现第四个需求，我们需要将代码整理一下，即易于管理也易于查看。

创建一个 joker.py 文件，内容为：

1.  
   import mitmproxy.http
2.  
   from mitmproxy import ctx, http
3.  
    
4.  
    
5.  
   class Joker:
6.  
   def request(self, flow: mitmproxy.http.HTTPFlow):
7.  
   if flow.request.host != "www.baidu.com" or not flow.request.path.startswith("/s"):
8.  
   return
9.  
    
10.  
    if "wd" not in flow.request.query.keys():
11.  
    ctx.log.warn("can not get search word from %s" % flow.request.pretty_url)
12.  
    return
13.  
     
14.  
    ctx.log.info("catch search word: %s" % flow.request.query.get("wd"))
15.  
    flow.request.query.set_all("wd", ["360搜索"])
16.  
     
17.  
    def response(self, flow: mitmproxy.http.HTTPFlow):
18.  
    if flow.request.host != "www.so.com":
19.  
    return
20.  
     
21.  
    text = flow.response.get_text()
22.  
    text = text.replace("搜索", "请使用谷歌")
23.  
    flow.response.set_text(text)
24.  
     
25.  
    def http_connect(self, flow: mitmproxy.http.HTTPFlow):
26.  
    if flow.request.host == "www.google.com":
27.  
    flow.response = http.HTTPResponse.make(404)
28.  
     

创建一个 counter.py 文件，内容为：

1.  
   import mitmproxy.http
2.  
   from mitmproxy import ctx
3.  
    
4.  
    
5.  
   class Counter:
6.  
   def __init__(self):
7.  
   self.num = 0
8.  
    
9.  
   def request(self, flow: mitmproxy.http.HTTPFlow):
10.  
    self.num = self.num + 1
11.  
    ctx.log.info("We've seen %d flows" % self.num)
12.  
     

创建一个 addons.py 文件，内容为：

1.  
   import counter
2.  
   import joker
3.  
    
4.  
   addons = [
5.  
   counter.Counter(),
6.  
   joker.Joker(),
7.  
   ]
8.  
    

将三个文件放在相同的文件夹，在该文件夹内启动命令行，运行：

mitmweb -s addons.py