30. 干货系列从零用Rust编写正反向代理，HTTP的组装之旅（中间件）

wmproxy

wmproxy已用Rust实现http/https代理, socks5代理, 反向代理, 静态文件服务器，四层TCP/UDP转发，七层负载均衡，内网穿透，后续将实现websocket代理等，会将实现过程分享出来，感兴趣的可以一起造个轮子

项目地址

国内: https://gitee.com/tickbh/wmproxy

github: https://github.com/tickbh/wmproxy

旅程路线

  大家好，我是这趟旅程的导游，可以叫我导游，我为大家来介绍HTTP的组装之旅。

  大家好，我是这趟旅程的乘客，可以叫我小H，出来玩实在太开心了

旅行开端

首先导游带我来了码头，说是我接一位神秘的来客

  我问：“这个神秘的来客有什么来头？”

  导游答：“这个神秘的来客，名字叫socket，这码头能正常的运营有一半的功劳是他的存在，等下他来了我们要赶紧麻溜的接待。”

  只见远处来了一艘轮船正在缓缓的驶来，他看起来好壮观。

  导游这时候急忙的说：“他马上就停靠进来了，这边码头的工人马上就会将他的货卸下了，去晚了就看不到全过程了。”

  我们就立即来到了停靠点，只见有一套完善的流程正在对接着这一切，我想这是这码头能繁荣的原因吧，高效！

  socket说：“这些东西是http大神要的东西，你们把它们按照指定的顺序转交给他，他会安排如何处理的！”

旅行中转

接下来运送集装箱的过程又会碰到什么有趣的事呢？

  我们跟随着运送车队前行，只见http大神安排了查验数据，但奇怪的是他只检查前面的一辆车，后面的就数一数就放行了。

  于是我就好奇的问：“为什么前面一辆车要检查，后面的车就数一数都不用拿出来检查？”

  http大神就笑着说：“我检查前面的车，因为我不知道这些车装了什么东西，第一辆车带有车队的信息，我就通过他来知道这趟车的内容是什么了。下面我跟你说下这辆车带的信息。”

POST /report HTTP/1.1\r\n
Content-Type: application/x-www-form-urlencoded; charset=UTF-8\r\n
Accept: */*\r\n
Accept-Language: zh-CN,zh-Hans;q=0.9\r\n
Accept-Encoding: gzip, deflate, br\r\n
Host: www.wm-proxy.com\r\n
Origin: https://www.wm-proxy.com\r\n
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15\r\n
Referer: https://www.wm-proxy.com/\r\n
Content-Length: 218\r\n
Connection: keep-alive\r\n
\r\n

  通过这第一辆车的信息，我就知道了他要找的是叫/report的，他用POST的方法去敲他家的门，他可以接受Accept-Language: zh-CN,zh-Hans;q=0.9这种格式的语言，接受Accept-Encoding: gzip, deflate, br这三种格式的压缩，及后面还带着218的数据，在他访问结束的时候不要立刻关闭Connection: keep-alive他可能还有话没说完，叫我再等等，然后通过\r\n\r\n表示他没有其它信息了。

  我惊叹的答到：“原来这车上隐藏了这么多的信息吖，那接下来他们会遇到什么？”

  http大神说：“我现在知道了他们的全部信息了，我现在会把这些车队组装成Request<RecvStream>的结构体，等下你看到那边的一扇扇门了没有，那个叫中间件。”

  我来到这门前：“这怎么有两个门呢？他们等下走哪个门呢？”

  http大神说：“他们这些门，都是有统一的规格的，他们需要按照我的规格来建这些门，左边是进的process_request，右边是出的process_response，要严格的按照这流程来，要不然会出错哦。下面我给你说下他这个门有哪些注意的”

#[async_trait]
pub trait Middleware: Send + Sync {
    async fn process_request(&mut self, request: &mut RecvRequest) -> ProtResult<()>;
    async fn process_response(&mut self, request: &mut RecvRequest, response: &mut RecvResponse) -> ProtResult<()>;
}

  他们按照这规格建起各种各样的门，他们可以规定进门后要怎么处理我组装的这个车队RecvRequest，比如要把车队变成红色之类等操作或者记录下有多少个车队经过等，这样我就可以不会显得臃肿，但是我的能力却是大大的提升了起来。

  我表示羡慕到：“原来这种方式强大可以变得这么优雅。那通过这些门后会有什么好玩的？”

旅程终点

过了中间件的门，我们就来到了这旅程的终点。我们来到了一个大广场，广场上有个神奇的装置，看起来像传送门。

  我就很好奇的问：“这传送门看起来的有点高级，这边角好像和刚才那门有点像，难道也是要遵循你的规则？”

  http大神回答：“观察力不错哦，这传送门也是同样的道理哦，因为我也不知道他们要把这个数据拿来干什么，所以我就弄了个传送门，让他们把数据加工好后再给我咯，我的要求就是建传送门必须要按以下格式”

#[async_trait]
pub trait OperateTrait {
    async fn operate(&mut self, req: &mut RecvRequest) -> ProtResult<RecvResponse>;
}

  “他们必须返回给我一个RecvResponse或者一个错误，我等下好告诉socket要运送哪些东西回去。你看，从传送门里出来了一个对象Ok(RecvResponse)，那我们接下来把这个对象带回去。这对象类似这样子的内容：”

HTTP/1.1 200 OK\r\n
Content-Encoding: deflate\r\n
Date: Wed, 22 Nov 2023 11:30:23 GMT\r\n
Content-Type: application/json;charset=UTF-8\r\n
Content-Length: 31\r\n
Connection: keep-alive\r\n
Access-Control-Allow-Origin: *\r\n
\r\n

旅程返程

得到了正在的返回结果，我们就马不停蹄的往回走了

  我们又回到了中间件的门，但是此时是从另一侧的门回来，上面标注着process_response，我想这应该是处理我们刚刚从传送门回来的对象吧，这也是逻辑严密的结构。

async fn process_response(&mut self, request: &mut RecvRequest, response: &mut RecvResponse) -> ProtResult<()>;

  经过了中间件的门，对象Ok(RecvResponse)被重新粉刷了蓝色，也做了标记，我们就把他带到了socket的面前。

  socket说：“你们回来的真快，这才过去了不到10ms，把我要的东西带过来了吗？”

  http大神说：“都在这了，顺序不要乱了哦，他们可是被暗中标记过了，乱了的话，等下就还原不回来了。”

  于是socket就把这些数据带回去了，看着这船来船往的码头，我就感慨到，原来他们都已经预处理好各种情况的应对了，难怪看起来那么的井井有条。只见HTTP大神给了例子：

use std::{env, error::Error, time::Duration};
use async_trait::async_trait;

use tokio::{net::TcpListener};
use webparse::{Response};
use wenmeng::{self, ProtResult, Server, RecvRequest, RecvResponse, OperateTrait, Middleware};

struct Operate;
#[async_trait]
impl OperateTrait for Operate {
    async fn operate(&mut self, req: &mut RecvRequest) -> ProtResult<RecvResponse> {
        tokio::time::sleep(Duration::new(1, 1)).await;
        let response = Response::builder()
            .version(req.version().clone())
            .body("Hello World\r\n".to_string())?;
        Ok(response.into_type())
    }
}

struct HelloMiddleware;
#[async_trait]
impl Middleware for HelloMiddleware {
    async fn process_request(&mut self, request: &mut RecvRequest) -> ProtResult<()> {
        println!("hello request {}", request.url());
        Ok(())
    }

    async fn process_response(&mut self, _request: &mut RecvRequest, response: &mut RecvResponse) -> ProtResult<()> {
        println!("hello response {}", response.status());
        Ok(())
    }
}

#[tokio::main]
async fn main() -> Result<(), Box<dyn Error>> {
    env_logger::init();
    let addr = env::args()
        .nth(1)
        .unwrap_or_else(|| "0.0.0.0:8080".to_string());
    let server = TcpListener::bind(&addr).await?;
    println!("Listening on: {}", addr);
    loop {
        let (stream, addr) = server.accept().await?;
        tokio::spawn(async move {
            let mut server = Server::new(stream, Some(addr));
            server.middle(HelloMiddleware);
            let operate = Operate;
            let e = server.incoming(operate).await;
            println!("close server ==== addr = {:?} e = {:?}", addr, e);
        });
    }
}

小结

在http的处理过程中，还有其它的好玩的东西，需要注意的东西，这次我们介绍了中间件及回调处理的小小见闻。以下是一个小demo

点击 [关注]，[在看]，[点赞] 是对作者最大的支持