24年终自己立了flag: 25年做些轮子玩(用于浪费生命,赚不了钱)

所以25年就准备用c#写一个网络代理NZOrz(nginx知道吧,就那玩意儿干的事),包含 udp/tcp/http1 2 3,

至于为啥不用rust写,主要由于某台电脑某些不可告知的原因不方便安装rust,所以等我写完c#的,后面有空再说吧(应该25年没时间了吧)

代码借鉴出处

秉承将生命浪费到底的造轮子精神,实力不行就尽可能借鉴(抄袭,读书人的事,怎么能说呢)

所以这里首先列举一下借鉴出处

  1. 借鉴 Kestrel 的 socket 处理核心 (理论上基于Kestrel也是可行的)
  2. 借鉴 Yarp 各项代理处理 (实现只有http)

所以整体实现上都是socket 上层做多线程处理,不编写与系统内核交互或者其他io事件库打交道的代码

(为啥?要打跨平台交道,我不如直接用 rust 写 linux的,window写不写看心情,反正服务器是王道是不是)

局限

不得不先提一个局限,dotnet 的socket 没有提供统一的跨进程socket转移api,因为dotnet是跨平台的,不同系统存在差异,该issue Migrate Socket between processes 已经多年没有下文了

所以不好做到热重启

初步完成进度

  • TCP server core
  • TCP proxy core
  • dns (use system dns, no query from dns server )
  • LoadBalancingPolicy
  • Passive HealthCheck
  • TCP Connected Active HealthCheck
  • Configuration
  • reload config and rebind
  • Log
  • UDP server core
  • Config Validators
  • UDP proxy core
  • HTTP1 server core
  • HTTP2 server core
  • HTTP3 server core
  • HTTP proxy core
  • Metrics

对,目前主要是完成了基础的 tcp 部分(代理协议不支持,毕竟有那么多,时间也有限),下一步以 udp 为优先,(文档吗?等我先完成再说)

tcp代理使用

目前没有提供现成打包好的exe或者docker镜像,毕竟离完成还有很远的距离

要玩可以这样

建一个 net8.0 或者net9.0 的Console 项目

安装package

dotnet add package NZ.Orz --version 0.0.0.2-beta

入口代码

using Microsoft.Extensions.DependencyInjection;
using Microsoft.Extensions.Hosting;
using NZ.Orz;
using NZ.Orz.ReverseProxy.L4; var app = NZApp.CreateBuilder(args)
.UseJsonConfig()
.Build(); await app.RunAsync();

配置 文件 appsettings.json

{
"Logging": {
"LogLevel": {
"Default": "Information"
}
},
"ReverseProxy": {
"Routes": {
"apidemo": {
"Protocols": "TCP",
"Match": {
"Hosts": [ "*:5000" ]
},
"ClusterId": "apidemo",
"RetryCount": 1,
"Timeout": "00:00:11"
}
},
"Clusters": {
"apidemo": {
"LoadBalancingPolicy": "RoundRobin",
"HealthCheck": {
"Active": {
"Enable": false,
"Policy": "Connect"
}
},
"Destinations": [
{
"Address": "[::1]:5144"
},
{
"Address": "[::1]:5146"
},
{
"Address": "google.com:998"
},
{
"Address": "www.baidu.com"
},
{
"Address": "http://google.com"
},
{
"Address": "https://google.com"
}
]
}
}
}
}

然后启动就行, 启动log大致如下

info: NZ.Orz.Server.ReverseProxy[18]
Config changed. Starting the following endpoints: [Protocols: TCP,Route: apidemo,EndPoint: 0.0.0.0:5000],[Protocols: TCP,Route: apidemo,EndPoint: [::]:5000]
info: Microsoft.Hosting.Lifetime[0]
Application started. Press Ctrl+C to shut down.
info: Microsoft.Hosting.Lifetime[0]
Hosting environment: Production
info: Microsoft.Hosting.Lifetime[0]
Content root path: D:\code\edge\l4proxy\src\L4Proxy\bin\Debug\net8.0

当然,运行中 如果改动appsettings.json内容,会根据配置 重新监听变动端口/重建路由表等等

也算是一定程度弥补无法热重启的问题

改动tcp的数据

如果想改动tcp的数据,可以实现中间件 ITcpMiddleware

比如

public class EchoMiddleware : ITcpMiddleware
{
public int Order => 0; public Task<ReadOnlyMemory<byte>> OnRequest(ConnectionContext connection, ReadOnlyMemory<byte> source, CancellationToken cancellationToken, TcpConnectionDelegate next)
{
Console.WriteLine($"{DateTime.Now} {connection.LocalEndPoint.ToString()} request size: {source.Length}");
return Task.FromResult(source);
} public Task<ReadOnlyMemory<byte>> OnResponse(ConnectionContext connection, ReadOnlyMemory<byte> source, CancellationToken cancellationToken, TcpConnectionDelegate next)
{
Console.WriteLine($"{DateTime.Now} {connection.SelectedDestination.EndPoint.ToString()} reponse size: {source.Length}");
//source = Encoding.UTF8.GetBytes("HTTP/1.1 400 Bad Request\r\nDate: Sun, 18 Oct 2012 10:36:20 GMT\r\nServer: Apache/2.2.14 (Win32)\r\nContent-Length: 0\r\nContent-Type: text/html; charset=iso-8859-1\r\nConnection: Closed\r\n\r\n").AsMemory();
//connection.Abort();
return Task.FromResult(source);
}
}

然后注入ioc就行

var app = NZApp.CreateBuilder(args)
.ConfigServices(services =>
{
services.AddSingleton<ITcpMiddleware, EchoMiddleware>();
})
.UseJsonConfig()
.Build();

配置简单说明

详细等以后写文档再说吧

Protocols 支持 TCP

Hosts 支持后缀匹配, 比如匹配所有实例5000端口就可以写 *:5000, 匹配某个实例如 192.1.1.1,3000端口就可以写 192.1.1.1:3000

(路由表实现采用 前缀树+字典+SIEVE cahce

服务发现目前只支持 DNS, 但不支持指定 dns server, 因为 dns不支持,以后再说吧

HealthCheck 支持主动 被动 二选一,不支持一起用, 主动 暂时只支持 socket connect 成功检查

LoadBalancingPolicy 支持四种 Random , RoundRobin , LeastRequests , PowerOfTwoChoices

先就这样,其他等我慢慢实现

大家有空的话,能否在 GitHub https://github.com/fs7744/NZOrz 点个 star 呢?毕竟借鉴代码也不易呀 哈哈哈哈哈

终于写完轮子一部分:tcp代理 了,记录一下的更多相关文章

  1. iOS进阶之TCP代理鉴权过程

    这段时间接触了网络代理,而自己的任务是完成TCP和UDP的网络代理,所以在这里写些自己的理解吧. 这篇文章先介绍一下TCP代理的鉴权过程(采用的是用户名和密码鉴权),下一篇文章再介绍UDP代理的鉴权过 ...

  2. 不写完不让回家的JQuery的事件与动画

    在这看不见太阳的小黑屋里,苦逼的一天又开始了 好了闲话我也就不扯了,接下来我就来说说我对jQuery事件和动画的理解吧!!! 还是得再扯两句,我们敬爱的,Y老师讲完了,jQuery事件和动画,对着我们 ...

  3. 刚写完的商城erp + 这个商城前台,新鲜出炉。自己1个人写, 包括php框架和前端html页面.

    刚写完的商城erp + 这个商城前台,新鲜出炉.自己1个人写, 包括php框架和前端html页面. 刚写完的商城erp + 这个商城前台,新鲜出炉.自己1个人写, 包括php框架和前端html页面.

  4. nginx TCP 代理& windows傻瓜式安装

    一.下载nginx Windows http://nginx.org/en/download.html 二.解压到目录 三.进入目录并start nginx.exe即可启动 cd d:/java/ng ...

  5. nginx : TCP代理和负载均衡的stream模块

    一直以来,Nginx 并不支持tcp协议,所以后台的一些基于TCP的业务就只能通过其他高可用负载软件来完成了,比如Haproxy. 这算是一个nginx比较明显的缺憾.不过,在1.90发布后这个认知将 ...

  6. 早期nginx tcp代理(基于patch实现)

    nginx tcp代理功能由nginx_tcp_proxy_module模块提供,同时监测后端主机状态.该模块包括的模块有: ngx_tcp_module, ngx_tcp_core_module, ...

  7. Nginx 配置TCP代理

    Nginx 1.9 版本以后增加了stream模块,可以对tcp,udp请求进行代理和负载均衡了,今天来体验一下首先编译安装过程configure的时候增加选项 --with-stream --wit ...

  8. Scrum:The Definition of Done —— 作业有没有写完呢?

    Scrum:The Definition of Done -- 作业有没有写完呢?_苗得雨_新浪博客 http://blog.sina.com.cn/s/blog_59450ffc0102eiai.h ...

  9. HDU 4640 状态压缩DP 未写完

    原题链接:http://acm.hdu.edu.cn/showproblem.php?pid=4640 解题思路: 首先用一个简单的2^n*n的dp可以求出一个人访问一个给定状态的最小花费,因为这i个 ...

  10. nginx做TCP代理实现群集

    nginx做TCP代理实现群集 nginx从版本1.9开始,既能做HTTP代理,又能做TCP代理,这就非常完美了. 配置nginx.conf. 为了简单起见,笔者故意去掉了HTTP代理配置部分,只保留 ...

随机推荐

  1. 解决WSL2无法启动提示“找不到元素”

    最近一段时间没有看 docker desktop,忽然想起来打开看看,结果死活启动不了.以前卸载之后,重新安装就好了,同样的方法尝试了很多次还是不太行,重启也不行... 后来想想是不是 wsl 出了问 ...

  2. 2024年1月Java项目开发指南1:环境与工具准备

    准备工作 基础能力 开发能力的事咱先不谈,有两个基础技能要学一下. 1.学习使用Markdown编写文档 2.学会使用git拉取代码和提交代码 软件准备 电脑需要安装以下软件: IDEA 2023.2 ...

  3. Python+Selenium自动搜索基金业协会指定企业名单,爬虫抓取指定信息并保存到数据库

    Python+Selenium自动搜索基金业协会指定企业名单,抓取指定信息并保存到数据库.网址https://gs.amac.org.cn/amac-infodisc/res/pof/manager/ ...

  4. Qt开发经验小技巧241-245

    QString类是我个人认为Qt所有类中的精华,封装的无可挑剔.内置了各种进制数据的转换,比如将数据转成10进制.16进制显示,或者将10进制.16进制数据转成字符串显示.这里很容易忽略的一点就是,很 ...

  5. Playwright自动化登录JD

    import base64 import random import re import time from playwright.sync_api import sync_playwright im ...

  6. 在 .NET 9 中使用 Scalar 替代 Swagger

    前言 在.NET 9发布以后ASP.NET Core官方团队发布公告已经将Swashbuckle.AspNetCore(一个为ASP.NET Core API提供Swagger工具的项目)从ASP.N ...

  7. Solution Set -「LOCAL」冲刺省选 Round XXIX

    \(\mathscr{Summary}\)   啊--说老实话,早上昏昏欲睡的,起码浪费了一个多小时.比赛打麻了 qwq.   A 题类似费用提前计算,回忆起这个 trick 之后就简单了.B 题又错 ...

  8. WPF 查找大小相同文件/图片

    假设文件大小一样就表示文件一模一样,是重复文件 using System; using System.Collections.Generic; using System.Linq; using Sys ...

  9. 第三章 消息摘要算法--MD5--SHA--MAC

    6.1.MD5 推荐使用CC(即Commons Codec)实现 虽然已被破解,但是仍旧广泛用于注册登录模块与验证下载的文件的完整性 可以自己写一个注册登录模块:自己下载一个MD5加密的文件,然后通过 ...

  10. linux:权限管理

    权限概述 linux一般讲文件可存 / 取 访问的身份分为3个类别:owner.group.others,且3种身份各有 read.write.execute等权限 权限介绍 在多用户计算机系统中,权 ...