Go | Go 结合 Consul 实现动态反向代理
Go 结合 Consul 实现动态反向代理
代理的核心功能可以用一句话概括:接受客户端的请求,转发到后端服务器,获得应答之后返回给客户端。
Table of Contents
反向代理
反向代理(Reverse Proxy)实际运行方式是指以代理服务器来接受 internet 上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给 internet 上请求连接的客户端,此时代理服务器对外就表现为一个服务器。
实现逻辑
根据代理的描述一共分成几个步骤:
- 代理接收到客户端的请求,复制了原来的请求对象
- 根据一些规则,修改新请求的请求指向
- 把新请求发送到根据服务器端,并接收到服务器端返回的响应
- 将上一步的响应根据需求处理一下,然后返回给客户端
Go 语言实现
原生代码
因为要接收并转发 http 请求,所以要实现 http.Handler
type OriginReverseProxy struct {
servers []*url.URL
}
func NewOriginReverseProxy(targets []*url.URL) *OriginReverseProxy {
return &OriginReverseProxy{
servers: targets,
}
}
// 实现 http.Handler, 用于接收所有的请求
func (proxy *OriginReverseProxy) ServeHTTP(rw http.ResponseWriter, req *http.Request) {
// 1. 复制了原来的请求对象
r2 := clone(req)
// 2. 修改请求的地址,换为对应的服务器地址
target := proxy.servers[rand.Int()%len(proxy.servers)]
r2.URL.Scheme = target.Scheme
r2.URL.Host = target.Host
// 3. 发送复制的新请求
transport := http.DefaultTransport
res, err := transport.RoundTrip(r2)
// 4。处理响应
if err != nil {
rw.WriteHeader(http.StatusBadGateway)
return
}
for key, value := range res.Header {
for _, v := range value {
rw.Header().Add(key, v)
}
}
rw.WriteHeader(res.StatusCode)
io.Copy(rw, res.Body)
res.Body.Close()
}
// 复制原请求,生成新的请求
func clone(req *http.Request) *http.Request {
r2 := new(http.Request)
*r2 = *req
r2.URL = cloneURL(req.URL)
if req.Header != nil {
r2.Header = req.Header.Clone()
}
if req.Trailer != nil {
r2.Trailer = req.Trailer.Clone()
}
if s := req.TransferEncoding; s != nil {
s2 := make([]string, len(s))
copy(s2, s)
r2.TransferEncoding = s2
}
r2.Form = cloneURLValues(req.Form)
r2.PostForm = cloneURLValues(req.PostForm)
return r2
}
func cloneURLValues(v url.Values) url.Values {
if v == nil {
return nil
}
return url.Values(http.Header(v).Clone())
}
func cloneURL(u *url.URL) *url.URL {
if u == nil {
return nil
}
u2 := new(url.URL)
*u2 = *u
if u.User != nil {
u2.User = new(url.Userinfo)
*u2.User = *u.User
}
return u2
}
测试
// 先用 gin 起一个 web 项目,方便转发
func TestGin(t *testing.T) {
r := gin.Default()
r.GET("/ping", func(c *gin.Context) {
c.JSON(200, gin.H{
"message": "pong",
})
})
r.Run(":9091") // listen and serve on 0.0.0.0:9091
}
func main() {
proxy := proxy.NewOriginReverseProxy([]*url.URL{
{
Scheme: "http",
Host: "localhost:9091",
},
})
http.ListenAndServe(":19090", proxy)
}
请求 http://127.0.0.1:19090/ping
返回 {"message":"pong"}
httputil.ReverseProxy 工具实现
在上面的例子中,我们自己实现了请求的接收、复制、转发和处理。自己写的代码还算凑合吧。
从上面的示例中,其实我们主要关心的是第二步: 修改请求的地址,换为对应的服务器地址, 其余的逻辑都是通用的,还好官方已经帮我们处理了重复逻辑,那我们看看官方是怎么实现的
在 httputil.ReverseProxy
源码中,可以看出,通过自定义 Director
方法就可以在原请求复制后,新请求转发出之前对复制出的新请求进行修改,这里就是我们真正改动的地方,当然如果有其他定制需求,可以通过自定义 ModifyResponse
实现对响应的修改,自定义 ErrorHandler
来处理异常
type ReverseProxy struct {
// Director must be a function which modifies
// the request into a new request to be sent
// using Transport. Its response is then copied
// back to the original client unmodified.
// Director must not access the provided Request
// after returning.
Director func(*http.Request)
Transport http.RoundTripper
FlushInterval time.Duration
ErrorLog *log.Logger
BufferPool BufferPool
ModifyResponse func(*http.Response) error
ErrorHandler func(http.ResponseWriter, *http.Request, error)
}
这里我们通过自定义 Director
来修改请求地址
func NewMultipleHostsReverseProxy(targets []*url.URL) *httputil.ReverseProxy {
director := func(req *http.Request) {
target := targets[rand.Int()%len(targets)]
req.URL.Scheme = target.Scheme
req.URL.Host = target.Host
req.URL.Path = target.Path
}
return &httputil.ReverseProxy{Director: director}
}
测试
gin 的项目还是要启动的,这里不在赘叙
func TestMultipleHostsReverseProxy(t *testing.T) {
proxy := proxy.NewMultipleHostsReverseProxy([]*url.URL{
{
Scheme: "http",
Host: "localhost:9091",
},
})
http.ListenAndServe(":9090", proxy)
}
接入 consul 实现动态代理
在前面的一篇文章中讲了如何用 Go 实现 Consul 的服务发现, 如果要结合 consul 实现动态代理,需要考虑如何将请求的地址和对应的服务对应上。这里需要在原理的基础上加上一下功能:
- 根据请求地址找到对应的服务
- 根据服务找到对应的示例
针对第一步先实现最简单的,就以 请求地址开头
为规则
type LoadBalanceRoute interface {
ObtainInstance(path string) *url.URL
}
type Route struct {
Path string
ServiceName string
}
type DiscoveryLoadBalanceRoute struct {
DiscoveryClient DiscoveryClient
Routes []Route
}
func (d DiscoveryLoadBalanceRoute) ObtainInstance(path string) *url.URL {
for _, route := range d.Routes {
if strings.Index(path, route.Path) == 0 {
instances, _ := d.DiscoveryClient.GetInstances(route.ServiceName)
instance := instances[rand.Int()%len(instances)]
scheme := "http"
return &url.URL{
Scheme: scheme,
Host: instance.GetHost(),
}
}
}
return nil
}
func NewLoadBalanceReverseProxy(lb LoadBalanceRoute) *httputil.ReverseProxy {
director := func(req *http.Request) {
target := lb.ObtainInstance(req.URL.Path)
req.URL.Scheme = target.Scheme
req.URL.Host = target.Host
}
return &httputil.ReverseProxy{Director: director}
}
测试
func main() {
registry, _ := proxy.NewConsulServiceRegistry("127.0.0.1", 8500, "")
reverseProxy := proxy.NewLoadBalanceReverseProxy(&proxy.DiscoveryLoadBalanceRoute{
DiscoveryClient: registry,
Routes: []proxy.Route{
{
Path: "abc",
ServiceName: "abc",
},
},
})
http.ListenAndServe(":19090", reverseProxy)
}
参考
Go | Go 结合 Consul 实现动态反向代理的更多相关文章
- 基于nginx + lua实现的反向代理动态更新
大家都知道,nginx是当前应用非常广泛的web服务器,热度因为他的高并发高性能高可靠性,且轻量级!牛逼的不行,不多说这些. 今天要介绍的是,如何基于nginx和lua脚本,也就是在openresty ...
- Tomcat安装部署和安全加固优化以及反向代理应用
1.Tomcat介绍 Tomcat是Apache软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache.Sun和其他一些公司及个人共同 ...
- Spring boot2X集成zuul与consul实现负载均衡和反向代理
zuul 是netflix开源的一个API Gateway 服务器 所有从设备或网站来的请求都会经过Zuul到达后端的Netflix应用程序. 作为一个边界性质的应用程序,Zuul提供了动态路由.监控 ...
- 使用Nginx反向代理和内容替换模块实现网页内容动态替换功能
2016年11月21日 10:30:00 xian_02 阅读数:10943 Nginx是一款轻量级高性能服务器软件,虽然轻量,但功能非常强大,可用于提供WEB服务.反向代理.负载均衡.缓存服务. ...
- nginx详解反向代理、负载均衡、LNMP架构上线动态网站(week4_day1_part1)-技术流ken
nginx介绍 Nginx是俄罗斯人编写的十分轻量级的HTTP服务器,Nginx,它的发音为“engine X”,是一个高性能的HTTP和反向代理服务器,同时也是一个IMAP/POP3/SMTP 代理 ...
- 002-nginx-在 nginx 反向代理中使用域名,配置动态域名解析
一.概述 代理(proxy),即中间人,它代替客户端发送请求给服务器,收到响应后再转给客户端.通常意义上的代理是从用户的角度讲的,用户通过某个代理可以访问多个网站,这个代理是靠近用户的,比如某些公司可 ...
- IIS 7 反向代理 URL重写 转发动态请求
一.反向代理是什么 有一篇文章说的挺好的 Nginx 反向代理.负载均衡.页面缓存.URL重写及读写分离详解 http://www.server110.com/nginx/201402/5534.ht ...
- nginx详解反向代理、负载均衡、LNMP架构上线动态网站
简介 Nginx是俄罗斯人编写的十分轻量级的HTTP服务器,Nginx,它的发音为“engine X”,是一个高性能的HTTP和反向代理服务器,同时也是一个IMAP/POP3/SMTP 代理服务器.N ...
- nginx详解反向代理,负载均衡,LNMP架构上线动态网站
1.nginx介绍 nginx.org Nginx是俄罗斯人编写的十分轻量级的HTTP服务器,Nginx,它的发音为“engine X”,是一个高性能的HTTP和反向代理服务器,同时也是一个IMAP/ ...
随机推荐
- HDU-6874 Decision 倍增 (2020 HDU多校 D7 D)
Decision 题意 从 \([0,t]\) 中等概率的选取两个数字 \(v_1,v_2\), 定义序列 \(X\) 有 \(X_0=v1+v2,X_{n+1}=(aX_n+c) \mod m\). ...
- Codeforces 1368F - Lamps on a Circle (交互博弈)
这题也太新颖了吧.. 交互博弈 以前一直以为交互只能出二分 题意:长度为n的环形灯 玩家有两种操作 结束游戏 或者选择k个灯点亮 每次这个k是玩家自己选的 玩家操作后让电脑操作 电脑选择一个最优的点x ...
- Codeforces Global Round 8 B. Codeforces Subsequences(构造)
题目链接:https://codeforces.com/contest/1368/problem/B 题意 构造最短的至少含有 $k$ 个 $codeforces$ 子序列的字符串. 题解 如下表: ...
- Codeforces Round #498 (Div. 3) E. Military Problem (DFS)
题意:建一颗以\(1\)为根结点的树,询问\(q\)次,每次询问一个结点,问该结点的第\(k\)个子结点,如果不存在则输出\(-1\). 题解:该题数据范围较大,需要采用dfs预处理的方法,我们从结点 ...
- [Python] Pandas 对数据进行查找、替换、筛选、排序、重复值和缺失值处理
目录 1. 数据文件 2. 读数据 3. 查找数据 4. 替换数据 4.1 一对一替换 4.2 多对一替换 4.3 多对多替换 5. 插入数据 6. 删除数据 6.1 删除列 6.2 删除行 7. 处 ...
- CodeForces - 803C Maximal GCD 【构造】
You are given positive integer number n. You should create such strictly increasing sequence of k po ...
- 2019牛客多校第九场B Quadratic equation(二次剩余定理)题解
题意: 传送门 已知\(0 <= x <= y < p, p = 1e9 + 7\)且有 \((x+y) = b\mod p\) \((x\times y)=c\mod p\) 求解 ...
- cnblogs 日期错乱 bug
cnblogs 日期错乱 bug 时间错乱 bug archive/2004/01/13/ 什么鬼 呀默认时间戳 https://www.cnblogs.com/xgqfrms/archive/200 ...
- 高级数据结构之 BloomFilter
高级数据结构之 BloomFilter 布隆过滤器 https://en.wikipedia.org/wiki/Bloom_filter A Bloom filter is a space-effic ...
- toString()[0]
toString()[0] https://prepack.io/ x = `A` //"A" x.toString()[0] //"A" x.toString ...