[转帖]Nginx 保留 Client 真实 IP

• https://lqingcloud.cn/post/nginx-01/#:~:text=%E5%9C%A8%20Nginx%20%E4%B8%AD%E5%8F%AF%E4%BB%A5%E9%80%9A%E8%BF%87%E4%B8%8B%E9%9D%A2%E7%9A%84%E5%8F%98%E9%87%8F%E6%9D%A5%E8%8E%B7%E5%BE%97%E5%AF%B9%E5%BA%94%E7%9A%84%E5%AE%A2%E6%88%B7%E7%AB%AF%E4%BF%A1%E6%81%AF%EF%BC%8C%E5%85%B7%E4%BD%93%E8%80%8C%E8%A8%80%E5%A6%82%E4%B8%8B%E6%89%80%E7%A4%BA%EF%BC%9A%20%24proxy_protocol_addr%E5%92%8C%24proxy_protocol_port%E8%A1%A8%E7%A4%BA%E7%9A%84%E6%98%AF%E5%8E%9F%E5%A7%8B%E5%AE%A2%E6%88%B7%E7%AB%AF%E7%9A%84IP%E5%9C%B0%E5%9D%80%E5%92%8C%E7%AB%AF%E5%8F%A3%E5%8F%B7%EF%BC%8C%E5%8D%B3%20nginx%20%E4%BD%9C%E4%B8%BA%20Proxy,Protocol%20Reciever%20%E6%97%B6%E4%BB%8E%20Proxy%20Protocol%20%E5%8D%8F%E8%AE%AE%E4%B8%AD%E8%A7%A3%E6%9E%90%E5%88%B0%20IP%20%E4%BF%A1%E6%81%AF%E3%80%82

概述

Nginx 作为经久不衰的负载均衡工具，具备 L7/L4 层流量的负载均衡能力，并且支持 Proxy Protocol、限速、负载均衡等能力。

本文将讨论在 Kubernetes 中使用 Nginx 作为容器流量入口的一些方案：

• 实现类似 kubernetes NodePort 的四层负载均衡能力
• Pod 获取 Client 真实 IP 的能力。

这些内容在我个人看来绝对不是 Kubernetes 生产环境中的最佳实践，但这些“奇淫技巧”或许在一些极端环境中能对我们有一些帮助。

NodePort 功能

通过 Nginx 原生的 stream 模块，我们可以实现和 Kubernetes NodePort 类似的流量 4 层负载均衡功能。

在 Kubernetes 中部署 Nginx 时，我们采取以下方式，Yaml 文件可以参考 Demo：

• 通过 DaemonSet 方式部署
• Nginx 运行在主机网络中

我们部署 whoami 容器作为测试业务，并创建 ClusterIP类型的 Service ，Yaml 文件可以参考 Demo。

为了使用户在 Kubernetes 集群外能正常范围 whoami 服务，我们使用 stream 模块配置反向代理，核心配置文件如下：

1 2 3 4 5 6 7 8 9 10 11

stream { resolver kube-dns.kube-system.svc.cluster.local valid=5s; map "" $whoami_server { default whoami.default.svc.cluster.local:80; } server { listen 18080; proxy_timeout 20s; proxy_pass $whoami_server; } }

上述配置中，我们直接讲服务器的 18080 端口反向代理到 whoami.default.svc.cluster.local:80 从而实现类似 NodePort 的功能。

默认情况下 Nginx 会一直缓存域名的 IP 地址，因此当 whoami.default.svc.cluster.local 的 ip 地址变更时需要重启 Nginx 容器反向代理才能正常工作。

如何处理 nginx 开源版本的 DNS 动态解析问题，不在本文讨论范畴，大家可以自行百度。

Client 真实 IP

在运行 Kubernetes 的环境中，Pod 处理请求时获取 Client 的真实 IP 是一个比较重要的需求，目前比较靠谱的解决方案我在 《获取Client真实IP》 一文中进行了介绍，本文不再一一赘述。

这里我将主要验证一种基于 Nginx + Proxy Protocol 的方案来实现获取 Client 真实 IP 。

1. Proxy Protocol 协议

Proxy Protocol 是 HAProxy 的作者 Willy Tarreau 于2010年开发和设计的一个 Internet 协议，通过为 tcp 添加一个很小的头信息，使 TCP 连接能够在复杂网络场景下，传递真实的 Client IP 信息。

Proxy Protocol 工作时存在 Sender/Reciever 两种角色。Sender 负责构建 TCP 连接中的头信息并和 Reciever 建立 TCP 连接。当 Reciever 接受到 TCP 报文时，根据协议解析报文头获取 Sender 填入的内容。

目前 Proxy Protocol有两个版本，v1 仅支持 human-readable 报头格式（ASCIII码），v2 同时支持 human-readable 和二进制格式。v1 和 v2 版本仅在报文格式上存在差异，v2 并没有在 v1 基础上新增特殊功能。 Proxy Protocol 协议具体的报文格式，可以参考文档《Proxy Protocol》。

需要注意，Sender 构建报文时填写的源IP和端口信息可以是自身的 IP 或者端口，也可以是任意值。

Proxy Protocol 协议实际上改变了 Client/Server 建立 TCP 连接的过程，存在以下局限：

• 使用 Proxy Protocol 通信时，Client/Server（Sender/Reciever） 都需要支持 Proxy Protocol 协议。
• 对于服务器的同一个监听端口，无法同时兼容带 Proxy Protocol 包的连接和不带 Proxy Protocol 包的连接。

根据 HAProxy 官方的描述 Proxy Protocol 协议最主要的用途是：在多层负载均衡环境中保留Client源IP。

假定某个系统存在以下网络拓扑架构：

上述网络架构中，请求从 Client 到 Server 经历了 L4/L7 两次转发。这种情况下报文到达 nginx（L7 负载均衡）时，就已经丢失了 Client 原始 IP 信息。为了解决这个问题，我们可以在将 L4LB 和 Nginx 之间建立 Proxy Protocol 连接，使 nginx 可以解析 Proxy Protocol 包获取真实 IP 并设置到后续 HTTP 连接的 Header 中。该方案中 Client 和 Server 都无需支持 Proxy Protocol 协议，所有功能实现或者配置都下沉到了 L4LB / L7LB 两个基础设施中。

HAProxy 官方列出了不少支持 Proxy Protocol 协议的软件，其中绝大部分正是一些商业/开源的负载均衡软件：

• AWS Network Load Balancer
• DigitalOcean Load Balancer
• Google Cloud Load Balancing
• Envoy Proxy
• NGINX/NGINX Plus
• HAProxy

2. 方案验证

截至到 Nginx 1.11.4 版本，用户可以将 Nginx 作为 Proxy Protocol 的 Sender/Reciever 部署到应用在自己的生产环境中。

在 Nginx 中可以通过下面的变量来获得对应的客户端信息，具体而言如下所示：

• $proxy_protocol_addr和$proxy_protocol_port表示的是原始客户端的IP地址和端口号，即 nginx 作为 Proxy Protocol Reciever 时从 Proxy Protocol 协议中解析到 IP 信息。
• $remote_addr和$remote_port表示的 Nginx 服务本身的 IP 地址和端口。

如果用户使用了 RealIP 扩展模块，那么这个模块会重写$remote_addr和$remote_port这两个值，将其替换成和$proxy_protocol_addr一样的值，然后使用$realip_remote_addr和$realip_remote_port来表示原有值。

使用 Nginx 的 Proxy Protocol 功能和 RealIP 模块，我们可以改进前文中的示例，使 whoami 容器在任意情况下都可以获取 Client 的真实 IP 地址。

在我们的方案中，nginx 转发用户请求时需要作为 Sender 将 Client 真实 IP 封装到 Proxy Protocol 包中，Pod 在接收到连接请求时从 Proxy Protocol 包获取 Client 的真实 IP 信息。为了验证上述方案，我修订了首先 whoami 使之可以作为 Server 正常处理 Proxy Protocol 。

修改 whoami 使它支持 Proxy Protocol 非常简单，有兴趣的可以参考： https://github.com/pires/go-proxyproto

修订 nginx 的配置文件，如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

stream { resolver kube-dns.kube-system.svc.cluster.local valid=5s; map "" $whoami_server { default whoami.default.svc.cluster.local:80; } server { # listen 18080 proxy_protocol; # 将 nginx 作为 proxy_protocol reciever listen 18080; proxy_timeout 20s; proxy_pass $whoami_server; proxy_protocol on; # 将 nginx 作为 proxy_protocol sender set_real_ip_from 0.0.0.0; # 使用 realip 模块向 proxy_protocol 包填充真实 IP } }

根据上述的验证，我们可以达到预期目标，但是需要推动业务修改底层代码以支持 proxy protocol。这些修订的成本需要业务组件进行评估，可能微不足道也可能非常巨大！

上述配置中 nginx 监听的 18080 没有开启 proxy_protocol 监听，只能接收普通的 tcp 请求。我们可以配置该端口处理 proxy_protocol 请求，此时我们需要修改 client 使它发送 proxy_protocol 报文。

这种情况下会有一个非常有意思的地方，client 在发送 proxyproto 头时，可以将源 ip 地址指定为任意值！

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96

package main import ( "context" "errors" "flag" "fmt" "github.com/pires/go-proxyproto" "io/ioutil" "log" "net" "net/http" "time" ) func transportSupportProxyProtocol(sourceIP string, sourcePort int) (*http.Transport, error) { tr := &http.Transport{} if sourceIP == "" || sourcePort <= 0 || sourcePort >= 65535 { return nil, errors.New("error source addr") } sourceAddr := &net.TCPAddr{ IP: net.ParseIP(sourceIP), Port: sourcePort, } tr.DialContext = func(ctx context.Context, network, addr string) (net.Conn, error) { conn, err := (&net.Dialer{}).Dial(network, addr) if err != nil { return nil, err } header := &proxyproto.Header{ Version: 1, Command: proxyproto.PROXY, TransportProtocol: proxyproto.TCPv4, SourceAddr: sourceAddr, DestinationAddr: conn.RemoteAddr(), } _, err = header.WriteTo(conn) if err != nil { return nil, err } return conn, nil } return tr, nil } var ( url string sourceIP string sourcePort int ) func init() { flag.StringVar(&url, "url", "", "") flag.StringVar(&sourceIP, "sip", "9.9.9.9", "") flag.IntVar(&sourcePort, "sport", 999, "") } func main() { flag.Parse() tr, err := transportSupportProxyProtocol(sourceIP, sourcePort) if err != nil { log.Fatal(err) } httpclient := &http.Client{ Timeout: time.Second, Transport: tr, } resp, err := httpclient.Get(url) if err != nil { log.Fatal(err) } defer resp.Body.Close() if resp.StatusCode != http.StatusOK { log.Fatalf("error http status code: %d ", resp.StatusCode) } body, err := ioutil.ReadAll(resp.Body) if resp.StatusCode != http.StatusOK { log.Fatal(err) } fmt.Println(string(body)) }

参考

• Proxy Protocol
• Proxy Protocol support
• Using Proxy Protocol on Nginx
• icgood/proxy-protocol
• traefik/whoami
• 获取Client真实IP