nginx适配Overlay以及测试工具

本文分享自天翼云开发者社区《nginx适配Overlay以及测试工具》，作者：pan

Overlay与Underlay介绍

Overlay网络和Underlay网络是一组相对概念，Overlay网络是建立在Underlay网络上的逻辑网络。而Overlay网络是通过网络虚拟化技术，在同一张Underlay网络上构建出的一张或者多张虚拟的逻辑网络，如下图所示。

详细资料可查看https://zhuanlan.zhihu.com/p/436605135

ELB使用的技术方案

天翼云ELB使用VXLAN隔离，需要进行VXLAN的解析与封装。VXLAN技术是一种大二层的虚拟网络技术，主要原理是引入一个UDP格式的外层隧道作为数据链路层，而原有数据报文内容作为隧道净荷加以传输。

ELB使用dpvs以及nginx做7层http和https的代理以及分发。报文流向为客户端（内网或者公网）->ELB（内部为dpvs->nginx）->RS（真正的http服务端）。因为ELB和RS处于同一VXLAN中，那么nginx转发的报文就需要封装VXLAN，又因为RS需要知道真实的客户端IP，nginx也需要获取客户端IP并转发的时候增加X-Forwarded-For。

dpvs收到报文会解析VXLAN，同时转发到nginx，因为dpvs采用FULLNAT的模式，nginx如果要获取真实ip，二者之间采用了Proxy Protocol。Proxy protocol，是一个Internet协议，通过为tcp添加一个很小的头信息，来方便的传递客户端信息（协议栈、源IP、目的IP、源端口、目的端口等)。因为nginx还需要知道VXLAN的id，对Proxy Protocol进行了改造，增加了vni字段，如下图。

nginx就需要在原生代码基础上，增加vni字段的读取。同时连接upstream时，因为需要封装vni，通过SO_BINDTODEVICE绑定到具体网卡，完成VXLAN封装。

如何测试

因为相比Proxy Protocol多一个字段，通过curl无法自测，通过一个python工具来测试，源码为https://github.com/codejudas/py-proxy-protocol/。但是需要修改，增加一个vni字段，在代码中涉及vni的地方均添加字段即可，如下图。

然后修改测试下面的socket.py，测试结果如图：