Azure通过Vnet Peering和用户自定义路由(UDR)实现hub-spoken连接

Azure的Vnet Peering可以把Azure中不同的Vnet连接起来的技术。底层是通过对NVGRE的租户标签进行修改，实现了不同租户间的互通。这种技术非常类似传统网络中MPLS/VPN不同租户互通的技术。在MPLS/VPN中是对RT值进行控制，实现不同租户间的互通。

但Vnet Peering有一个限制：VNet 对等互连存在于两个 VNet 之间，多个对等互连之间没有任何派生的可传递关系。例如，如果 VNetA 与 VNetB 对等互连，VNetB 与 VNetC 对等互连，但 VNetA 不 与 VNetC 对等互连。（https://www.azure.cn/documentation/articles/virtual-network-peering-overview/）

比如，在我们之前讨论过的Vnet Peering实现多个Vnet公用Express Route和VPN Gateway的情况下：

Vnet1、Vnet2、Vnet3和Gateway Vnet都建立了Vnet Peering的关系，Vnet1可以和Gateway Vnet通讯，但不可以和Vnet2通讯。着就是上面所提到的Vnet Peering的限制。

这是一个典型的Hub-Spoken的网络结构，但Spoken节点间不通通讯。

同时Vnet Peering有数量上的限制：(https://www.azure.cn/documentation/articles/azure-subscription-service-limits/#networking-limits)

如果需要各个Vnet间都相互连接，需要在各个Vnet间都配置Vnet Peering关系，不但需要大量的工作(n*(n-1)个peering配置)，而且有可能碰到Vnet Peering的上限。

本文将介绍，如上文场景中，Vnet1、Vnet2和Vnet3间不需要配置Vnet Peering，而采用用户自定义路由的方式，实现Hub-Spoken结构的Vnet互通。

一、创建3个Vnet

如下图所示，创建3个Vnet，IP地址互相不重叠：

二、在Vnet-BGP-2中创建VPN Gateway

配置如下图：

三、配置Vnet Peering

配置成如下图所示的结构：Vnet-BGP-1 <-> Vnet-BGP-2, Vnet-BGP-3 <-> Vnet-BGP2

具体配置如下：

Vnet-BGP-1的配置：

Vnet-BGP-2的配置：

同理配置Vnet-BGP-2和Vnet-BGP-3的Vnet Peering关系。

配置完成后，在Vnet-BGP-1中的VM1-1、VM3-1都可以ping通Vnet-BGP-2中的Gateway地址：

[root@hwvntp01 ~]# ip a
: lo: <LOOPBACK,UP,LOWER_UP> mtu  qdisc noqueue state UNKNOWN qlen
link/loopback ::::: brd :::::
inet 127.0.0.1/ scope host lo
valid_lft forever preferred_lft forever
inet6 ::/ scope host
valid_lft forever preferred_lft forever
: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu  qdisc pfifo_fast state UP qlen
link/ether ::fa::: brd ff:ff:ff:ff:ff:ff
inet 10.1.1.4/ brd 10.1.1.255 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80:::faff:fe01:/ scope link
valid_lft forever preferred_lft forever
[root@hwvntp01 ~]# ping 10.2.0.4
PING 10.2.0.4 (10.2.0.4) () bytes of data.
 bytes from 10.2.0.4: icmp_seq= ttl= time=1.86 ms
 bytes from 10.2.0.4: icmp_seq= ttl= time=0.983 ms
 bytes from 10.2.0.4: icmp_seq= ttl= time=1.08 ms
^C
--- 10.2.0.4 ping statistics ---
 packets transmitted,  received, % packet loss, time 2003ms
rtt min/avg/max/mdev = 0.983/1.310/1.866/0.395 ms

[root@hwvntptest02 ~]# ip a
: lo: <LOOPBACK,UP,LOWER_UP> mtu  qdisc noqueue state UNKNOWN
link/loopback ::::: brd :::::
inet 127.0.0.1/ scope host lo
valid_lft forever preferred_lft forever
inet6 ::/ scope host
valid_lft forever preferred_lft forever
: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu  qdisc pfifo_fast state UP qlen
link/ether ::fa::: brd ff:ff:ff:ff:ff:ff
inet 10.3.1.4/ brd 10.3.1.255 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80:::faff:fe01:/ scope link
valid_lft forever preferred_lft forever
[root@hwvntptest02 ~]# ping 10.2.0.4
PING 10.2.0.4 (10.2.0.4) () bytes of data.
 bytes from 10.2.0.4: icmp_seq= ttl= time=1.08 ms
 bytes from 10.2.0.4: icmp_seq= ttl= time=0.772 ms
 bytes from 10.2.0.4: icmp_seq= ttl= time=1.23 ms
^C
--- 10.2.0.4 ping statistics ---
 packets transmitted,  received, % packet loss, time 2003ms
rtt min/avg/max/mdev = 0.772/1.032/1.238/0.194 ms

但此时VM1-1和VM3-1不通：

[root@hwvntp01 ~]# ping 10.3.1.4
PING 10.3.1.4 (10.3.1.4) () bytes of data.
^C
--- 10.3.1.4 ping statistics ---
 packets transmitted,  received, % packet loss, time 1000ms

四、配置UDR

1. 在Vnet-BGP-1中配置UDR

由于在Vnet Peering配置中，Vnet-BGP-1可以使用远端的Gateway，所以远端的Gateway就相当于本地的Gateway使用。

在Vnet-BGP-1的vlan1中，关联如下的Route-Table：

这个路由表中，10.3.0.0/16是Vnet-BGP-3的网段，下一跳是VPN Gateway，这个VPN Gateway是在Vnet-BGP-2网络中的。虽然Vnet-BGP-1和Vnet-BGP-3是不通的，但这个VPN Gateway和Vnet-BGP-1已经Vnet-BGP-3都是通的。通过把Vnet-BGP-1到Vnet-BGP-3的流量导引到Vnet-BGP-2中的VPN Gateway上，两边的流量就通起来了。

2. 在Vnet-BGP-3的vlan3中配置UDR：

此时在进行VM1-1和VM3-1间的ping检测，状态是通的：

[root@hwvntp01 ~]# ping 10.3.1.4
PING 10.3.1.4 (10.3.1.4) () bytes of data.
 bytes from 10.3.1.4: icmp_seq= ttl= time=3.66 ms
 bytes from 10.3.1.4: icmp_seq= ttl= time=1.64 ms
 bytes from 10.3.1.4: icmp_seq= ttl= time=1.62 ms
^C
--- 10.3.1.4 ping statistics ---
 packets transmitted,  received, % packet loss, time 2003ms
rtt min/avg/max/mdev = 1.626/2.311/3.665/0.958 ms

五、总结：

Azure上Vnet Peering的关系不能传递。通过UDR的方式，通过中间的VPN Gateway可以实现Hub-Spoken的网络结构。当然VPN Gateway也可以采用Virtual Appliance设备，但需要考虑NVA的HA架构。