基于SDN的IP RAN网络虚拟化技术

http://www.zte.com.cn/cndata/magazine/zte_technologies/2014/2014_4/magazine/201404/t20140421_422858.html

SDN网络，基站虚拟化

IP RAN网络新技术解读

http://www.zte.com.cn/cndata/magazine/zte_technologies/2014/2014_4/magazine/201404/t20140421_422860.html

IP RAN中的IP指互联协议，RAN指的是无线接入网（Radio Access Network），IP RAN顾名思义就是“无线接入网IP化”，其本质是分组化的移动回传。传统的3G/B3G网络需要基础承载网提供二层能力即可满足上层网络移动业务回传的需求；但在LTE网络中，由于S1-Flex和X2接口的引入，基础承载网必须拥有三层交换的能力。本文所重点叙述的IP RAN是指以IP/MPLS动态协议及关键技术为基础，满足基站回传承载需求的一种二层三层技术结合的解决方案。目前主流业务组织形式是PW+L3VPN方案：从接入设备A到汇聚设备B采用L2VPN PW方式承载；从汇聚设备B到业务落地设备采用L3 VPN方式，汇聚设备B作为L2/L3桥节点。以下分析IP RAN网络的关键需求及相关技术。

需求1：高可用性组网原则

    为了将发生网络故障时的业务收敛时间控制在毫秒级别，网络需要支持一些先进快速收敛技术，并要将这些技术有机整合在一起。典型的快速收敛技术如下：IGP快速收敛技术、IGP快速重路由技术、优先级路由收敛技术、BGP下一跳跟踪触发（NHT）、BGP下一跳分离技术及前缀无关收敛技术（PIC）等。

优先级路由收敛技术是提高网络可靠性的一项重要技术，可为关键业务提供更快的路由收敛速度。为了保证MPLS VPN环境下，快速感知BGP Loopback的快速变化，加快VPN路由的收敛，要启用优先级路由收敛技术，提高IGP的32位主机路由的收敛优先级，加快BGP NHT跟踪速度。

BGP前缀无关收敛技术（PIC）通过对BGP FIB表的多层分离，实现了按需迭代更新，保证了在多路径前提下，VPN路由的快速收敛与VPN路由数量进行解耦。

VPN FRR和VPN ECMP的快速收敛，主要是探测去往远端PE路径的故障，一般有两种方式：BFD for Loopback（Peer BFD）方式和NHT方式（通过跟踪IGP RIB表中的远端PE的32位环回地址来实现）。由于BFD方式存在对接、配置繁琐、数量规格等问题，NHT也是一个很好的选择。但为了保证一定的收敛速度，NHT需要结合PIC（下一跳分离）和IGP快速收敛技术，当发现IGP RIB的32位环回地址故障，触发更新VPN下一跳指针内容或者进行VPN FRR的RR表的置位；对于VPN ECMP，可以采用删除故障下一跳或置下一跳无效的方式进行快速重路由技术。

如果把更新路由表的动作定位在中间层次，BFD方式可以认为是一种自下而上的NHT技术，BGP NHT是一种自上而下的NHT技术。两者的工作流程基本相同，主要区别在于BGP NextHop的检测方式和检测速度。两者对于VPN的数量和路由数量影响不大，即使受影响，两者的受影响程度不存在太大的差别。这里面的关键技术是发生NHT时，应立即对BGP Multi-path的NextHop表进行调整，对于VPN路由应该有相应的延迟迭代时间（缺省为5s），即优先按需更新BGP FIB表（FRR或置Fast Ecmp），协议进程后收敛整个BGP RIB表。

需求2：高效运维原则

    LTE频段的特征决定了LTE基站eNodeB的部署趋向于密集化，为了达到更好的覆盖效果，eNodeB要成倍于3G基站的数量。例如一个发达本地网的3G基站（包括宏站、微站、室分等站型）数量达到2000~4000台，那么eNodeB站就达到了8000台左右，如此庞大数量的3G和LTE基站会带来一系列棘手的问题。

● 海量基站的部署，将新增超过10000台IP/MPLS基站承载设备。海量IP/MPLS设备的引入将带来网络管理空前的复杂性，而且设备发散分布，对运营商构成空前的运营压力。其次，网络接入设备与汇聚设备之间存在多种协议配合，对网络运维人员技术能力要求高，网络的运行维护复杂，给运营商的OPEX带来压力。

● 当前IP RAN网络基于传统通用路由器平台，通过复杂的IP/MPLS路由多协议去构造具有海量设备规模的IP RAN网络，对部署高可用性网络带来巨大的挑战。尤其是网络的震荡时刻存在，这无论对网络中的设备处理能力还是对于网络的可靠性及故障定位，均是一个挑战。

● 业务开通需要对汇聚节点进行较多的配置，IP/MPLS技术配置复杂，传统路由器设备的命令行配置方法不适用于大规模网络节点的配置和调整，且配置参数较多，业务配置复杂，业务故障的情况下定位困难，造成业务开通复杂度及维护成本骤增。

● 随着技术和业务应用的发展，新的增值业务和应用程序不断出现，IP RAN网络如何更好地适应业务网络的发展和要求，快速响应业务的建立及对业务进行动态维护也是IP RAN网络当前遇到的问题之一。

IP RAN方案提供商和运营商共同研究探讨这些问题，并提出下一代IP RAN网络新技术。从目前看，演进过程中的主要技术有两个：DCN自通技术和基于SDN的IP RAN网络虚拟化技术。

DCN自通技术

    对于海量基站的部署，现场调试、现场配置业务非常耗时间，工作量巨大。当业务调整频繁或者急需要网络扩用以应对业务扩张时，现场业务部署效率低下。

DCN自通方案就是要解决现场配置、现场调测的难题。使用DCN自通方案后，接入层设备上电后能够自动打通到网管系统的管理通道，进而可以从网管系统上对设备进行一系列的维护和业务配置操作，具体原理部署如图1所示。

    DCN自通方案要求免去配置A-A和A-B设备间接口的IP地址，使用无编号以太网接口（即该接口没有IP地址，通信时只能借用其他接口的IP地址）。A-A/A-B设备接口上电后首次通信时，借用设备本身自动生成的loopback环回地址（即图1中的Lo-xx，一般采用Loopback1023），并且在运行OSPF协议的点到点网络基础上，进行路由信息LSA的扩散，A/B设备自动学习这些扩散的路由，形成路由表，进而实现DCN通道自通。

DCN自通环回口Lo-xx的IP地址支持自动分配和人工指定（用于后端地址重新规划）两种方式。

DCN自通方案要求A/B设备出厂时固化一些信息，包括：Lo-xx接口、Lo-xx地址生成规则、DCN Vrf、DCN专用的OSPF进程、用于转发该OSPF扩散的LSA的子接口VLAN。

DCN自通方案在设备上电后经过一系列自动化步骤，整个接入环中所有设备路由都更新完毕，且在网管系统上形成了更新过的A-B拓扑，不需要人工现场配置，极大地提高了设备安装、调测的效率。

基于SDN的IP RAN网络虚拟化技术

    引入SDN之后，IP RAN组网控制面与转发面分离，接入设备A与汇聚设备B集成控制代理模块，用于转发面与控制面的协议交互；B设备保留原有的路由协议等功能，用于实现和城域网内设备进行L2/L3 VPN互通。基于SDN的IP RAN网络虚拟化组网模式如图2所示。

● 转发面：考虑到现网已大规模部署，为了兼容现有网络硬件条件，初期网络层网元级的互联互通及数据流转发需兼容IP/MPLS协议集（MPLS-TP为其子集）。后期，待openflow流表芯片发展成熟，逐步向openflow流表转发演进。

● 控制面：主要做业务级的控制平面定义，基于openflow协议扩展，完成网络拓扑的发现、业务配置下发、业务PW/LSP路径的计算及表项的下发。考虑未来可支持多种协议，如I2RS。

● 管理面：转发设备仍然具有独立的管理面，在网管上可作为独立网元管理。但由于业务已经由控制器集中控制，因此网元管理面只提供网元设备管理功能。控制器提供基于网络的北向接口，提供给网管和第三方应用。

基于SDN的IP RAN网络虚拟化技术目前还不是十分完善，还有一些问题有待解决，如时钟同步、L2/L3组播等，但这并不妨碍该技术快速发展和应用。基于SDN的IP RAN网络虚拟化并结合汇聚设备的路由器集群技术是IP RAN网络的未来发展方向。

SDN（Software Defined Network，软件定义网络）是通信领域的一种新网络技术，主要目标是实现通信网络的开放性，降低系统设备软硬件耦合。传统的通信设备软硬件一体，导致网络灵活性差、大规模组网维护成本高等问题。在当前物联网、云服务等新型业务的推动下，亟需通过SDN技术提升网络的灵活性，降低网络对系统设备的依赖。

传统的通信设备包含控制平面、转发平面、管理平面三大平面。业务的实现不但受到转发平面的限制，更大的限制来自于控制平面，由于受制于设备提供商的软件开发周期，新业务响应慢。SDN技术通过控制平面与转发平面分离的思路，使得设备只关注于转发，网络中的控制平面从系统设备中抽取出来集中到专门的网络控制器上，网络控制器提供开放的API接口给第三方，使得第三方能直接通过网络控制器控制网络，网络维护人员或网管直接通过控制器管理设备，从而降低系统设备的成本，简化网络运维。

SDN有“狭义SDN”和“广义SDN”之分，狭义SDN指从openflow发展而来，基于openflow的新型网络技术，广义SDN指满足控制与转发分离、逻辑集中控制、开放API这三大特征的新型网络架构和网络技术。

SDN的网络模型

SDN网络主要由SDN控制器和网络设备两部分组成，其中网络控制器支持标准API接口开放给第三方，也提供网管接口接收来自网管的控制管理。其模型如图1所示。

    网络设备主要提供基本的业务转发、QoS等方面的能力，转发设备的转发表项由SDN控制器下发到设备，转发设备不运行复杂的路由协议，转发路径的形成由SDN控制器进行计算下发到设备，网络设备也接受网管通过DCN通道直接管理。SDN控制器是虚拟网络的大脑，管理SDN网络拓扑，根据拓扑计算转发路径、配置管理业务，最后形成表项下发到网络设备。SDN支持开放性接口，接受第三方软件的控制，也接受网管的控制管理。

基于SDN的设备管理模型如图2所示。

基于SDN的IP RAN网络

    IP RAN网络广泛应用于移动回传网，用于承载2G/3G/LTE等移动业务，是一种新型传输网络。IP RAN网络分为接入、汇聚、核心三层。

IP RAN全网采用IP/MPLS解决方案，接入层涉及到IGP、BGP、LDP、RSVP-TE、PW、PW-BFD、BFD for RSVP-TE、IGP-BFD、QoS等配置。一个IP RAN本地网的接入层往往有数千台接入设备，网络开通工作量比较大，人员技术水平要求高。随着网络规模的扩大，现有IP RAN在网络高可用性、网络运维等方面面临困境。另外随着技术的发展，新的增值业务和应用层出不穷，IP RAN网络如何更好地适应业务网络的发展和要求，快速响应业务的建立及对业务进行动态维护也是需要考虑的问题。

而SDN技术恰好能够解决IP RAN这两方面的难题。根据IP RAN组网的特征，在IP RAN网络中使用SDN技术，运营商最为迫切的需求是解决接入层网络的维护问题，即接入A和汇聚设备之间业务的虚拟化部署，汇聚核心之间一般不考虑运用。如果核心汇聚层也采用虚拟化，则IP RAN部署虚拟化的成本可能会增加，在当前SDN还不是很成熟的情形下，最适宜从接入层着手。IP RAN中SDN当前最适合采用的模型如图3所示。

引入SDN之后，IP RAN组网控制面与转发面分离，接入设备与汇聚设备集成Control Agent模块，用于转发面与控制面的协议交互，运用SDN的IP RAN网络，三个平面的关系以及职能如图4所示。

    ● 转发面：业务发放不再关注网络设备之间转发路径如何建立，只关注业务的接入点和业务终结点，以及业务带宽等约束条件。

● 控制面：主要做业务级的控制平面定义，基于openflow协议扩展，完成网络拓扑的发现、业务配置下发、业务PW/LSP路径的计算及表项的下发。

● 管理面：转发设备仍然具有独立的管理面，在网管上可作为独立网元管理。但是由于业务已经由Controller进行集中控制，因此网元管理面只提供网元设备管理功能。Controller提供基于网络的北向接口，提供给网管和第三方应用。

通过在IP RAN网络中引入SDN架构及相关技术，实现基于SDN的IP RAN网络，可简化IP RAN网络设备，提高网络自动化部署、运维、管理能力，并为未来新业务的快速开放提供能力。

基于SDN的IP RAN的转发通道与控制

    IP RAN设备接入层通常存在两种通道：一个是业务转发通道，一个是网管管理报文转发通道，即DCN通道。

IP RAN网络虚拟化后，SDN控制器只是用于计算业务转发路径，在转发设备上形成相应的转发表项，SDN并不维护IP RAN的DCN通道。转发设备与SDN之间通常也维护一个带内通道，用于SDN和转发设备之间交互控制信息、管理信息，通常控制通道采用DCN通道的IP进行创建维护，即和DCN共平面。

这样IP RAN DCN虚拟化以后，DCN通道需要按照IP RAN目前既有的方式维护管理，SDN只负责维护业务转发通道。

IP RAN中SDN的控制器设置方式

    IP RAN网络中，根据Controller的部署方式，可以分为独立的Controller和内嵌的Controller。

在汇聚层ASG（汇聚网关）设备上集成SDN Controller功能，每个ASG上集成的SDN Controller控制本ASG下挂的CSG（基站侧网关）设备，集成SDN Controller功能的ASG同时还保留原有ASG的功能。CSG控制面上移到ASG，由ASG集成的SDN Controller功能来控制其转发行为，在CSG中集成Control Agent模块，用于上报CSG的状态，接受SDN Controller下发的控制信息。CSG保持基本的路由功能，用于建立对SDN Controller对CSG的管理和控制通道，通常借助DCN功能模块的路由功能。

内嵌式部署方式，SDN域中每个ASG可以均部署SDN Controller，每个SDN Controller只控制下挂的CSG。对于CSG同时下挂在两个（或者多个）SDN Controller的情况下，其中一个SDN Controller作为主用SDN Controller，其它SDN Controller作为备用；SDN Controller也可做负载分担，即每个CSG的主备SDN Controller可以不同。

独立式Controller即将控制器和转发设备完全分离，在网络中部署单独的服务器承担控制器角色。在独立SDN Controller情况下，CSG、ASG都集成Control Agent模块，用于向Controller上报状态，接受Controller控制等。同时CSG、ASG保持基本的路由功能，用于建立管理通道和控制通道，使得SDN Controller能够通过控制协议控制CSG、ASG。独立式的Controller，一个网络中也可以部署多个Controller，控制器做主备方式或者负载分担方式。

利用内嵌式SDN Controller模式，可以利用现有的网络设备，进行软件的升级，即可在接入层应用SDN技术，对网络架构和网络管理模式改动小，利于快速部署SDN。但是，SDN Controller软件内置在现有的网络设备中，受限于现有网络设备的处理性能，以及SDN Controller附着的设备并没有转发与控制分离，因此SDN Controller控制的范围局限在现有设备汇聚的网络大小。

独立SDN Controller可以利用服务器等IT硬件，处理能力强，能够控制更大范围和更多节点，而且独立SDN Controller运行的网络设备不再参与网络数据流量的转发，可部署到远端数据中心，不受限于网络物理位置，SDN技术成熟阶段适于选择这种方式。

SDN控制器的功能

    SDN控制器与转发设备接口用于管理、控制转发设备，可以和网管以及第三方接口用于网络管理以及开发第三方应用。SDN控制器的主要功能模块如图5所示。

    通常SDN控制器需要冗余部署，以提供控制器的可靠性，SDN控制器通常部署为主备或者负载分担方式。所谓的负载分担是指不同的转发设备可以选择不同的SDN控制器作为自己的主控制器，但是对同一个转发设备而言，只能选择一个控制器为自己的主控制器。

SDN网络设备的功能

    转发设备由数据平面模块、控制代理模块、管理代理模块和DCN处理模块组成。SDN转发节点的功能如图6所示。

● 数据平面

数据平面由接口业务适配、分组转发、QoS、OAM、保护、同步模块组成，通过接口业务适配模块实现UNI侧各类业务的接入处理，以及实现NNI侧业务入出或穿通MPLS隧道。数据平面还可为控制代理和管理代理提供控制信息和网络管理信息的传送功能。

数据平面将转发面故障信息、抽样的性能信息传送给管理代理，将计算和过滤后的故障信息、性能统计信息传送给数据通信网（DCN）处理模块，并通过管理通信接口送达网管中心的人机界面；控制代理将控制面故障信息等传送给管理代理，管理代理将计算和过滤后的信息通过管理通信接口送达网管中心的人机界面。

● 管理代理平面

管理代理接收来自网管的配置信息、性能管理信息、故障管理信息、安全管理信息等，并将这些信息分别传递给控制代理和数据平面，完成配置管理、性能管理、故障管理和安全管理。

● 控制代理平面

控制代理接收从信令通信接口来的外部信令信息和转发信息，经过控制器的信令和转发适配等模块处理后，结合自身的信令与转发信息，将必要的转发信息下发给数据平面，实现控制代理对数据平面的控制。

控制代理的作用是建立标准的安全通道，并和控制器建立控制协议通道；openflow是可选控制协议之一，未来还可能有其他控制协议。

控制代理应为管理代理平面提供服务响应和故障上报，包括对控制代理的信息查询响应和转发信息、信令等控制参数的配置响应，以及向管理代理报告控制代理故障信息等。控制代理建立的连接可根据需要由管理代理拆除。

控制代理提供拓扑收集功能，收集本地网络拓扑，并将网络拓扑信息上报给控制器。控制代理提供资源管理功能，收集本地转发资源，如端口、标签空间等，并通过控制协议上报给控制器。

● DCN处理模块

DCN模块负责打通控制器/网管和转发节点之间的管理/控制通道，保证控制器/网管和转发节点之间能够IP可达。DCN模块建立了一张IP网络，管理连接和控制连接均使用该网络进行通信。

目前SDN尚属于标准定义阶段，现阶段SDN标准尚不成熟，SDN在IP RAN上应用必然遵循右简到易、由局部到全局的发展过程。当前在IP RAN接入层实现SDN，是运营商简化网络，降低运维成本的有效手段。