1. 企业级调度器LVS初识、工作模式详解

想学习更多相关知识请看博主的个人博客

1. LVS官网

LVS 时全球最流程的四层负载均衡开源软件。

LVS 官网：http://www.linuxvirtualserver.org/

2.Linux Virtual Server

2.1 LVS介绍

LVS：Linux Virtual Server，负载调度器，内核集成，章文嵩（花名 正明）, 阿里的四层SLB(Server

Load Balance)是基于LVS+keepalived实现

LVS 相关术语

VS: Virtual Server，负责调度

RS: Real Server，负责真正提供服务

2.2 LVS工作原理

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS。LVS是内核

级功能，工作在INPUT链的位置，将发往INPUT的流量进行“处理”

范例：查看内核支持LVS

[root@centos8 ~]#grep -i -C 10 ipvs /boot/config-4.18.0-147.el8.x86_64
...（省略部分内容）...
CONFIG_NETFILTER_XT_MATCH_IPVS=m
CONFIG_NETFILTER_XT_MATCH_POLICY=m
...（省略部分内容）...
#
# IPVS transport protocol load balancing support
#
CONFIG_IP_VS_PROTO_TCP=y
CONFIG_IP_VS_PROTO_UDP=y
CONFIG_IP_VS_PROTO_AH_ESP=y
CONFIG_IP_VS_PROTO_ESP=y
CONFIG_IP_VS_PROTO_AH=y
CONFIG_IP_VS_PROTO_SCTP=y #
# IPVS scheduler
#
CONFIG_IP_VS_RR=m
CONFIG_IP_VS_WRR=m
CONFIG_IP_VS_LC=m
CONFIG_IP_VS_WLC=m
CONFIG_IP_VS_FO=m  #新增
CONFIG_IP_VS_OVF=m  #新增
CONFIG_IP_VS_LBLC=m
CONFIG_IP_VS_LBLCR=m
CONFIG_IP_VS_DH=m
CONFIG_IP_VS_SH=m
# CONFIG_IP_VS_MH is not set
CONFIG_IP_VS_SED=m
CONFIG_IP_VS_NQ=m
...（省略部分内容）...

2.3 LVS集群体系架构

2.4 LVS 功能及组织架构

负载均衡的应用场景为高访问量的业务，提高应用程序的可用性和可靠性。

2.4.1 应用于高访问量的业务

如果您的应用访问量很高，可以通过配置监听规则将流量分发到不同的云服务器 ECS（Elastic

Compute Service 弹性计算服务）实例上。此外，可以使用会话保持功能将同一客户端的请求转发到同

一台后端ECS

2.4.2 扩展应用程序

可以根据业务发展的需要，随时添加和移除ECS实例来扩展应用系统的服务能力，适用于各种Web服务

器和App服务器。

2.4.3 消除单点故障

可以在负载均衡实例下添加多台ECS实例。当其中一部分ECS实例发生故障后，负载均衡会自动屏蔽故

障的ECS实例，将请求分发给正常运行的ECS实例，保证应用系统仍能正常工作

2.4.4 同城容灾 （多可用区容灾）

为了提供更加稳定可靠的负载均衡服务，阿里云负载均衡已在各地域部署了多可用区以实现同地域容

灾。当主可用区出现机房故障或不可用时，负载均衡仍然有能力在非常短的时间内（如：大约30s中

断）切换到另外一个备可用区恢复服务能力；当主可用区恢复时，负载均衡同样会自动切换到主可用区

提供服务。

使用负载均衡时，您可以将负载均衡实例部署在支持多可用区的地域以实现同城容灾。此外，建议您结

合自身的应用需要，综合考虑后端服务器的部署。如果您的每个可用区均至少添加了一台ECS实例，那

么此种部署模式下的负载均衡服务的效率是最高的。

如下图所示，在负载均衡实例下绑定不同可用区的ECS实例。正常情况下，用户访问流量将同时转至发

主、备可用区内的ECS实例；当可用区A发生故障时，用户访问流量将只转发至备可用区内的ECS实例。

此种部署既可以避免因为单个可用区的故障而导致对外服务的不可用，也可以通过不同产品间可用区的

选择来降低延迟。

如果采取如下图所示的部署方案，即在负载均衡实例的主可用区下绑定多台ECS实例，而在备可用区没

有任何ECS实例。当主可用区发生故障时会造成业务中断，因为备可用区没有ECS实例来接收请求。这

样的部署方式很明显是以牺牲高可用性为代价来获取低延时。

2.4.5 跨地域容灾

您可以在不同地域下部署负载均衡实例，并分别挂载相应地域内不同可用区的ECS。上层利用云解析做

智能DNS，将域名解析到不同地域的负载均衡实例服务地址下，可实现全局负载均衡。当某个地域出现

不可用时，暂停对应解析即可实现所有用户访问不受影响。

2.5 LVS应用场景

2.5.1 音视频大流量场景

对象存储(Object Storage Service,简称OSS),是阿里云对外提供的海量、安全和高可靠的云存储服务

音视频海量流量自动分发

音视频应用中由于用户与主播之间需要实时大量的互动，因此，用户的流量非常大，而直播业务的波峰

波谷效应明显，这对整个系统的弹性、稳定性和可用性带来了巨大的挑战

提高横向扩展能力

添加或删减负载均衡后端的服务器实时生效，可根据业务流量大小实时增减

抵御海量流量

业务发展快，访问流量巨大，负载均衡可对多台云服务器进行流量分发服务

提升应用可用性

负载均衡提供后端服务器的健康检查，实时屏蔽异常服务器，提升系统可用性

2.5.2 网络游戏动静分离场景

动静请求分离，快速稳定交付

游戏业务有很多图片等静态资源需要加载，通过CDN实现全球用户访问静态资源的加速；当用户在游戏

中有互动时，产生的访问流量非常大，此时为了保证互动实时性，需要使用负载均衡进行流量分发

动态请求流量分发

动态请求量大，采用多台云服务器计算处理，并利用负载均衡服务随时进行流量分发

静态请求快速加载

静态内容选择对象存储，接入CDN服务，进一步优化内容分发链路，让内容即刻加载

2.5.3 多层次容灾架构场景

跨地域跨可用区的容灾方案

用户业务遍布各地域，使用云解析DNS将不同地域用户智能解析访问到相应的业务系统内，使用负载均

衡进行海量的访问流量分发，还可构建地域级、可用区级的多层容灾架构

智能解析

智能判断提供最佳的访问解析地址，使访问用户获得最快捷、最流畅的体验

流量分发

业务发展快，访问流量巨大，负载均衡可对多台云服务器进行流量分发服务

多层次容灾

云解析提供跨地域的高可用，负载均衡可实现可用区级的高可用

2.5.4 海量访问流量分发场景

2.6 LVS集群类型中的术语

VS：Virtual Server，Director Server(DS), Dispatcher(调度器)，Load Balancer

RS：Real Server(lvs), upstream server(nginx), backend server(haproxy)

CIP：Client IP

VIP：Virtual serve IP VS外网的IP

DIP：Director IP VS内网的IP

RIP：Real server IP

访问流程：CIP <--> VIP == DIP <--> RIP

3 LVS 工作模式和相关命令

3.1 LVS集群的工作模式

lvs-nat：修改请求报文的目标IP,多目标IP的DNAT

lvs-dr：操纵封装新的MAC地址

lvs-tun：在原请求IP报文之外新加一个IP首部

lvs-fullnat：修改请求报文的源和目标IP

3.1.1 LVS的NAT模式

lvs-nat：本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和

PORT实现转发

（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP

（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈

（3）支持端口映射，可修改请求报文的目标PORT

（4）VS必须是Linux系统，RS可以是任意OS系统

3.1.2 LVS的DR模式

LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部

进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源

IP/PORT，以及目标IP/PORT均保持不变

DR模式的特点：

1. Director和各RS都配置有VIP

2. 确保前端路由器将目标IP为VIP的请求报文发往Director

   • 在前端网关做静态绑定VIP和Director的MAC地址

   • 在RS上使用arptables工具

       arptables -A IN -d $VIP -j DROP
       arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
     

   • 在RS上修改内核参数以限制arp通告及应答级别

       /proc/sys/net/ipv4/conf/all/arp_ignore
       /proc/sys/net/ipv4/conf/all/arp_announce
     

3. RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向
   
   DIP，以确保响应报文不会经由Director

4. RS和Director要在同一个物理网络

5. 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

6. 不支持端口映射（端口不能修败）

7. RS可使用大多数OS系统
   
   

3.1.3 LVS的TUN模式

转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首

部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目

标IP是CIP）

TUN模式特点：

1. DIP, VIP, RIP可以是公网地址

2. RS的网关一般不能指向DIP

3. 请求报文要经由Director，但响应不经由Director
4. 不支持端口映射
5. RS的OS须支持隧道功能

3.1.4 LVS的FULLNAT模式

通过同时修改请求报文的源IP地址和目标IP地址进行转发

CIP --> DIP

VIP --> RIP

fullnat模式特点：

1. VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向
   
   DIP
2. RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client
3. 请求和响应报文都经由Director
4. 支持端口映射
   
   注意：此类型kernel默认不支持

3.1.5 LVS工作模式总结和比较

lvs-nat与lvs-fullnat：

• 请求和响应报文都经由Director
• lvs-nat：RIP的网关要指向DIP
• lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信

lvs-dr与lvs-tun：

• 请求报文要经由Director，但响应报文由RS直接发往Client
• lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发
• lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信