lvs简单使用

LB集群实现

硬件

 F5
 BIG-IP
 Citrix NetScaler
 A10
 Redware

软件

1 lvs 

2 haproxy

3 nginx

4 ats apache traffic server

5 perlbal

基于工作协议层次划分

    传输层

        lvs，haproxy（mode tcp）

    应用层

        naproxy， nginx， ats， perlbar

LVS基础知识

工作在传输层的软件（TCP/IP协议栈），能基于TCP和UDP（目标IP和目标PORT）对请求进行负载均衡，也称四层交换、四层路由

能根据负载均衡算法发送至后端主机集群中某一台主机

netfilter链使用

    PREROUTING ---> INPUT ---> POSTROUTING

ipvsadm 

    用户空间命令行工具，定义集群规则，管理集群服务

ipvs

    工作在内核中netfilter INPUT钩子上

    ipvsadm通过系统调用将规则发送给ipvs

支持TCP、UDP、AH、EST、AH_EST、SCTP等诸多协议

查看内核编译IPVS情况

 grep -i -A 10 'IPVS' /boot/config-3.10.0-693.17.1.el7.x86_64

LVS Arch

 调度器：director, dispatcher, balancer
 RS：Real Server

LVS Type

lvs-nat

MASQUERADE类型

多目标的DNAT模式（iptables）：它通过修改请求报文的目标IP地址（必要时一并修改目标PORT）至挑选出的Real Server的IP地址实现转发

特性

    1. RealServer的IP地址和DIP使用私网地址

    2. 请求和响应报文都经由调度器转发，极高负载的场景中，调度器：director可能会成为系统瓶颈

    3. 支持端口映射

    4. RealServer可以使用任意OS

    5. RIP 和 DIP 最好在同一IP网络

lvs-dr (direct routing)

GATEWAY类型

它通过修改请求报文的目标mac地址进行转发

1. 保证前端路由器将目标IP为VIP的请求报文发送给Director

    静态绑定

    arptables

    修改RS主机的内核参数

2. RIP可以使用私网地址也可以使用公网地址，只要保证能和Director、公网通信

3. RealServer 和 Director 要在一个局域网中

4. 请求报文经由Director调度，但响应报文直接由Real Server发送

5. RealServer网关不能指向DIP

6. 不支持端口映射

7. RealServer可以用大多数OS

lvs-tun (ip tunneling)

IPIP类型

1. RIP，DIP，VIP全都是公网地址

2. RealServer的网关不能指向DIP

3. 请求报文必须由Director调度，但响应报文必须由RealServer发送

4. 不支持端口映射

5. RealServer必须支持隧道功能

lvs-fullnat

Director通过同时修改请求报文的目标地址和源地址进行转发

1. VIP是公网地址，RIP和DIP是私网地址，二者无须在同一网络中

2. Real Server 接收到请求报文的源地址为DIP，因此要响应给DIP

3. 请求报文和响应报文都经由Director

4. 支持端口映射机制

5. Real Server 可以使用任意OS

LVS Scheduler

静态方法：仅根据算法本身调度

    RR

        round robin，轮询

    WRR

        weight round robin，加权轮询

    DH

        destination hash，将对同一个目标的请求始终调度至同一RealServer

    SH

        source hash，session保持机制

动态方法：根据算法和各RealServer当前负载状态进行调度

    LC

        least connection，最少活动连接

        Overhead（负载） = Active * 256 + Inactive

    WLC

        weight least connection，加权最少活动连接

        Overhead = （Active * 256 + Inactive） / weight

    SED

        shortest expection delay，最短期望延迟

        Overhead = （Active + 1 ） * 256 

    NQ

        never queue，永不排队

        SED算法改进：第一轮用SED挑，挑一个排除一个，直到所有的RS都处理过一个请求，后续的使用SED处理 

    LBLC

        locality-based least connection，动态DH算法

        正向代理情形下的cache server调度

    LBLCR

        Locality-Based Least-Connection with Replication，带复制功能的LBLC

ipvs集群服务

1. 一个ipvs主机可以同时定义多个cluster service

2. 一个cluster service上至少应该有一个Real Server

3. 定义cluster service时，要同时指明lvs-type、lvs scheduler

ipvsadm用法

service-address

    tcp：-t ip：port

    udp：-u ip：port

    fwm：-f mark

server-address

    ip[:port]

lvs-type

    -g：gateway，dr

    -i：ipip，tun

    -m：masquerade，nat

scheduler

    -s：默认为wlc

管理集群服务

    ipvsadm -A|E -t|u|f service-address [-s scheduler]

    ipvsadm -D -t|u|f service-address

管理集群服务的RealServer

    ipvsadm -a|e -t|u|f service-address -r server-address

    ipvsadm -d -t|u|f service-address -r server-address

清空和查看

    ipvsadm -C

    ipvsadm -L|l [options]

        -n：numberic，以数字格式显示地址和端口

        -c：connection，显示当前TCP连接

        --stats，statistics，显示统计数据

        --rate：速率

        --sort：排序

        --exact：精确值

保存和重载

    ipvsadm -R

    ipvsadm -S [-n]

置零计数器

    ipvsadm -Z [-t|u|f service-address]

实例：lvs-nat

Director 

    VIP 192.168.111.128

    DIP 192.168.1.1

RealServer（Web Server）

    RIP1 192.168.1.2:8080

    RIP2 192.168.1.3:8080

ipvsadm -A -t 192.168.111.128:80 -s rr

ipvsadm -a -t 192.168.111.128:80 -r 192.168.1.2 -m

ipvsadm -a -t 192.168.111.128:80 -r 192.168.1.3 -m

ipvsadm -L -n

ipvsadm -E -t 192.168.111.128:80 -s sh 

ipvsadm -L -n

ipvsadm -e -t 192.168.111.128:80 -r 192.168.1.2:8080 -m

ipvsadm -e -t 192.168.111.128:80 -r 192.168.1.3:8080 -m 

ipvsadm -S > /etc/sysconfig/ipvsadm || ipvsadm-save

实例：lvs-dr

Director 

    VIP 192.168.111.10

    DIP 192.168.111.128

RealServer（Web Server）

    RIP1 192.168.111.11 gw 192.168.111.1

    VIP1(lo) 192.168.111.10

    RIP2 192.168.111.12 gw 192.168.111.1

    VIP2(lo) 192.168.111.10

LAN-ARP问题解决（多个VIP地址相同，IP地址必须唯一）

    修改RealServer两个内核参数

        arp_announce

            0 通告自身拥有的所有地址

            1 尽量避免把非本网络的地址往外通告

            2 总是使用最佳地址向外通告（能解决问题）

        arp_ignore

            0 通告自身拥有的所有地址

            1 请求报文从哪个接口进入，就用哪个接口的地址响应（能解决问题）

Director VIP Configure (alias broadcast intface_network)

    ifconfig ens33:0 192.168.111.10/32 broadcast 192.168.111.10 up 

    route add -host 192.168.111.10 dev ens33:0

Real Server Configure (defined kernel args)

    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

    echo 1 > /proc/sys/net/ipv4/conf/ens33/arp_ignore

    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

    echo 2 > /proc/sys/net/ipv4/conf/ens33/arp_announce

    ifconfig lo:0 192.168.111.10/32 broadcast 192.168.111.10 up

    route add -host 192.168.111.10 dev lo:0

IPVS Rule

    ipvsadm -A -t 192.168.111.10:80 -s rr 

    ipvsadm -a -t 192.168.111.10:80 -r 192.168.111.11 -g

    ipvsadm -a -t 192.168.111.10:80 -r 192.168.111.12 -g 

多服务负载使用同一集群

    将共享同一组RS的集群服务同一进行定义

    Directior

        # 使用FWM定义集群

        iptables -t mangle -A PREROUTING -d 192.168.111.10 -p tcp -dport 80 -j MARK --set-mark 10 

        iptables -t mangle -A PREROUTING -d 192.168.111.10 -p tcp -dport 443 -j MARK --set-mark 10 

        # iptables -t mangle -A PREROUTING -d 192.168.111.10 -p tcp -dport 22 -j MARK --set-mark 10 

        # 基于FWM定义集群服务

        ipvsadm -A -f 10 -s rr 

        ipvs -a -f 10 -r 192.168.111.11

        ipvs -a -f 10 -r 192.168.111.12

实例：lvs-dr (RIP,DIP不在同一网段)

 加一台Route Host两个IP地址，一个能和公网通信，另一个是RIP的网关
 这样即使RIP和DIP不在同一网段，也能通过这台路由器转发数据包
 路由器既要对DIP到RIP的数据包进行转发，也要对VIP到CIP的数据包进行转发

RealServer高可用

防止：RS宕机而Director还继续对它进行调度

方法：让Director对其做健康状态检测机制，并根据检测的结果自动完成添加或移除等管理功能

总结

    1. 基于协议层检测

        网络层：icmp

        传输层：检测端口的开放状态

        应用层：请求获取关键性资源

    2. 检查频率

    3. 状态判断

        下线： success ---> failure ---> failure ---> failure

        上线：failure ---> success ---> success ---> success

    4. 日志问题

        做PV时，健康检测访问Web的日志不应该被算入正常请求日志

    5. back server, sorry server 

        所有RS宕机时，需要反馈用户一些信息

        默认sorry server weight为0，当所有RS宕机时sorry为1

解决Session保持问题

session绑定

    object

        source ip hash

        cookies hash

    lvs sh

        将来自同一个用户IP的请求都定向到同一个Real Server，自行维护一个会话追踪表

    lvs persistence

        无论ipvs使用何种调度方法，其都能实现将来自同一个Client的请求始终定向至上一次调度时挑选出的RS

        需求：持久连接模板，sourceip realserver timer，每个连接都有一个计数器， 存储在模板中，为LVS提供算法调度的参数

        持久连接的实现方式

            每个端口持久：PPC，单服务持久调度

            每个FWM持久：PFWMC，单FWM持久调度

                PORT AFFINITY

            每个客户端持久：PCC，单客户端持久调度

                Director会将用户的任何请求都识别为集群服务，并向RS进行调度

        使用：-p指定超时时间单位s

            ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

session复制

    ...

session集群

    ...

session服务器

    ...