LVS基本知识

 

前言  linux集群类型 

LB -->负载均衡集群（Load Balancing)

HA-->高可用集群（High Availiablity)

HP-->高性性集群（High Performance）

分布式：分布式存储

分布式计算

LB的实现：硬件层和软件层

硬件：F5-->BIG IP

A10-->a10

软件：LVS、nginx、haproxy、ats

一、LVS(linux vitual server )

LVS 是linux虚拟服务器，在四层协议工作，能使用集群技术和Linux操作系统实现一个高性能、高可用的服务器，有很好的向外扩展性。

1.lvs组成及相关术语

lvs--> ipvs 和 ipvsadm

ipvs ：linux基于内核空间上的natfilter和input工作框架；

ipvsadm ：用户空间的命令行工具，规则管理和用于管理集群服务；

DS--->Director Server 调度器

RS-->Real Server 后端工作服务器

CIP-->客户端IP

VIP-->调度器上外网的IP，用于响应客户请求的IP地址

DIP-->调度器上与内网通讯的IP

RIP-->后端服务器上的IP

2.lvs基本工作原理图

2.1 当用户发起请求时，VIP将请求发往调度器内核空间；

2.2  内核空间中路由前进入PREROUTING链，查验是否是本机地址，假如是本机IP，则经路由到IPUT链上；

2.3  IPUT链上的集群服务（ipvs)将对用户请求检查，是否是定义的规则的内容，如果是IPVS会修改数据报文中的目标IP地址及端口（自己定义的后端服务器）；将更改过的数据包发往POSTROUTIN链；

2.4 POSTROUTIN链检查目标IP是自己能连上的后端服务器，刚通过，发往后端服务器进行处理；

3. LVS三种工作模型 及特性

3.1 LVS-NAT

~ 多目标的DNAT,通过把请求报文中的目标IP和端口修改成后端真实的服务器主机的RIP和PROT来实现转发；

~ DIP和RIP在同一网段，应该是私有地址，且RIP的网关指向DIP；

~ 支术修改端口，可将请求报文的PROT修改；

~ VS必须是linux系统，RS可以是任意系统；

~ 打开Director的核心转发功能；

3.2 LVS-DR

~ 通过为请求报文重新封装一个MAC地址进行转发，源MAC 是DIP接口所在的MAC,目标MAC是RS服务器中挑选的一台服务器的MAC，源IP-PROT和目标IP-PROT保持不变；

~ 前端路由器能把目标IP的VIP请求报文送到Director----》在RS上修改内核参数以限制arp通告及应答级别:arp_announe (2) apr_ignore (1);

~ RS可以使用公网地址，也可以使用私网地址，RIP和DIP在同一IP网络，RIP的网关不能指向DIP以确保响应报文不会经同director;

~ RS和Director要在同一物理网络；

~ 请求报文经由Director，但响应报文不能经由Director,由RS直接返回给客户端；

~ 不支持端口映射；

3.3 LVS-TUN

~ 转发时不修改请求报文的IP首部（源CIP，目标为VIP）；而是在原来IP首部再封装一个IP首部（源IP为DIP,目标IP为RIP),将请求报文发往

挑选的RIP主机。RS直接响应给客户端；

~ VIP、DIP、RIP是公网地址；

~ RIP的网关不能指向DIP；

~ 请求报文经由Director ,响应报文不能经由Director;

~ 不支持端口映射和RS的OS要支持隧道功能；

二、LVS(linux vitual server )    调度算法

             1.静态算法  

                             rr---->轮询

                             wrr--->加权轮询

                             sh--->会话邦定(session sticky),将来自同一个IP的会话发往同一台RS；

                              dh--->目标地址哈希，将发往同一个目标的请求始终发往同一RS；

             2.动态算法

                             lc-->最少链接

                             wlc-->加权最少链接

                             lblcr--->带复制功能的LBLC

           三、实验 

                 1. LVS-NAT 

                     实验拓扑：

                               

                   配置：

                            1.1 RS1 和 RS2 配置两台web服务器（httpd) ；

                            1.2 配置网关指向Director(192.168.64.130);

                             ~]# route add default gw 192.168.64.130

                            1.3 在Director配置

                            ~]# yum  install ipvsadm -y   #安装管理工具

                            ~]# ipvsadm -A -t 192.168.1.171:80 -s wrr   #设置调度器及算法（加权轮询）

                            ~]# ipvsadm -a -t 192.168.1.171:80 -r 192.168.64.128 -m -w 3     #加入后端主机（.64.128） -m 指nat模式  -w 指加权3

                            ~]# ipvsadm -a -t 192.168.1.171:80 -r 192.168.64.129 -m -w 1    #加入后端主机（.64.129） -m 指nat模式  -w 指加权1

                            

~]# echo 1 >  /proc/sys/net/ipv4/ip_forward     #打开核心转发功能

查看调度是否成功

2. LVS-DR

实验拓扑              

                            

    配置：

2.1 配置两台Real Server

~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore  # 1-->仅在请求的目标IP配置在本地主机的接收到请求报文接口上，才给予响应；

~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce #2-->必须避免向非本网络通告；

~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

~]# ifconfig lo:0 192.168.64.131 netmask 255.255.255.0 broadcast 192.168.64.131    #配置loopback地址；

~]# route add -host 192.168.64.131 dev lo:0    # 配置静态路由

2.4 配置Director 上配置

yum install ipvsadm

~]# route add -host 192.168.64.131 dev ens34  # 配置静态路由

~]# ipvsadm -A -t  192.168.64.131:80 -s wrr    #配置ipvs规则 -s wrr (加权轮询算法）

~]#  ipvsadm -a -t 192.168.64.131:80 -r 192.168.64.128 -g -w 2    #加入后端主机 -g 指DR模式   -w 指加权为2

~]#  ipvsadm -a -t 192.168.64.131:80 -r 192.168.64.129 -g -w 1    #加入后端主机 -g 指DR模式   -w 指加权为1

查看配置结果

查看调度是否成功

DR方案脚本方案：

RS配置:

#/bin/bash

vip="192.168.64.131"

mask="255.255.255.255"

case $1 in

start)

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

ifconfig lo:0  ${vip}  netmask ${mask} broadcast ${vip} up

route add -host ${vip} dev lo:0

;;

stop)

ifconfig lo:0 down

echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce

echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce

;;

*)

echo "Usage :${basename $0} start | stop"

exit 2

;;

esac

VS配置：

#!/bin/bash

vip="192.168.64.131"

mask="255.255.255.255"

interface="ens34"

rs1="192.168.64.128"

rs2="192.168.64.129"

scheduler="wrr"

type="-g"

prot="80"

case $1 in

start)

ifconfig ${interface} ${vip} netmask ${mask} broadcast ${vip} up

iptables -F

ipvsadm -A -t ${vip}:${prot}  -s ${scheduler}

ipvsadm -a -t ${vip} -r ${rs1}:${prot}  ${type} -w 3

ipvsadm -a -t ${vip} -r ${rs2}:${prot}  ${type} -w 2

#     route  add ${vip}  dev ${interface}

;;

stop)

ipvsadm -C

inconfi ${interface} down

;;

*)

echo "Usage: $(basname $0) start|stop"

;;

esac

网上案例：

lvs-dr模式负载均衡集群，realserver通过80端口提供http服务。

发现通过vip无法访问http服务，而直接访问realserver的IP 的http服务时正常的。这说明realserver的http服务是正常的。
为了排除lvs dr配置的vip 、arp抑制和 路由是正常的，又添加了ipvs规则，监听22端口，并负载分担到realserver。经过测试，22端口的ssh服务正常，可以ssh登陆到后端realserver。所以包括IP、arp、路由等配置的链路本身是正确的。
另外检查了realserver的firewalld是关闭的。iptables也再INPUT链放通了80端口。realserver段检查不出什么问题。因为开始时通过浏览器访问vip的http服务，没有任何错误信息，非常不利于排错，于是又用另一台同网段的linux机器用curl 命令访问vip的http服务，结果报错
curl: (7) Failed connect to 192.168.14.100:80; No route to host
访问vip的http服务时，在director server和 real server上tcpdump抓包，只能在director上能抓到报文，realserver没有报文，这说明问题在director上。于是检查了一下 director server的iptables规则，果然有一条iptables规则 
-A IN_public_allow -p tcp -m tcp --dport 22 -m conntrack --ctstate NEW -j ACCEPT但是没有80端口的iptablels规则，判断这里缺少放通80端口的iptables规则应该就是问题所在。执行iptables命令，放通INPUT链的80端口之后，果然可以访问vip的http了！^_^
iptables -A IN_public_allow -p tcp -m tcp --dport 80 -m conntrack --ctstate NEW -j ACCEPT

这次故障是因为不了解ipvs负载均衡是作用在内核的INPUT上，忘了配置相应的iptables规则。
lvs工作机制：
1、当client向vip发送请求时，lvs服务器收到报文，将报文从物理网卡送到内核空间。
2、在系统内核空间匹配netfilter的chain，PREROUTING链首先判断报文目的IP是本机IP，将数据包发往INPUT链。
3、ipvs工作在INPUT链上，并且是在INPUT链匹配accept时，ipvs将报文与定义好的ipvs规则匹配，如果命中ipvs规则，ipvs会强行修改报文的目的ip地址和端口，然后将数据包发往POSTROUTING链。
4. POSTROUTING链再根据目的IP查路由，将报文最终发送给后端服务器。