高负载集群实战之lvs负载均衡-技术流ken

lvs简介

LVS的英文全称是Linux Virtual Server，即Linux虚拟服务器。

特点

跨平台：window,linux

作用

实现负载均衡

核心组件

ip_vs：linux的内核功能模块，工作在内核，依赖该内核模块实现负载均衡功能

ipvsadm：应用层程序，该程序可以和内核中的ip_vs模块通信，实现对负载均衡的管理和控制

优点

LVS主要用于多服务器的负载均衡。它工作在网络层，可以实现高性能，高可用的服务器集群技术。它廉价，可把许多低性能的服务器组合在一起形成一个超级服务器。它易用，配置非常简单，且有多种负载均衡的方法。它稳定可靠，即使在集群的服务器中某台服务器无法正常工作，也不影响整体效果。另外可扩展性也非常好。

补充

keepalived也可以对ip_vs进行管理

LVS的工作模式

NAT

TUN

FULLNAT

LVS的调度算法

【所谓的算法：DR按照什么规则来从多个RS中筛选出来一个给用户提供服务】

动态算法：DR会实时的检测后端的RS的负载情况，将新用户的请求调度到一个负载较少的RS之上

静态算法：无论后端的RS当前的服务器负载情况怎么样，都安装固定的方式来给RS分配用户请求

静态算法

rr：Round Bobin，轮询，将客户端的请求交替分配给RS

wrr：Weighted Round Bobin，加权轮询，根据RS的性能不同，让他们来承担不同比例的用户请求

dh：Destination Hashing，目标地址哈希调度，基于用户所请求的地址做哈希表

作用：实现将对于相同的地址(rs)的请求调度到同一个RS之上

使用场景：适应于前端是一个DR，后端是多个cache的时候

sh：Source Hashing，源地址的哈希调度，基于用户的ip地址做哈希表

作用：实现将同一个客户端调度到相同的RS之上

动态算法

lc：Least Connection，最小连接数调度，本质是调度到当前负载最低的主机上

overhead=active*256+inactive

wlc：Weighted Least Connection，加权最小连接数调度，本质是调度到当前负载最低的主机上

overhead=(active*256+inactive)/weight

SED：是wlc补充，为了降低overhead出现重复的情况

overhead=((active+1)*256+inactive))/weight

NQ：Never queue，算法基本和sed相同，为了避免性能差的RS长时间处于空闲状态

lblc：基于目标地址的最小连接数调度，这种算法那是lc和dh的组合，适应于cache场景

lblcr：带有复制功能的lblc

ipvsadm的使用格式

ipvsadm的使用格式

ipvsadm -A|E -t|u|f service-address:port [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine]    <<添加一个lvs服务器

ipvsadm -D -t|u|f service-address                  <<删除一个lvs服务器

ipvsadm -C <<清空规则表

ipvsadm -R <<从标准输入恢复规则表

ipvsadm -S [-n]                          <<使用service ipvsadm save即可

ipvsadm -a|e -t|u|f service-address -r server-address [options] <<添加一个后端web服务

ipvsadm -d -t|u|f service-address -r server-address          <<删除一个后端web服务

ipvsadm -L|l [options]                              << 显示lvs中的规则表

ipvsadm -Z [-t|u|f service-address]

ipvsadm --set tcp tcpfin udp

ipvsadm --start-daemon state [--mcast-interface interface] [--syncid sid]

ipvsadm --stop-daemon state

ipvsadm -h

ipvsad的选项参数

-A：添加一个虚拟服务（添加vip）[相当于负载均衡哪个服务器]

-E：编辑修改一个虚拟服务

-D：删除虚拟服务

-C：清空规则表

-R：从标准输入恢复规则表

--save|-S：将当前内存中的规则保存到标准输出

-a：指定在虚拟服务中添加RS节点 [添加后端的web服务器]

-e：指定在虚拟服务中编辑修改RS节点

-d：指定在虚拟服务中删除RS节点

-L|-l：显示lvs中的规则表 << ipvsadm -L -n --stats

-Z：将计数器清零

-t service-address[:port]：该规则是对tcp协议的请求做调度

-u service-address[:port]：该规则是对udp协议的请求做调度

-f：表示这个请求是经过iptables所标记过的服务类型

-r: 指定真实服务器的地址(remote)

-s scheduler：指定该规则要用的调度算法（rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq）

-p [time]：指定在多次时间以内，将相同的客户端调度到相同的后端节点之上，默认时间300s

-w：设置RS节点的权重

-g：指定用DR模式（默认）

-i：指定用tunnel模式

-m：指定用nat模式

ipvsadm主要配置文件

说明：lvs主要文件说明

/etc/rc.d/init.d/ipvsadm：sysV风格服务管理脚本

/etc/sysconfig/ipvsadm-config：配置文件

/sbin/ipvsadm：用于配置lvs规则的工具

/sbin/ipvsadm-restore：恢复或者读取规则到内存的工具

/sbin/ipvsadm-save：保存内存中的规则的工具

【默认情况下，所配置的规则都是保存在内存中的】

LVS的DR模式实战

1.准备环境

centos7.5

DR1 172.20.10.2/28

WEB1 172.20.10.8/28

WEB2 172.20.10.8/28

VIP 172.20.10.11/28

2.配置服务器端

安装依赖包

[root@ken ~]# yum install libnl* popt* kernel-devel -y

给安装的内核开发库做连接

[root@ken ~]# ln -s /usr/src/kernels/3.10.-.el7.x86_64/ /usr/src/linux/

安装lvs

[root@ken ~]# yum install ipvsadm -y

添加一个vip

[root@ken ~]# ip a a 172.20.10.11/ dev eth0

添加一个虚拟服务器

[root@ken ~]# ipvsadm -A -t 172.20.10.11: -s rr

在虚拟服务器中添加后端服务器

[root@ken ~]# ipvsadm -a -t 172.20.10.11: -r 172.20.10.9: -w  -g

[root@ken ~]# ipvsadm -a -t 172.20.10.11: -r 172.20.10.8: -w  -g

查看规则

[root@ken ~]# ipvsadm -L -n --stats

IP Virtual Server version 1.2. (size=)

Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes

  -> RemoteAddress:Port

TCP  172.20.10.11:

  -> 172.20.10.8:

  -> 172.20.10.9:

3.配置客户端

两台客户端配置保持完全相同，除了测试文件之外。

安装配置web服务器

[root@ken ~]# yum install httpd -y

[root@ken ~]# echo "this is 172.20.10.9 for test" >/var/www/html/index.html

[root@ken ~]# systemctl restart http

给RS绑定虚拟IP

[root@ken ~]# ip a a 172.20.10.11/ dev lo:

在RS做ARP抑制

[root@ken ~]# echo "">/proc/sys/net/ipv4/conf/lo/arp_ignore

[root@ken ~]# echo "">/proc/sys/net/ipv4/conf/all/arp_ignore

[root@ken ~]# echo "">/proc/sys/net/ipv4/conf/lo/arp_announce

[root@ken ~]# echo "">/proc/sys/net/ipv4/conf/all/arp_announce

关闭安全服务

[root@ken ~]# setenforce

[root@ken ~]# iptables -F

浏览器测试

输入VIP地址

进行刷新测试

测试完成！

补充

关于arp抑制

作用：设置不对某些arp请求做应答

实现原理：修改内核参数 /proc/sys/net/ipv4/conf/

控制方式1：arp_ignore

0：默认，表示的当该主机收到arp请求，只有该主机有所请求的哪个IP地址，就会给对方做成应答

1：只对哪些请求的目标IP是当前主机的网卡接口(这个接口就是插着网线的接口)上的地址的时候，才会做出应答

控制方式2：arp_announced

作用：限制当前主机做arp应该的条件（也就是限制当用户所请的ip是哪个IP的时候，才做arp应答）

0：默认值，表示在任意网络接口上的IP都可以做arp应答

1：优先使用本地的接口做arp应答

2：优先使用子接口做arp应答