NAT模式LVS负载均衡集群

负载调度器：内网网关 ens33：192.168.1.200，外网网关 ens36：12.0.0.10 Web节点服务器1：192.168.1.100 Web节点服务器2：192.168.1.101 NFS服务器：192.168.1.102 客户端：12.0.0.12

1.部署共享存储

（NFS服务器：192.168.1.102）

关闭防火墙

要用的机器都要关闭这些选项

 systemctl stop firewalld.service

 systemctl disable firewalld.service

 setenforce 0

 vim /etc/selinux/config #永久关闭selinux

查看是否已有软件包

如果没有安装

[root@localhost ~]# rpm -q rpcbind nfs-utils

rpcbind-0.2.0-42.el7.x86_64

nfs-utils-1.3.0-0.48.el7.x86_64

安装nfs，rpcbind服务

yum install nfs-utils rpcbind -y

systemctl start rpcbind.service

systemctl start nfs.service

systemctl enable nfs.service

systemctl enable rpcbind.service

创建共享文件

 mkdir /opt/gy /opt/ylc

 chmod 777 gy/ ylc/

 echo 'this is gy web!' > gy/index.html

 echo 'this is ylc web!' > ylc/index.html

 vim  /etc/exports //配置共享策略

cat /etc/exports

/opt/gy 192.168.1.0/24(rw,sync)

#rw可读可写ro只读，sync同步（同时同步到内存和磁盘）async，先同步到内存在同步到磁盘

  #区别sync比async更安全如果突然宕机是有保存的，io消耗大

  #async比sync读取速度更快

  #root_squash不进行降权，降权的话为匿名用户

/opt/ylc 192.168.1.0/24(rw,sync)

--发布共享---

exportfs -rv

2.配置节点服务器

（192.168.80.100、192.168.80.101）

配置第一台真实服务器

192.168.1.100

[root@localhost ~]# systemctl stop firewalld.service

[root@localhost ~]# setenforce 0

[root@localhost ~]# systemctl disable firewalld.service

yum install httpd -y #安装web服务

systemctl start httpd.serviceh

systemctl enable httpd.service

yum install nfs-utils rpcbind -y

showmount -e 192.168.1.102#查看nfs服务

systemctl start rpcbind

systemctl enable rpcbind

mount.nfs 192.168.1.102:/opt/gy /var/www/html #临时挂载



vim /etc/fstab #永久挂载

192.168.1.100/:/opt/gy      /var/www/html   nfs     defaults,_netdev    0  0

mount -a #读取永久挂载配置文件，实现挂载

修改网网关指向

vim /etc/sysconfig/network-scripts/ifcfg-ens33

systemctl restart network

修改http配置文件

KeepAlive off#关闭长连接便于后面观察负载均衡，的跳转

测试是否成功

[root@localhost ~]# ls /var/www/html/

index.html

[root@localhost ~]# cat /var/www/html/index.html

this is gy web!

配置第二台真实服务器

--192.168.80.101---

[root@localhost ~]# setenforce 0

[root@localhost ~]# systemctl stop firewalld.service

[root@localhost ~]# vim /etc/selinux/config //永久关闭selinux

[root@localhost ~]# showmount -e 192.168.1.102 //查看nfs服务

Export list for 192.168.1.102:

/opt/ylc 192.168.1.0/24

/opt/gy  192.168.1.0/24

安装web服务httpd或nginx

//这里我安装httpd

yum install httpd -y //安装httpd服务

systemctl enable --now httpd.service #开机自启并现在开启

mount.nfs 192.168.1.102:/opt/ylc /var/www/html



vim /etc/fstab #永久挂载

192.168.1.102:/opt/ylc  /var/www/html   nfs     defaults,_netdev    0  0

修改网网关指向

vim /etc/sysconfig/network-scripts/ifcfg-ens33#修改网关指向

systemctl restart network //刷新网卡配置

修改http配置文件

KeepAlive off

测试

 cat /var/www/html/index.html

3.配置负载调度器

（内网关 ens33：192.168.1.200，外网关 ens36：12.0.0.10）

systemctl stop firewalld.service

systemctl disable firewalld.service

setenforce 0

添加网卡

ifconfig #查看新添加网卡

修改新网卡配置

cd /etc/sysconfig/network-scripts/

 cp ifcfg-ens33 ifcfg-ens36

 vim ifcfg-ens36 #修改ens36配置

vim ifcfg-ens33 #修改ens33配置

 systemctl restart network #刷新网卡配置

测试

ping 12.0.0.10

（1）配置SNAT转发规则

vim /etc/sysctl.conf#添加路由

net.ipv4.ip_forward = 1



或 echo '1' > /proc/sys/net/ipv4/ip_forward

sysctl -p //加载配置文件

iptables -t nat -F #清空nat表

iptables -F #清空filter表

iptables -t nat -A POSTROUTING -s 192.168.1.0/24 -o ens36 -j SNAT --to 12.0.0.10

#-t指定nat -A表指定POSTROUTING链 -s指定源地址 -o指定出口网卡 -j动作选项，它用于对数据包执行源地址转换，--to指定转换地址

iptables -t nat -nL查看是否配置成功

测试

开启一台新的机器当客户端

我这里用的是windows7，linux也行

修改网络适配器

浏览器访问

都能正常访问但是不能跳转

实现负载均衡，跳转

（2）加载LVS内核模块

modprobe ip_vs                  #加载 ip_vs模块

cat /proc/net/ip_vs             #查看 ip_vs版本信息



//也可以

for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

#用for循环加载所有ipvs模块

（3）安装ipvsadm 管理工具

yum -y install ipvsadm



--启动服务前须保存负载分配策略---

ipvsadm-save > /etc/sysconfig/ipvsadm

或者 ipvsadm --save > /etc/sysconfig/ipvsadm



systemctl start ipvsadm.service

注意：如果安装不了搭建本地yum仓库安装

（4）配置负载分配策略（NAT模式只要在服务器上配置，节点服务器不需要特殊配置）

ipvsadm -C                  #清除原有策略

ipvsadm -A -t 12.0.0.10:80 -s rr

ipvsadm -a -t 12.0.0.1:80 -r 192.168.1.100:80 -m [-w 1]

ipvsadm -a -t 12.0.0.1:80 -r 192.168.1.101:80 -m [-w 1]

ipvsadm                     #启用策略



ipvsadm -ln                 #查看节点状态，Masq代表 NAT模式

ipvsadm-save > /opt/ipvsadm                     #保存策略

ipvsadm-save > /etc/sysconfig/ipvsadm

测试

http://12.0.0.10

总结

ipvsadm 工具选项说明：

-A：添加虚拟服务器

-D：删除整个虚拟服务器

-s：指定负载调度算法（轮询：rr、加权轮询：wrr、最少连接：lc、加权最少连接：wlc lblc:基于本地的最少连接）

-a：表示添加真实服务器（节点服务器）

-d：删除某一个节点

-t：指定 VIP地址及 TCP端口

-r：指定 RIP地址及 TCP端口

-m：表示使用 NAT群集模式

-g：表示使用 DR模式

-i：表示使用 TUN模式

-w：设置权重（权重为 0 时表示暂停节点）

-p 60：表示保持长连接60秒（默认关闭连接保持）

-l：列表查看 LVS 虚拟服务器（默认为查看所有）

-n：以数字形式显示地址、端口等信息，常与“-l”选项组合使用。ipvsadm -ln





---------------------NAT模式 LVS负载均衡群集部署-------------------------

负载调度器：内网关 ens33：192.168.1.200，外网关 ens36：12.0.0.10

Web节点服务器1：192.168.1.100

Web节点服务器2：192.168.1.101

NFS服务器：192.168.1.102

客户端：12.0.0.12



1.部署共享存储（NFS服务器：192.168.1.102）

systemctl stop firewalld.service

systemctl disable firewalld.service

setenforce 0



yum install nfs-utils rpcbind -y

systemctl start rpcbind.service

systemctl start nfs.service



systemctl enable nfs.service

systemctl enable rpcbind.service



mkdir /opt/gy /opt/ylc

chmod 777 /opt/gy /opt/ylc

echo 'this is gy web!' > /opt/gy/index.html

echo 'this is ylc web!' > /opt/ylc/index.html



vim /etc/exports

/opt/gy 192.168.1.0/24(rw,sync)

/opt/ylc 192.168.1.0/24(rw,sync)



--发布共享---

exportfs -rv





2.配置节点服务器（192.168.1.100、192.168.1.101）

systemctl stop firewalld.service

systemctl disable firewalld.service

setenforce 0



yum install httpd -y

systemctl start httpd.service

systemctl enable httpd.service



yum install nfs-utils rpcbind -y

showmount -e 192.168.1.102



systemctl start rpcbind

systemctl enable rpcbind



--192.168.80.100---

mount.nfs 192.168.1.102:/opt/gy /var/www/html



vim /etc/fstab

192.168.80.13:/opt/ylc      /var/www/html   nfs     defaults,_netdev    0  0



--192.168.80.101---

mount.nfs 192.168.1.102:/opt/ylc /var/www/html

echo 'this is ylc web!' > /var/www/html/index.html



vim /etc/fstab

192.168.80.13:/opt/ylc  /var/www/html   nfs     defaults,_netdev    0  0





3.配置负载调度器（内网关 ens33：192.168.1.200，外网关 ens36：12.0.0.10）

systemctl stop firewalld.service

systemctl disable firewalld.service

setenforce 0





准备  ：添加双网卡并配置好地址



（1）配置SNAT转发规则

vim /etc/sysctl.conf

net.ipv4.ip_forward = 1



或 echo '1' > /proc/sys/net/ipv4/ip_forward

sysctl -p



iptables -t nat -F

iptables -F

iptables -t nat -A POSTROUTING -s 192.168.1.0/24 -o ens36 -j SNAT --to 12.0.0.10



（2）加载LVS内核模块

modprobe ip_vs                  #加载 ip_vs模块

cat /proc/net/ip_vs             #查看 ip_vs版本信息



for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done



（3）安装ipvsadm 管理工具

yum -y install ipvsadm



--启动服务前须保存负载分配策略---

ipvsadm-save > /etc/sysconfig/ipvsadm

或者 ipvsadm --save > /etc/sysconfig/ipvsadm



systemctl start ipvsadm.service



（4）配置负载分配策略（NAT模式只要在服务器上配置，节点服务器不需要特殊配置）

ipvsadm -C                  #清除原有策略

ipvsadm -A -t 12.0.0.10:80 -s rr [-p 60]

ipvsadm -a -t 12.0.0.10:80 -r 192.168.1.100:80 -m [-w 1]

ipvsadm -a -t 12.0.0.10:80 -r 192.168.1.101:80 -m [-w 1]

ipvsadm                     #启用策略



ipvsadm -ln                 #查看节点状态，Masq代表 NAT模式

ipvsadm-save > /opt/ipvsadm                     #保存策略

ipvsadm-save > /etc/sysconfig/ipvsadm

----------------------------------------------------------------------------------------------------------

ipvsadm -d -t 12.0.0.10:80 -r 192.168.1.100:80              #删除群集中某一节点服务器

ipvsadm -D -t 12.0.0.1:80                                   #删除整个虚拟服务器

systemctl stop ipvsadm                                      #停止服务（清空策略），如果selinux没关闭/etc/sysconfig/ipvsadm内容也会清空

systemctl start ipvsadm                                     #启动服务（根据/etc/sysconfig/ipvsadm恢复策略）

ipvsadm-restore < /opt/ipvsadm                              #恢复LVS 策略

----------------------------------------------------------------------------------------------------------



4.测试效果

在一台IP为12.0.0.12的客户机使用浏览器访问 http://12.0.0.10/ ，不断刷新浏览器测试负载均衡效果，刷新间隔需长点（或者关闭Web服务的连接保持）。