Haproxy+Keepalived负载均衡

Haproxy介绍

HAProxy是一个特别适用于高可用性环境的TCP/HTTP开源的反向代理和负载均衡软件。在7层负载均衡方面的功能很强大(支持cookie track, header rewrite等等)，支持双机热备，支持虚拟主机，支持健康检查，同时还提供直观的监控页面，可以清晰实时的监控服务集群的运行状况。同时支持Linux 2.6内核中System Epoll，通过简化系统调用，大幅的提高了网络I/O性能。

Haproxy包括以下一些特征：

• 根据静态分配的cookie 分配HTTP请求
• 分配负载到各个服务器，同时保证服务器通过使用HTTP Cookie实现连接保持；
• 当主服务器宕机时切换到备份服务器；允许特殊端口的服务监控；
• 做维护时通过热配置可以保证业务的连续性，更加人性化；
• 添加/修改/删除HTTP Request和Response 头；
• 通过特定表达式Block HTTP请求；
• 根据应用的cookie做连接保持；
• 带有用户验证的详细的HTML监控报告.

Haproxy支持的平台

HAProxy is known to reliably run on the following OS/Platforms :
Linux 2.4 on x86, x86_64, Alpha, Sparc, MIPS, PARISC
Linux 2.6 / 3.x on x86, x86_64, ARM, Sparc, PPC64
Solaris 8/9 on UltraSPARC 2 and 3
Solaris 10 on Opteron and UltraSPARC
FreeBSD 4.10 - 10 on x86
OpenBSD 3.1 to -current on i386, amd64, macppc, alpha, sparc64 and VAX (check the ports)
AIX 5.1 - 5.3 on Power™ architecture

HAProxy负载均衡算法

HAProxy的负载均衡算法现在具体有如下8种：

• roundrobin，表示简单的轮询，这个不多说，这个是负载均衡基本都具备的；
• static-rr，表示根据权重，建议关注；
• leastconn，表示最少连接者先处理，建议关注；
• source，表示根据请求源IP，这个跟Nginx的IP_hash机制类似，我们用其作为解决session问题的一种方法，建议关注；
• ri，表示根据请求的URI；
• rl_param，表示根据请求的URl参数’balance url_param’ requires an URL parameter name；
• hdr(name)，表示根据HTTP请求头来锁定每一次HTTP请求；
• rdp-cookie(name)，表示根据据cookie(name)来锁定并哈希每一次TCP请求。

Haproxy部署

Haproxy源码编译安装

安装依赖软件包

[root@linux-node1 ~]# yum install -y net-tools vim lrzsz tree screen lsof tcpdump nc mtr nmap gcc glib gcc-c++ make
[root@linux-node1 ~]# cd /usr/local/src
[root@linux-node1 src]# wget http://www.haproxy.org/download/1.6/src/haproxy-1.6.3.tar.gz
[root@linux-node1 src]# tar zxf haproxy-1.6.3.tar.gz

编译安装Haproxy

[root@linux-node1 src]# cd haproxy-1.6.3
[root@linux-node1 src]# make TARGET=linux2628 PREFIX=/usr/local/haproxy-1.6.3
[root@linux-node1 src]# make install
[root@linux-node1 ~]# cp /usr/local/sbin/haproxy /usr/sbin/
[root@linux-node1 ~]# haproxy -v
HA-Proxy version 1.6.3 2015/12/25
Copyright 2000-2015 Willy Tarreau <willy@haproxy.org>

Haproxy启动脚本

[root@linux-node1 ~]# cd /usr/local/src/haproxy-1.6.3
[root@linux-node1 haproxy-1.6.3]# cp examples/haproxy.init /etc/init.d/haproxy
[root@linux-node1 haproxy-1.6.3]# chmod 755 /etc/init.d/haproxy

Haproxy配置文件

[root@linux-node1 ~]# useradd -r haproxy
[root@linux-node1 ~]# mkdir /etc/haproxy
[root@linux-node1 ~]# mkdir /var/lib/haproxy
[root@linux-node1 ~]# mkdir /var/run/haproxy
[root@linux-node1 ~]# vim /etc/haproxy/haproxy.cfg
global
   log 127.0.0.1 local3 info
   chroot /var/lib/haproxy
   user haproxy
   group haproxy
   daemon

defaults
   log global
   mode http
   option httplog
   option dontlognull
   timeout connect 5000
   timeout client 50000
   timeout server 50000

frontend http_front
   bind *:80
   stats uri /haproxy?stats
   default_backend http_back

backend http_back
   balance roundrobin
   server linux-node1 192.168.56.11:8080 check
   server linux-node2 192.168.56.12:8080 check

#设置可以监听非本地IP

net.ipv4.ip_nonlocal_bind:
  sysctl.present:
- value: 1

haproxy日志设置

[root@saltstack-node1 ~]# vim /etc/rsyslog.conf
#rsyslog 默认情况下，需要在514端口监听UDP，所以可以把/etc/rsyslog.conf如下的注释去掉
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
local3.*         /var/log/haproxy.log

[root@saltstack-node1 ~]# vim /etc/sysconfig/rsyslog
[root@linux-node1 ~]# systemctl restart rsyslog

Haproxy配置

配置案例

global
maxconn 100000
chroot /usr/local/haproxy
uid 99
gid 99
daemon
nbproc 1
pidfile /usr/local/haproxy/logs/haproxy.pid
log 127.0.0.1 local3 info

defaults
option http-keep-alive
maxconn 100000
mode http
timeout connect 5000ms
timeout client  50000ms
timeout server 50000ms

listen stats
mode http
bind 0.0.0.0:8888
stats enable
stats uri     /haproxy-status
stats auth    haproxy:saltstack

frontend frontend_www_example_com
bind 192.168.56.21:80
mode http
option httplog
log global
default_backend backend_www_example_com

backend backend_www_example_com
option forwardfor header X-REAL-IP
option httpchk HEAD / HTTP/1.0
balance source
server web-node1  192.168.56.21:8080 check inter 2000 rise 30 fall 15
server web-node2 192.168.56.22:8080 check inter 2000 rise 30 fall 15

HAProxy的配置过程分为3个主要部分：

• 命令行参数，这是最优先的
• global（全局）段，设置进程级参数
• 代理配置段，通常位于"default", "listen", "fronted", "backend"这样的形式内。

配置文件的语法是由关键字后跟可选的一个或者多个参数（参数之间有空格）组成。如果字符串中包含空格，必须使用''进行转义。\本身需要使用\进行转义。

一些参数值为时间，比如说timeout。时间值通常单位为毫秒(ms)，但是也可以通过加后缀来使用其他的单位，支持的单位为：

  - us : microseconds. 1 microsecond = 1/1000000 second
  - ms : milliseconds. 1 millisecond = 1/1000 second. This is the default.
  - s  : seconds. 1s = 1000ms
  - m  : minutes. 1m = 60s = 60000ms
  - h  : hours.   1h = 60m = 3600s = 3600000ms
  - d  : days.    1d = 24h = 1440m = 86400s = 86400000ms

HAProxy配置中分五大部分：

• global：
  
  全局配置参数，进程级的，用来控制Haproxy启动前的一些进程及系统设置。
• defaults：
  
  配置一些默认的参数，可以被frontend，backend，listen段继承使用。
• frontend：
  
  用来匹配接收客户所请求的域名，uri等，并针对不同的匹配，做不同的请求处理
• backend：
  
  定义后端服务器集群，以及对后端服务器的一些权重、队列、连接数等选项的设置，我将其理解为Nginx中的upstream块。
• listen：
  
  理解为frontend和backend的组合体。

HAProxy配置文件的配置方法主要用两种：一种是由前端（frontend）和后端（backend）配置块组成，前端和后端都可以有多个。第二种方法是只有一个listen配置快块来同时实现前端和后端。我们这里主要介绍最常用的frontend和backend工作模式，这个也是推荐的配置方法。

同时前端（frontend）区域可以根据HTTP请求的header信息来定义一些规则，然后将符合某规则的请求转发到相应后端（backend）进行处理，这个我们后面会详细讲解。

Global配置

global   # 全局参数的设置
log 127.0.0.1 local0 info
     # log语法：log [max_level_1]
     # 全局的日志配置，使用log关键字，指定使用127.0.0.1上的syslog服务中的local0日志设备，记录日志等级为info的日志
maxconn 4096
     # 定义每个haproxy进程的最大连接数，由于每个连接包括一个客户端和一个服务器端，所以单个进程的TCP会话最大数目将是该值的两倍。
user haproxy
group haproxy
     # 设置运行haproxy的用户和组，也可使用uid，gid关键字替代之
daemon
     # 以守护进程的方式运行
nbproc 16
     # 设置haproxy启动时的进程数，根据官方文档的解释，我将其理解为：该值的设置应该和服务器的CPU核心数一致，即常见的2颗8核心CPU的服务器，即共有16核心，则可以将其值设置为：<=16 ，创建多个进程数，可以减少每个进程的任务队列，但是过多的进程数也可能会导致进程的崩溃。这里我设置为16
maxconn 4096
     # 定义每个haproxy进程的最大连接数，由于每个连接包括一个客户端和一个服务器端，所以单个进程的TCP会话最大数目将是该值的两倍。
     #ulimit -n 65536
     # 设置最大打开的文件描述符数，在1.4的官方文档中提示，该值会自动计算，所以不建议进行设置
     pidfile /var/run/haproxy.pid# 定义haproxy的pid

代理(Proxies)相关配置

使用Haproxy进行反向代理负载均衡，最常修改的部分就是代理相关的配置了，代理相关配置位于下列配置段中：

-	defaults <name>
-	frontend<name>
-	backend  <name>
-	listen   <name>

• "defaults"段为其后的所有其他配置段设置默认参数。 "defaults"段可以有多个，后设置的总是会覆盖之前的配置。查看下面的列表可以知道"defaults"段可以使用哪些配置参数。"defaults"关键字是可选的，但是为了更好的可读性，建议加上。

• "frontend"段描述了一组监听的套接字，它们接受客户端连接。

• "backend"段描述了一组服务器，代理(Haproxy)会连接这些服务器并转发客户端请求到这些服
  
  务器上。

• "listen"段定义了一个完整的代理，它的前段(frontend)和后端(frontend)都在这个配置
  
  段里。这种配置通常用于仅TCP的流量.代理名必须由大（小）写字母、数字、'-'、'_'、'.'、':'组成。ACL名字是大小写敏感的，
  
  也即www和WWW分别指不同的代理。由于历史原因，所有的代理名字是可以重叠的，这种仅仅会导致日志有些问题。后来内容交换
  
  （Content Switching）的加入使得两个有重复功能的代理（frontend/backend）必须使用不
  
  同的名字。然而，仍然允许frontend和backend使用同一个名字，因为这种配置会经常遇到。

当前，HAProxy支持两种主要的代理模式: "tcp"也即4层，和"http"，即7层。在4层模式下，

HAproxy仅在客户端和服务器之间转发双向流量。7层模式下，HAProxy会分析协议，并且能通过

允许、拒绝、交换、增加、修改或者删除请求(request)或者回应(response)里指定内容来控制

协议，这种操作要基于特定规则。

Defaults配置

defaults	# 默认部分的定义
mode http
     # mode语法：mode {http|tcp|health} 。http是七层模式，tcp是四层模式，health是健康检测，返回OK
log 127.0.0.1 local3 err
     # 使用127.0.0.1上的syslog服务的local3设备记录错误信息
retries 3
     # 定义连接后端服务器的失败重连次数，连接失败次数超过此值后将会将对应后端服务器标记为不可用
option httplog
     # 启用日志记录HTTP请求，默认haproxy日志记录是不记录HTTP请求的，只记录“时间[Jan 5 13:23:46] 日志服务器[127.0.0.1] 实例名已经pid[haproxy[25218]] 信息[Proxy http_80_in stopped.]”，日志格式很简单。
option redispatch
     # 当使用了cookie时，haproxy将会将其请求的后端服务器的serverID插入到cookie中，以保证会话的SESSION持久性；而此时，如果后端的服务器宕掉了，但是客户端的cookie是不会刷新的，如果设置此参数，将会将客户的请求强制定向到另外一个后端server上，以保证服务的正常。
option abortonclose
     # 当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
option dontlognull
     # 启用该项，日志中将不会记录空连接。所谓空连接就是在上游的负载均衡器或者监控系统为了探测该服务是否存活可用时，需要定期的连接或者获取某一固定的组件或页面，或者探测扫描端口是否在监听或开放等动作被称为空连接；官方文档中标注，如果该服务上游没有其他的负载均衡器的话，建议不要使用该参数，因为互联网上的恶意扫描或其他动作就不会被记录下来
option httpclose
     # 这个参数我是这样理解的：使用该参数，每处理完一个request时，haproxy都会去检查http头中的Connection的值，如果该值不是close，haproxy将会将其删除，如果该值为空将会添加为：Connection: close。使每个客户端和服务器端在完成一次传输后都会主动关闭TCP连接。与该参数类似的另外一个参数是“option forceclose”，该参数的作用是强制关闭对外的服务通道，因为有的服务器端收到Connection: close时，也不会自动关闭TCP连接，如果客户端也不关闭，连接就会一直处于打开，直到超时。
contimeout 5000
     # 设置成功连接到一台服务器的最长等待时间，默认单位是毫秒，新版本的haproxy使用timeout connect替代，该参数向后兼容
clitimeout 3000
     # 设置连接客户端发送数据时的成功连接最长等待时间，默认单位是毫秒，新版本haproxy使用timeout client替代。该参数向后兼容
srvtimeout 3000
     # 设置服务器端回应客户度数据发送的最长等待时间，默认单位是毫秒，新版本haproxy使用timeout server替代。该参数向后兼容

Listen配置

listen status	# 定义一个名为status的部分
bind 0.0.0.0:1080
     # 定义监听的套接字
mode http
     # 定义为HTTP模式
log global
     # 继承global中log的定义
stats refresh 30s
     # stats是haproxy的一个统计页面的套接字，该参数设置统计页面的刷新间隔为30s
stats uri /admin?stats
     # 设置统计页面的uri为/admin?stats
stats realm Private lands
     # 设置统计页面认证时的提示内容
stats auth admin:password
     # 设置统计页面认证的用户和密码，如果要设置多个，另起一行写入即可
stats hide-version
     # 隐藏统计页面上的haproxy版本信息

Frontend配置

frontend http_80_in	# 定义一个名为http_80_in的前端部分
bind 0.0.0.0:80
     # http_80_in定义前端部分监听的套接字
mode http
     # 定义为HTTP模式
log global
     # 继承global中log的定义
option forwardfor
     # 启用X-Forwarded-For，在requests头部插入客户端IP发送给后端的server，使后端server获取到客户端的真实IP
acl static_down nbsrv(static_server) lt 1
     # 定义一个名叫static_down的acl，当backend static_sever中存活机器数小于1时会被匹配到
     use_backend php_server if static_down
     # 如果满足策略static_down时，就将请求交予backend php_server

Backend配置

backend php_server	#定义一个名为php_server的后端部分
mode http
     # 设置为http模式
balance source
     # 设置haproxy的调度算法为源地址hash
cookie SERVERID
     # 允许向cookie插入SERVERID，每台服务器的SERVERID可在下面使用cookie关键字定义
option httpchk GET /test/index.php
     # 开启对后端服务器的健康检测，通过GET /test/index.php来判断后端服务器的健康情况
server php_server_1 10.12.25.68:80 cookie 1 check inter 2000 rise 3 fall 3 weight 2
server php_server_2 10.12.25.72:80 cookie 2 check inter 2000 rise 3 fall 3 weight 1
server php_server_bak 10.12.25.79:80 cookie 3 check inter 1500 rise 3 fall 3 backup
     # server语法：server [:port] [param*]
     # 使用server关键字来设置后端服务器；为后端服务器所设置的内部名称[php_server_1]，该名称将会呈现在日志或警报中、后端服务器的IP地址，支持端口映射[10.12.25.68:80]、指定该服务器的SERVERID为1[cookie 1]、接受健康监测[check]、监测的间隔时长，单位毫秒[inter 2000]、监测正常多少次后被认为后端服务器是可用的[rise 3]、监测失败多少次后被认为后端服务器是不可用的[fall 3]、分发的权重[weight 2]、最为备份用的后端服务器，当正常的服务器全部都宕机后，才会启用备份服务器[backup]

backend static_server
mode http
option httpchk GET /test/index.html
server static_server_1 10.12.25.83:80 cookie 3 check inter 2000 rise 3 fall 3

调试相关配置

• debug
  
  启动debug模式，此模式会dump所有的交互信息到stdout，并运行于前台（译注：不进入deamon
  
  模式）。等效于命令行参数-d. 此参数绝不要用于生产环境，因为它会在系统启动时被挂起.
• quiet
  
  在启动时不显示任何信息。等于命令行参数-v

Haproxy健康检查

HAProxy作为Loadbalance，支持对backend的健康检查，以保证在后端backend不能服务时，把从frotend进来的request分配至可以其它可服务的backend，从而保证整体服务的可用性。

通过监听端口进行健康检测

这种检测方式，haproxy只会去检查后端server的端口，并不能保证服务的真正可用。

listen http_proxy 0.0.0.0:80
        mode http
        cookie SERVERID
        balance roundrobin
        option httpchk
        server web1 192.168.1.1:80 cookie server01 check
        server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2

通过URI获取进行健康检测

这种检测方式，是用过去GET后端server的的web页面，基本上可以代表后端服务的可用性。

listen http_proxy 0.0.0.0:80
        mode http
        cookie SERVERID
        balance roundrobin
        option httpchk GET /index.html
        server web1 192.168.1.1:80 cookie server01 check
        server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2
 相关配置
option httpchk <method><uri><version>

启用七层健康检测

http-check disable-on-404
如果backend返回404，则除了长连接之外的后续请求将不被分配至该backend
http-check send-state
增加一个header，同步HAProxy中看到的backend状态。该header为server可见。 X-Haproxy-Server-State: UP 2/3; name=bck/srv2; node=lb1; weight=1/2; scur=13/22; qcur=0
server option
check：启用健康检测
inter：健康检测间隔
rise：检测服务可用的连续次数
fall：检测服务不可用的连续次数
error-limit：往server写数据连续失败的次数上限，执行on-error的设定
observe <mode>：把正常服务过程作为健康检测请求，即实时检测
on-error <mode>：满足error-limit后执行的操作（fastinter、fail-check、sudden-death、mark-down）。其中fastinter表示立即按照fastinter的检测延时进行。fail-check表示改次error作为一次检测；sudden-death表示模仿一次fatal，如果紧接着一次fail则置server为down;mark-down表示直接把server置为down状态。
其它
retries：连接失败重试的次数，如果重试该次数后还不能正常服务，则断开连接。

通过request获取的头部信息进行匹配进行健康检测

这种检测方式，则是基于高级，精细的一些监测需求。通过对后端服务访问的头部信息进行匹配检测。

listen http_proxy 0.0.0.0:80
        mode http
        cookie SERVERID
        balance roundrobin
        option httpchk HEAD /index.jsp HTTP/1.1\r\nHost:\ www.xxx.com
        server web1 192.168.1.1:80 cookie server01 check
        server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2

Haproxy负载均衡算法

HAProxy的算法有如下8种：

roundrobin，表示简单的轮询，
static-rr，表示根据权重，建议关注；
leastconn，表示最少连接者先处理，建议关注；
source，表示根据请求源IP，建议关注；
uri，表示根据请求的URI；
url_param，表示根据请求的URl参数'balance url_param' requires an URL parameter name
hdr(name)，表示根据HTTP请求头来锁定每一次HTTP请求；
rdp-cookie(name)，表示根据据cookie(name)来锁定并哈希每一次TCP请求。

调度算法source

haroxy 将用户IP经过hash计算后 指定到固定的真实服务器上（类似于nginx 的IP hash 指令）

配置指令 balance source

cookie 识别

haproxy 将WEB服务端发送给客户端的cookie中插入(或添加加前缀)haproxy定义的后端的服务器COOKIE ID。

配置指令例举 cookie SESSION_COOKIE insert indirect nocache

session 识别

haproxy 将后端服务器产生的session和后端服务器标识存在haproxy中的一张表里。客户端请求时先查询这张表。然后根据session分配后端server。

配置指令：appsession<cookie> len <length> timeout <holdtime>

Haproxy 七层负载均衡

reqirep ^Host:\\ www.abc.com Host:\\ abc.com
acl host_abc_com hdr(host)      -i abc.com
acl host_cn      hdr_end(host)  -i .cn
acl host_xyz     hdr_beg(host)  -i xzy.
acl url_xxx      url_reg        -i ^/xxx
use_backend host-abc-com if host_abc_com
use_backend host-cn      if host_cn
use_backend host-xyz-url-xxx if host_xyz url_xxx
default_backend default-servers

根据URL后缀进行负载均衡

acl php_web url_reg /*.php$
#acl php_web path_end .php # 定义一个名叫php_web的acl，当请求的url末尾是以.php结尾的，将会被匹配到，上面两种写法任选其一

acl static_web url_reg /*.(css|jpg|png|jpeg|js|gif)$
#acl static_web path_end .gif .png .jpg .css .js .jpeg

# 定义一个名叫static_web的acl，当请求的url末尾是以.css、.jpg、.png、.jpeg、.js、.gif结尾的，将会被匹配到，上面两种写法任选其一

use_backend php_server if php_web
# 如果满足策略php_web时，就将请求交予backend php_server
use_backend static_server if static_web
# 如果满足策略static_web时，就将请求交予backend static_server

根据url进行负载均衡

acl invitec url_reg /invitec_pk.do
use_backend b_yxpopo_com_pk if invitec

根据User-Agent实现域名跳转

需求如下:

• 1：域名www.example.com PC端访问正常显示
• 2：手机端:Android iPhone 访问首页跳转到wap.example.com,
• 3：static big_* small_* 这几类文件开头的进行跳转进行跳转效果如下所示:
  
  访问:http://club.jesse.com/static/20130916/27635260.htm
  
  跳转到:http://3g.club.jesse.com/static/20130916/27635260.htm
• 4:手机端访问:除规则3以外的不跳转:如http://club.xywy.com/top.htm访问URL 不变。

Haproxy主要配置如下:

acl static_d path_beg /static /small /big  #匹配XX开始的
acl index_page path_reg ^/$  #匹配首页
acl ua hdr_reg(User-Agent) -i iphone android #匹配User-Agent类型
acl club hdr_reg(host) -i   club.jesse.com #匹配访问的域名
redirect prefix http://3g.club.jesse.com if ua static_d club #匹配相关的ACL策略就进行跳转
redirect prefix http://3g.club.jesse.com if index_page ua club
use_backend club_pool if club

Haproxy TCP端口耗尽解决方案

在实际使用过程中，有两个问题比较容易发生：

1. TCP端口耗尽
2. 网卡带宽跑满
   
   本文重点讲讲如何优化问题1，问题2暂不讨论。

优化一：使用尽可能多的端口

Linux系统默认提供了65K个端口，每当Haproxy建立了一个到MySQL的连接，就会消耗一个端口；当Haproxy断开和MySQL的连接时，该端口并不会立即释放，而是会处于TIME_WAIT状态（2*MSL），超时后才会释放此端口供新的连接使用。

我的环境中，tcp_fin_timeout为15秒，也就是说如果我环境中的haproxy可以承载的最大并发连接数为64K/(15*2)=2.1K，可实际上达不到这个上限，原因如下：

net.ipv4.ip_local_port_range = 15000 65000

linux会保留一段端口，实际能参与分配的端口数只有50K，为了获得尽可能多的可分配端口，做如下调整：

# sysctl net.ipv4.ip_local_port_range="1025 65000"
# sysctl net.ipv4.ip_local_port_range="1025 65000"

#记得修改/etc/sysctl.conf中对应的内容

优化二：复用处于TIME_WAIT的端口

调整两个参数：

net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1

第一个参数很安全，可以不用过多关注。需要注意的是第二个参数，某些情况下会导致数据包被丢弃。

例如：client通过NAT连接haproxy，并且haproxy端打开了tcp_tw_recycle,同时saw_tstamp也没有关闭，当第一个连接建立并关闭后，此端口(句柄)处于TIME_WAIT状态，在2*MSL时间内又一个client(相同IP，如果打开了xfrm还要相同PORT)发一个syn包，此时linux内核就会认为这个数据包异常，从而丢掉这个包,并发送rst包.

不过通常情况下，client都是通过内网直接连接haproxy，所以可以认为tcp_tw_recycle是安全的，只是需要记住此坑。

优化三：缩短TIME_WAIT时间

Linux系统默认MSL为60秒，也就是正常情况下，120秒后处于TIME_WAIT的端口（句柄）才会释放，可以将MSL的时间缩小，缩短端口的释放周期。

# cat /proc/sys/net/ipv4/tcp_fin_timeout
60
# echo 15 > /proc/sys/net/ipv4/tcp_fin_timeout
#这是一个折中的数值，太小也会导致其它问题

优化四：使用多IP

如优化一中所说，我们已经尽可能多的使用了系统提供的端口范围。但最多依然不超过65K。

Haproxy提供了内建的端口管理方法，可以充分利用以扩大我们的端口范围。

server mysql0     10.0.3.1:3306 check source 10.0.3.100:1025-65000
server mysql1     10.0.3.1:3306 check source 10.0.3.101:1025-65000

如果使用两个ip，我们可用的端口数就接近130K。扩展多个IP，就可以不断增加端口数。

优化五：使用长连接

服务最好使用长连接，一是避免频繁的申请连接，导致端口耗尽；二是避免创建连接带来的时间消耗。

Haproxy 在线维护

Haproxy Sock

开启Haproxy Unix Socket

在global添加：

	stats socket /usr/local/haproxy/haproxy.sock mode 600 level admin
	stats timeout 2m

Socat 工具

socat是一个多功能的网络工具，名字来由是“Socket CAT”，可以看作是netcat的N倍加强版，socat的官方网站：http://www.dest-unreach.org/socat/ 。

socat是一个两个独立数据通道之间的双向数据传输的继电器。这些数据通道包含文件、管道、设备（终端或调制解调器等）、插座（Unix，IP4，IP6 - raw，UDP，TCP）、SSL、SOCKS4客户端或代理CONNECT。

socat支持广播和多播、抽象Unix sockets、Linux tun/tap、GNU readline和PTY。它提供了分叉、记录和进程间通信的不同模式。多个选项可用于调整socat和其渠道，Socat可以作为TCP中继（一次性或守护进程），作为一个守护进程基于socksifier，作为一个shell Unix套接字接口，作为IP6的继电器，或面向TCP的程序重定向到一个串行线。

socat的主要特点就是在两个数据流之间建立通道；且支持众多协议和链接方式：ip, tcp, udp, ipv6, pipe,exec,system,open,proxy,openssl,socket等。

使用socat可以查看和设置HAProxy状态，首先得让HAProxy产生出一个sock出来(hatop ，socat都是基于这个的，没这个什么都做不了)。

[root@lb-node3 ~]#yum install –y readline-devel openssl-devel tcp_wrappers
[root@lb-node3 ~]# cd /usr/local/src
[root@lb-node3 src]# wgethttp://www.dest-unreach.org/socat/download/socat-1.7.2.4.tar.gz
[root@lb-node3 src]# tar zxf socat-1.7.2.4.tar.gz
[root@lb-node3 src]# cd socat-1.7.2.4
[root@lb-node3 socat-1.7.2.4]# ./configure&& make && make install

常用功能

获取帮助：

echo "help"| socat stdio /usr/local/haproxy/haproxy.sock
Unknown command. Please enter one of the following commands only :
clear counters : clear max statistics counters (add 'all' for all counters)
clear table    : remove an entry from a table
help           : this message
prompt         : toggle interactive mode with prompt
quit           : disconnect
show info      : report information about the running process
show pools     : report information about the memory pools usage
show stat      : report counters for each proxy and server
show errors    : report last request and response errors for each proxy
show sess [id] : report the list of current sessions or dump this session
show table [id]: report table usage stats or dump this table's contents
get weight     : report a server's current weight
set weight     : change a server's weight
set server     : change a server's state or weight
set table [id] : update or create a table entry's data
set timeout    : change a timeout setting
set maxconn    : change a maxconn setting
set rate-limit : change a rate limiting value
disable        : put a server or frontend in maintenance mode
enable         : re-enable a server or frontend which is in maintenance mode
shutdown       : kill a session or a frontend (eg:to release listening ports)
show acl [id]  : report avalaible acls or dump an acl's contents
get acl        : reports the patterns matching a sample for an ACL
add acl        : add acl entry
del acl        : delete acl entry
clear acl <id> : clear the content of this acl
show map [id]  : report avalaible maps or dump a map's contents
get map        : reports the keys and values matching a sample for a map
set map        : modify map entry
add map        : add map entry
del map        : delete map entry
clear map <id> : clear the content of this map
set ssl <stmt> : set statement for ssl
#查看状态：
echo "show info;show stat" | socat /usr/local/haproxy/haproxy.sock stdio
#关闭节点：
echo "disable server b_yxpopo_com/hongbao-node11" | socat /usr/local/haproxy/haproxy.sock stdio
#启用节点：
echo "enable server b_yxpopo_com/hongbao-node11" | socat /usr/local/haproxy/haproxy.sock stdio

Haproxy+keepalived架构实践

VRRP介绍

• VRRP中的角色
• VRRP路由器
  
  VRRP路由器就是一台路由器，只不过上面运行了VRRP协议的程序，比如我们等下要安装的Keepalived就是运行了VRRPD这样的程序来实现VRRP协议，我们可以理解为一台物理路由器，需要注意的是一台VRRP路由器可以位于多个虚拟路由器。
  
  VRRP虚拟路由器
  
  VRRP虚拟路由器通常有多台物理的VRRP路由器组成，这多台物理路由器组成一个Pool，虚拟路由器在生产环境中可以有多个，通过VRID进行标示。
  
  MASTER和BACKUP
  
  在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台路由器并不同时工作，而是由一台称之为MASTER的负责路由工作，其它的都是BACKUP。MASTER并不是一成不变的，VRRP协议让每个VRRP路由器参与竞选，竞选成功的就可以成为MASTER。MASTER拥有虚拟路由器的IP地址，我们把这个IP地址称之为VIP，MASTER负责转发发送给网关地址的数据包和响应ARP请求。
  
  VRRP是如何工作的？
  
  VRRP通过竞选协议来实现虚拟路由器的功能，协议报文通过IP多播（多播地址：224.0.0.18）方式进行发送。虚拟路由器有VRID（范围0-255）和一组ＩＰ地址组成，对外表现为一个ＭＡＣ地址：00-00-5E-00-01-{VRID}。所以，在一个虚拟路由器中，不管谁是Master，对外都是相同的MAC地址和IP地址。如果其中一台虚拟路由器Down机，角色发送切换，那么客户端并不需要因为Master的变化修改自己的路由设置，可以做到透明的切换。这样就实现了如果一台机器宕机，那么备用的机器会拥有MASTER上的IP地址，实现高可用功能。
  
  VRRP是如何通信的？
  
  在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP广播包，BACKUP的路由器会被动接收数据库，不会抢占MASTER。当MASTER不可用时，这个时候BACKUP就收不到广播包，多台BACKUP中优先级最高的这台会抢占成为MASTER。这个抢占的速度非常快小于1s，几乎不会影响生产应用。为了安全考虑VRRP的数据包使用了加密协议进行加密。

Keepalived部署

[root@linux-node1 ~]# cd /usr/local/src
[root@linux-node1 src]# wget http://www.keepalived.org/software/keepalived-1.2.19.tar.gz
[root@linux-node1 src]# tar zxf keepalived-1.2.19.tar.gz
[root@linux-node1 src]# cd keepalived-1.2.19
[root@linux-node1 keepalived-1.2.19]# ./configure --prefix=/usr/local/keepalived-1.2.19
[root@linux-node1 keepalived-1.2.19]# make && make install
[root@linux-node1 keepalived-1.2.19]# cp keepalived/etc/init.d/keepalived.init /etc/init.d/keepalived
[root@linux-node1 keepalived-1.2.19]# chmod +x /etc/init.d/keepalived
[root@linux-node1 keepalived-1.2.19]# cp keepalived/etc/init.d/keepalived.sysconfig /etc/sysconfig/keepalived
[root@linux-node1 keepalived-1.2.19]# cp keepalived/etc/keepalived/keepalived.conf /etc

Keepalived配置详解

Keepalived的所有配置都在一个配置文件里面，主要分为三大类：

1. 全局配置
2. VRRPD配置
3. LVS配置
   
   配置文件是以配置块的形式存在，每个配置块都在一个闭合的{}范围内，所有编辑的时候注意大括号的闭合问题。#和！开头的都是注释。
   
   2.3.1 全局配置
   
   全局配置是对整个Keepalived生效的配置，一个典型的配置如下：

global_defs {
#设置keepalived再发生事件（比如切换）的时候，需要发送到的email地址，可以设置多个，每行一个。
   notification_email {
     shundong.zhao@dianjoy.com
   }
#设置通知邮件发送来自于哪里
   notification_email_from keepalived@dianjoy.com
#指定发送邮件的smtp服务器
 smtp_server 127.0.0.1
#设置smtp连接超时事件，单位是秒
   smtp_connect_timeout 30
#设置route_id，是运行keepalived的一个标示，多个集群设置为不同的。
   router_id nginx_ha
}

VRRPD配置

VRRPD的配置是Keepalived比较重要的配置，主要分为两个部分VRR同步组合VRRP实例，我们先说VRRP实例，也就是要想使用VRRP进行高可用选举，那么就一定需要配置一个VRRP实例，在实例中来定义VIP、服务器角色等。

vrrp_instance NGINX_HA {
    #指定实例初始状态，实际的MASTER和BACKUP是选举决定的
    state MASTER
#指定实例绑定的网卡
    interface eth0
#设置VRID标记，多个集群不同重复(0..255)
    virtual_router_id 51
#设置优先级，优先级高的会被竞选为Master，Master要高于BACKUP至少50
    priority 150
#检查的时间间隔，默认是1s。
    advert_int 1
#设置验证的类型和密码。
    authentication {
        auth_type PASS
        auth_pass nginx
    }
#设置VIP，可以设置多个，用于切换时的地址绑定。
    virtual_ipaddress {
        192.168.99.176
        192.168.99.170
    }
}

可选的选项：

设置路由，可以设置多条，用于切换时执行。

virtual_routes{
#src <IPADDR> to <IPADDR>/<MASK> via | gw <IPADDR> dev <STRING> scope <SCOPE>
}
#track_interface 设置额外的监控网卡，如果任何一个出现故障，就会进入FAULT状态
#mcast_src_ip 设置发送多播的地址，默认是绑定的网卡的primary IP

配置案例

! Configuration File for keepalived

global_defs {

notification_email {

saltstack@example.com

}

notification_email_from keepalived@example.com

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id  150

}

vrrp_instance haproxy_ha {

state Master

interface eth0

virtual_router_id 36

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.56.20

}

}