haproxy做TCP层的负载均衡

最新项目中发现，大量游戏玩家访问登录服务器时出现延迟，导致玩家无法登录，愿意可能是登录服务器性能达到极限。

所以目前想通过proxy的方式访问登录服务器集群，避免登录延迟。

1.下载haproxy最新版本

http://www.haproxy.org/download/1.5/src/haproxy-1.5.12.tar.gz

2.安装haproxy软件

tar zxvf haproxy-1.5.12.tar.gz

cd haproxy-1.5.12

　　uname -a    //查看linux内核版本, TARGET是内核版本，2.6就写作26

　　make TARGET=linux26 PREFIX=/usr/local/haproxy

　　make install PREFIX=/usr/local/haproxy

3.配置haproxy

mkdir /etc/haproxy/conf

vim /etc/haproxy/conf/haproxy.cfg

1. <span style="color:#505050;">###########全局配置#########
2. global
3. chroot /usr/local/haproxy
4. daemon
5. nbproc 1
6. group nobody
7. user nobody
8. pidfile /opt/haproxy/logs/haproxy.pid
9. ulimit-n 65536
10. #spread-checks 5m
11. #stats timeout 5m
12. #stats maxconn 100
13. ########默认配置############
14. defaults
15. mode tcp               #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
16. retries 3              #两次连接失败就认为是服务器不可用，也可以通过后面设置
17. option redispatch      #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器
18. option abortonclose    #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
19. maxconn 32000          #默认的最大连接数
20. timeout connect 5000ms #连接超时
21. timeout client 30000ms #客户端超时
22. timeout server 30000ms #服务器超时
23. #timeout check 2000    #心跳检测超时
24. log 127.0.0.1 local0 err #[err warning info debug]
25. ########test1配置#################
26. listen test1
27. bind 0.0.0.0:8008
28. mode tcp
29. balance roundrobin
30. server s1 127.0.0.1:8010 weight 1 maxconn 10000 check inter 10s
31. server s2 127.0.0.1:8011 weight 1 maxconn 10000 check inter 10s
32. server s3 127.0.0.1:8012 weight 1 maxconn 10000 check inter 10s
33. ########test2配置#################
34. listen test2
35. bind 0.0.0.0:8007
36. mode tcp
37. balance roundrobin
38. server s1 192.168.1.88:8010 weight 1 maxconn 10000 check inter 10s
39. server s2 192.168.1.88:8011 weight 1 maxconn 10000 check inter 10s
40. ########统计页面配置########
41. listen admin_stats
42. bind 0.0.0.0:8099 #监听端口
43. mode http         #http的7层模式
44. option httplog    #采用http日志格式
45. #log 127.0.0.1 local0 err
46. maxconn 10
47. stats refresh 30s #统计页面自动刷新时间
48. stats uri /stats  #</span><span style="color:#ff0000;"><strong>统计页面url:port/stats</strong></span><pre name="code" class="cpp" style="color: rgb(80, 80, 80); font-size: 14px; line-height: 28px;"><span style="font-family: 宋体, 'Arial Narrow', arial, serif;">stats realm XingCloud\ Haproxy #统计页面密码框上提示文本</span>

stats auth admin:admin #统计页面用户名和密码设置stats hide-version #隐藏统计页面上HAProxy的版本信息

4.配置启动脚本

vim /usr/local/haproxy/sbin/haproxy.sh

#!/bin/sh
cd /usr/local/haproxy/sbin
/usr/local/haproxy/sbin/haproxy -f /etc/haproxy/conf/haproxy.cfg &

5.查看启动进程

ps -ef |grep haproxy  或者netstat -ntpl |grep haproxy  来检查haproxy是否启动成功！

###############################################################

配置详解

1. ####################全局配置信息########################
2. #######参数是进程级的,通常和操作系统（OS）相关#########
3. global
4. maxconn 20480                   #默认最大连接数
5. log 127.0.0.1 local3            #[err warning info debug]
6. chroot /var/haproxy             #chroot运行的路径
7. uid 99                          #所属运行的用户uid
8. gid 99                          #所属运行的用户组
9. daemon                          #以后台形式运行haproxy
10. nbproc 1                        #进程数量(可以设置多个进程提高性能)
11. pidfile /var/run/haproxy.pid    #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件
12. ulimit-n 65535                  #ulimit的数量限制
13. #####################默认的全局设置######################
14. ##这些参数可以被利用配置到frontend,backend,listen组件##
15. defaults
16. log global
17. mode http                       #所处理的类别 (#7层 http;4层tcp  )
18. maxconn 20480                   #最大连接数
19. option httplog                  #日志类别http日志格式
20. option httpclose                #每次请求完毕后主动关闭http通道
21. option dontlognull              #不记录健康检查的日志信息
22. option forwardfor               #如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip
23. option redispatch               #serverId对应的服务器挂掉后,强制定向到其他健康的服务器
24. option abortonclose             #当服务器负载很高的时候,自动结束掉当前队列处理比较久的连接
25. stats refresh 30                #统计页面刷新间隔
26. retries 3                       #3次连接失败就认为服务不可用,也可以通过后面设置
27. balance roundrobin              #默认的负载均衡的方式,轮询方式
28. #balance source                  #默认的负载均衡的方式,类似nginx的ip_hash
29. #balance leastconn               #默认的负载均衡的方式,最小连接
30. contimeout 5000                 #连接超时
31. clitimeout 50000                #客户端超时
32. srvtimeout 50000                #服务器超时
33. timeout check 2000              #心跳检测超时
34. ####################监控页面的设置#######################
35. listen admin_status                    #Frontend和Backend的组合体,监控组的名称,按需自定义名称
36. bind 0.0.0.0:65532             #监听端口
37. mode http                      #http的7层模式
38. log 127.0.0.1 local3 err       #错误日志记录
39. stats refresh 5s               #每隔5秒自动刷新监控页面
40. stats uri /admin?stats         #监控页面的url
41. stats realm itnihao\ itnihao   #监控页面的提示信息
42. stats auth admin:admin         #监控页面的用户和密码admin,可以设置多个用户名
43. stats auth admin1:admin1       #监控页面的用户和密码admin1
44. stats hide-version             #隐藏统计页面上的HAproxy版本信息
45. stats admin if TRUE            #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本)
46. errorfile 403 /etc/haproxy/errorfiles/403.http
47. errorfile 500 /etc/haproxy/errorfiles/500.http
48. errorfile 502 /etc/haproxy/errorfiles/502.http
49. errorfile 503 /etc/haproxy/errorfiles/503.http
50. errorfile 504 /etc/haproxy/errorfiles/504.http
51. #################HAProxy的日志记录内容设置###################
52. capture request  header Host           len 40
53. capture request  header Content-Length len 10
54. capture request  header Referer        len 200
55. capture response header Server         len 40
56. capture response header Content-Length len 10
57. capture response header Cache-Control  len 8
58. #######################网站监测listen配置#####################
59. ###########此用法主要是监控haproxy后端服务器的监控状态############
60. listen site_status
61. bind 0.0.0.0:1081                    #监听端口
62. mode http                            #http的7层模式
63. log 127.0.0.1 local3 err             #[err warning info debug]
64. monitor-uri /site_status             #网站健康检测URL,用来检测HAProxy管理的网站是否可以用,正常返回200,不正常返回503
65. acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true
66. acl site_dead nbsrv(server_blog) lt 2
67. acl site_dead nbsrv(server_bbs)  lt 2
68. monitor fail if site_dead            #当满足策略的时候返回503,网上文档说的是500,实际测试为503
69. monitor-net 192.168.16.2/32          #来自192.168.16.2的日志信息不会被记录和转发
70. monitor-net 192.168.16.3/32
71. ########frontend配置############
72. #####注意,frontend配置里面可以定义多个acl进行匹配操作########
73. frontend http_80_in
74. bind 0.0.0.0:80      #监听端口,即haproxy提供web服务的端口,和lvs的vip端口类似
75. mode http            #http的7层模式
76. log global           #应用全局的日志配置
77. option httplog       #启用http的log
78. option httpclose     #每次请求完毕后主动关闭http通道,HA-Proxy不支持keep-alive模式
79. option forwardfor    #如果后端服务器需要获得客户端的真实IP需要配置次参数,将可以从Http Header中获得客户端IP
80. ########acl策略配置#############
81. acl itnihao_web hdr_reg(host) -i ^(www.itnihao.cn|ww1.itnihao.cn)$
82. #如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写
83. acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn
84. #如果请求的域名满足www.itnihao.cn返回true -i是忽略大小写
85. #acl itnihao    hdr(host) -i itnihao.cn
86. #如果请求的域名满足itnihao.cn返回true -i是忽略大小写
87. #acl file_req url_sub -i  killall=
88. #在请求url中包含killall=,则此控制策略返回true,否则为false
89. #acl dir_req url_dir -i allow
90. #在请求url中存在allow作为部分地址路径,则此控制策略返回true,否则返回false
91. #acl missing_cl hdr_cnt(Content-length) eq 0
92. #当请求的header中Content-length等于0时返回true
93. ########acl策略匹配相应#############
94. #block if missing_cl
95. #当请求中header中Content-length等于0阻止请求返回403
96. #block if !file_req || dir_req
97. #block表示阻止请求,返回403错误,当前表示如果不满足策略file_req,或者满足策略dir_req,则阻止请求
98. use_backend  server_web  if itnihao_web
99. #当满足itnihao_web的策略时使用server_web的backend
100. use_backend  server_blog if itnihao_blog
101. #当满足itnihao_blog的策略时使用server_blog的backend
102. #redirect prefix http://blog.itniaho.cn code 301 if itnihao
103. #当访问itnihao.cn的时候,用http的301挑转到http://192.168.16.3
104. default_backend server_bbs
105. #以上都不满足的时候使用默认server_bbs的backend
106. ##########backend的设置##############
107. #下面我将设置三组服务器 server_web,server_blog,server_bbs
108. ###########################backend server_web#############################
109. backend server_web
110. mode http            #http的7层模式
111. balance roundrobin   #负载均衡的方式,roundrobin平均方式
112. cookie SERVERID      #允许插入serverid到cookie中,serverid后面可以定义
113. option httpchk GET /index.html #心跳检测的文件
114. server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1
115. #服务器定义,cookie 1表示serverid为web1,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,
116. #fall 3是3次失败认为服务器不可用,weight代表权重
117. server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2
118. #服务器定义,cookie 1表示serverid为web2,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,
119. #fall 3是3次失败认为服务器不可用,weight代表权重
120. ###################################backend server_blog###############################################
121. backend server_blog
122. mode http            #http的7层模式
123. balance roundrobin   #负载均衡的方式,roundrobin平均方式
124. cookie SERVERID      #允许插入serverid到cookie中,serverid后面可以定义
125. option httpchk GET /index.html #心跳检测的文件
126. #服务器定义:
127. #cookie 1表示serverid为web1,
128. #check inter 1500是检测心跳频率
129. #rise 3是3次正确认为服务器可用,
130. #fall 3是3次失败认为服务器不可用,
131. #weight代表权重
132. server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1
133. server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2
134. ###################################backend server_bbs###############################################
135. backend server_bbs
136. mode http            #http的7层模式
137. balance roundrobin   #负载均衡的方式,roundrobin平均方式
138. cookie SERVERID      #允许插入serverid到cookie中,serverid后面可以定义
139. option httpchk GET /index.html #心跳检测的文件
140. #服务器定义,
141. #cookie 1表示serverid为web1,
142. #check inter 1500是检测心跳频率
143. #rise 3是3次正确认为服务器可用,
144. #fall 3是3次失败认为服务器不可用,
145. #weight代表权重
146. server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
147. server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2

配置例子1

1. ###########全局配置#########
2. global
3. daemon
4. nbproc 1
5. pidfile /var/run/haproxy.pid
6. ########默认配置############
7. defaults
8. mode http               #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
9. retries 2               #两次连接失败就认为是服务器不可用，也可以通过后面设置
10. option redispatch       #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器
11. option abortonclose     #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
12. maxconn 4096            #默认的最大连接数
13. timeout connect 5000ms  #连接超时
14. timeout client 30000ms  #客户端超时
15. timeout server 30000ms  #服务器超时
16. #timeout check 2000      #=心跳检测超时
17. log 127.0.0.1 local0 err #[err warning info debug]
18. ########统计页面配置########
19. listen admin_stats
20. bind 0.0.0.0:1080               #监听端口
21. mode http                       #http的7层模式
22. option httplog                  #采用http日志格式
23. #log 127.0.0.1 local0 err
24. maxconn 10
25. stats refresh 30s               #统计页面自动刷新时间
26. stats uri /stats                #统计页面url
27. stats realm XingCloud\ Haproxy  #统计页面密码框上提示文本
28. stats auth admin:admin          #统计页面用户名和密码设置
29. stats hide-version              #隐藏统计页面上HAProxy的版本信息
30. ########test1配置#################
31. listen test1
32. bind 0.0.0.0:90
33. mode tcp
34. #maxconn 4086
35. #log 127.0.0.1 local0 debug
36. server s1 10.18.138.201:80
37. server s2 10.18.102.190:80
38. server s3 10.18.102.189:80
39. server s4 10.18.102.188:80
40. server s5 10.18.102.187:80
41. ########frontend配置##############
42. ########test2配置#################
43. listen test2
44. bind 0.0.0.0:91
45. mode tcp
46. #maxconn 4086
47. #log 127.0.0.1 local0 debug
48. server s1 10.18.138.130:80      weight 1
49. server s2 10.18.138.201:8080    weight 6
50. ########frontend配置##############

配置例子2

1. global
2. maxconn 51200 #限制单个进程的最大连接数
3. chroot /usr/local/haproxy
4. uid 99 #所属运行用户，默认99为nobody
5. gid 99 #所属运行用户组，默认99为nobody
6. daemon #让进程作为守护进程在后台运行
7. quiet
8. nbproc 2 #指定作为守护进程运行时的进程数，推荐设置为与CPU核心数相同
9. pidfile //usr/local/haproxy/haproxy.pid
10. defaults
11. mode http #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
12. #retries 2 #两次连接失败就认为是服务器不可用，也可以通过后面设置
13. option redispatch #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器
14. option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
15. timeout connect 5000ms #连接超时
16. timeout client 30000ms #客户端超时
17. timeout server 30000ms #服务器超时
18. #timeout check 2000 #=心跳检测超时
19. log 127.0.0.1 local0 err #[err warning info debug]
20. balance roundrobin                     #负载均衡算法
21. #option  httplog                        #日志类别,采用httplog
22. #option  httpclose   #每次请求完毕后主动关闭http通道,ha-proxy不支持keep-alive,只能模拟这种模式的实现
23. #option  dontlognull
24. #option  forwardfor  #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip
25. listen www.123p6.cn 0.0.0.0:80 #运行的端口及主机名
26. mode http #使用http的7层模式
27. balance roundrobin #设置服务器负载分配算法
28. option httpclose
29. option forwardfor
30. option httpchk GET /keepalive.html #健康检测页面
31. server webapp1 192.168.1.101:80 weight 1 check inter 2000 rise 2 fall 3
32. server webapp2 192.168.1.102:80 weight 1 check inter 2000 rise 2 fall 3
33. # weight - 调节服务器的负重
34. # check - 允许对该服务器进行健康检查
35. # inter - 设置连续的两次健康检查之间的时间，单位为毫秒(ms)，默认值 2000(ms)
36. # rise - 指定多少次连续成功的健康检查后，即可认定该服务器处于可操作状态，默认值 2
37. # fall - 指定多少次不成功的健康检查后，认为服务器为当掉状态，默认值 3
38. # maxconn - 指定可被发送到该服务器的最大并发连接数
39. listen localhost 0.0.0.0:8888 #监控页面的端口
40. mode http
41. transparent
42. stats refresh 30s #统计页面自动刷新时间
43. stats uri /haproxy-stats #监控页面的访问地址
44. stats realm Haproxy \ statistic #统计页面密码框上提示文本
45. stats auth haproxyadmin:haproxypass #统计页面用户名和密码设置
46. stats hide-version #隐藏统计页面上HAProxy的版本信息