一些通用性的haproxy调优tips

一、硬件和系统

haproxy是单线程，非阻塞，事件驱动，所以会最大化利用单个CPU内核，选择haproxy的硬件时要关注如下：

 

1.选择CPU的时候，选择高主频，大缓存的型号，比内核数更重要

2.选择支持多队列的网卡，将网卡中断做"CPU亲和"（推荐Intel 服务器网卡，例如I350AM4,4端口千兆,每个端口8条RX,8条TX队列;CPU亲和可使用Intel驱动源码中的set_irq_affinity.sh脚本）

3.根据haproxy官方文档，将Haproxy和网卡中断绑定在同一个cpu，不同的core上能获得最佳性能，例如: 网卡绑定在CPU0的core0，则haproxy进程绑定在CPU0的core1上效果最佳。因为他们可以尽可能的利用CPU cycle，同时可以共享CPU L3内存。可以使用如下方法确认同在一个物理CPU的内核:

]# cat /sys/bus/cpu/devices/cpu0/topology/core_siblings_list 
0-3,8-11
本例中，core0-3,8-11在同一个物理CPU上，共享CPU L3内存。

4.请务必禁用或删除IRQ Balance

5.如果连接频率非常高(> 5K/s),避免使用虚拟机运行haproxy

6.尽量避免使用iptables conntrack，会影响性能

7.尽量避免将比较占用cpu的进程与haproxy或者网卡中断绑定在同一个core上运行，尤其是在SSL Offload这种场景下，例如如下一些:

backup clients

munin client

nagios plugins or clients

snmpd / net-snmp

syslog / rsyslogd / syslog-ng

zabbix clients

可以使用taskset来将上述进程绑定到不同的core上去。

8.如果使用SSL Offload功能，请选择openssl的1.0.2的分支，这个分支对于Intel xeon的avx2,ADCX, ADOX, MULX等指令进行过优化，可以最大化利用CPU的特性。

 

二、针对短连接的系统调整(红色部分比较重要)

用来建立连接的本地端口范围，越大越好,默认"32768 61000",推荐"1024 65024"   

net.ipv4.ip_local_port_range  = 1025 65534

 

支持高连接率，默认"1024",推荐"100000"

net.ipv4.tcp_max_syn_backlog = 100000

net.core.netdev_max_backlog = 100000

 

对于向外建立的连接，允许重复使用同一个本地源端口，默认"0",推荐"1"

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

 

每个socket所能允许的尚未被haproxy接受或处理的未完成连接请求数量，默认"128",推荐"65534"

net.core.somaxconn = 65534

 

增大文件句柄数

# cat /proc/sys/fs/file-nr

fs.file-max = 65535

 

net.ipv4.tcp_fin_timeout = 10

net.ipv4.tcp_syncookies = 0

 

三、针对长连接的系统调整

用来建立连接的本地端口范围，越大越好,默认"32768 61000",推荐"1025 65534"   

net.ipv4.ip_local_port_range  = 1025 65534

 

每个TCP连接分配的接收和发送缓冲

# memory allocation min/pressure/max.

# read buffer, write buffer, and buffer space

net.ipv4.tcp_rmem = 10000000 10000000 10000000

net.ipv4.tcp_wmem = 10000000 10000000 10000000

net.ipv4.tcp_mem = 10000000 10000000 10000000

 

net.core.rmem_max = 11960320

net.core.wmem_max = 11960320

net.core.rmem_default = 11960320

net.core.wmem_default = 11960320

net.core.optmem_max = 11960320

net.core.netdev_max_backlog = 300000

 

# turn off selective ACK and timestamps

net.ipv4.tcp_sack = 0

net.ipv4.tcp_timestamps = 0

 

#默认情况下，此参数为1，将大幅削减空闲连接时的CWnd，对长连接如SSL产生负面影响。将其设置为0，可以显著提高性能。

net.ipv4.tcp_slow_start_after_idle = 0

 

四、haproxy的多进程

 

haproxy可以运行多进程，但是官方不太推荐。

 

多进程的好处: 

• 专核专用:  每个进程绑定一个内核，每个进程可以专用于一种任务(或者应用，或者协议)，例如: 1个进程专门处理HTTP，另一个进程专门处理MySQL
• 向上扩展:  可以通过增加CPU核数，增加计算容量
• SSL offload：  SSL生成key的能力与进程数线性相关，但TLS session resumption 超过3个进程则收益甚微。

多进程的缺点:

• 每个进程有自己的内存区域，意味着:
• debug模式不能在multi-process模式下工作
• frontend和相关的backend必须运行在同一进程内
• stick-table同步不能兼容，即peers指令不可用
• 存储在每个进程本地的内存信息不能共享: stick-table和tracked counter，stats状态信息，server的maxconn，connection rate
• 每个haproxy进程都会做health check: 后端的backend会被每个haproxy进程探测死活，一个service在不同进程内可能会有短暂的不同状态
• 配置文件会更复杂

如果对stats严重需要，可以针对每个haproxy进程做一个stats。

 

global

    nbproc 4

    cpu-map 1 0     # 前一个数字是进程号，后一个数字是CPU内核的号

    cpu-map 2 1

    cpu-map 3 2

    cpu-map 4 3

 

可以将不同任务绑定到不同的内核上独立执行

frontend access_http

   bind 0.0.0.0:80

   bind-process 1

frontend access_https

   bind 0.0.0.0:443 ssl crt /etc/yourdomain.pem

   bind-process 2 3 4

 

五、网卡驱动方面

 

[chloe@biru ~]$ lspci

 07:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)

 

[chloe@biru ~]$ grep 0700 /proc/bus/pci/devices

0700    808610fb        28              d590000c                       0                    ecc1                       0                d58f800c                       0                       0                   80000                       0                      20                       0                    4000                  0                0        ixgbe

 

[chloe@biru ~]$ setpci -v -d 8086:10fb e6.b=2e

 

 

关闭Intel 网卡的LRO功能

]# ethtool -K eth0 lro off

]#ethtool -K eth1 lro off

 

参考文档:

1.https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/5/html/Tuning_and_Optimizing_Red_Hat_Enterprise_Linux_for_Oracle_9i_and_10g_Databases/chap-Oracle_9i_and_10g_Tuning_Guide-Setting_File_Handles.html

2.http://dak1n1.com/blog/7-performance-tuning-intel-10gbe/

3.http://fibrevillage.com/sysadmin/91-tcp-performance-tuning-10g-nic-with-high-rtt-in-linux

4.http://nguyendangquockhanh.blogspot.hk/2013/12/tcp-tuning-10gb-network-cards-on-linux.html

5.http://www.intel.co.uk/content/dam/doc/application-note/82575-82576-82598-82599-ethernet-controllers-interrupts-appl-note.pdf

6.http://blog.yufeng.info/archives/2037

7.http://ju.outofmemory.cn/entry/94177

8.https://greenhost.nl/2013/04/10/multi-queue-network-interfaces-with-smp-on-linux/

9.http://support.citrix.com/article/CTX12

10.http://www.slideshare.net/Severalnines/haproxy-mysql-slides

11.http://blog.onefellow.com/post/82478335338/haproxy-mapping-process-to-cpu-core-for-maximum

12.http://www.jdon.com/performance/mobile-linux.html

13.http://www.cagataygurturk.com/using-haproxy-in-multicore-environments/

14.http://www.lognormal.com/blog/2012/09/27/linux-tcpip-tuning/

15.https://www.haproxy.com/doc/hapee/1.5/system/tunning.html

16.https://software.intel.com/zh-cn/articles/improving-openssl-performance

17.http://blog.haproxy.com/2011/09/16/benchmarking_ssl_performance/

18.https://software.intel.com/zh-cn/articles/accelerating-ssl-load-balancers-with-intel-xeon-v3-processors

19.https://software.intel.com/en-us/articles/accelerating-ssl-load-balancers-with-intel-xeon-e5-v4-processors

阅读原文