netty百万连接跟踪记录

0、 启动客户端和服务端

# 测试环境： centos7 jdk8 2核16G
# 服务端启动
nohup java -Xmx8192m -Xms4096m -XX:+UseG1GC -XX:ParallelGCThreads=4 -jar SJJ1748PerformanceTest-1.0.jar 10000 K1 &

1、 too many openFiles 服务端和测试机都改一下

# 进程最大文件打开添加参数最大限制
vi /etc/security/limits.conf
* soft nofile 1000000
* hard nofile 1000000

# 全局限制 cat /proc/sys/fs/file-nr
echo 1200000 > /proc/sys/fs/file-max

2、 客户端问题汇总

# 客户机开不了这么多连接 ，可能的问题原因端口开放数
linux对外随机分配的端口是有限制,理论上单机对外端口数可达65535,但实际对外可建立的连接默认最大只有28232个
查看： cat /proc/sys/net/ipv4/ip_local_port_range
echo "net.ipv4.ip_local_port_range= 1024 65535">> /etc/sysctl.conf
sysctl -p

# ipv4设置
sysctl -w net.ipv4.tcp_tw_recycle=1 #快速回收time_wait的连接
sysctl -w net.ipv4.tcp_tw_reuse=1
sysctl -w net.ipv4.tcp_timestamps=1

3.可能的问题

# 如果发现自己的用例跑不上去，就看看linux日志
linux 日志
nf_conntrack: table full, dropping packet 表示防火墙的表满了，加大 nf_conntrack_max 参数
echo "net.nf_conntrack_max = 1000000">> /etc/sysctl.conf

# 2、 TCP: too many orphaned sockets 表示内存不太够，拒绝分配，一般就是TCP缓冲区内存不够用，调大一点
# cat /proc/sys/net/ipv4/tcp_mem
echo "net.ipv4.tcp_mem = 786432 2097152 16777216">> /etc/sysctl.conf
echo "net.ipv4.tcp_rmem = 4096 4096 16777216">> /etc/sysctl.conf
echo "net.ipv4.tcp_wmem = 4096 4096 16777216">> /etc/sysctl.conf
sysctl -p

4、 常规监控

# 查看某个端口的连接情况
netstat -nat|grep -i "$(jcmd|grep SJJ|awk '{print $1}')"|wc -l

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

# 网络接口的带宽使用情况
# glances工具
yum install -y glances
glances 控制台查看
glances -s 服务器模式查看