Linux服务器有大量的TIME_WAIT状态

我们经常会遇到在服务器上看到大量的TIME_WAIT，它们占用进程不释放，最后会导致所有进程数被耗完，服务器负载增高等生产事故，具体是什么原因导致的呢？我们先来看看TCP的三次握手四次挥手都是怎样的一个过程。

TCP三次握手

三次握手的过程如下图：

具体的过程如下：
（1）、客户端主动发起连接，向服务端监听的端口发送SYN包和一个随机的序列seq到服务端；
（2）、服务端收到SYN包后，回复客户端，发送ACK包（收到的seq加1）和一个随机序列到客户端；
（3）、客户端收到ACK包后，回复服务端，发送一个ACK包（收到的seq加1）；

由上图可以看到具体的状态变化，值得注意的是SYN_RECV状态，有时候我们会发现服务器上有大量的SYN_RECV状态，看到这个一般就可以确定是著名的SYN泛洪攻击，它就是用大量的伪终端来连接服务端，服务端回复ACK（也就是步骤2），由于这些终端都不存在，所以就会在第二部卡住了，造成服务端有大量的SYN_RECV状态，不断的消耗TCP进程数，导致正常业务无法建立正常连接。详细过程请移步至百度百科。

TCP四次挥手

四次挥手的过程如下图：

具体过程如下：
（1）、客户端主动发起断开连接，发送FIN包到服务端；
（2）、服务端收到FIN包后回复ACK包给客户端；
（3）、服务端发起断开连接，发送FIN包到客户端；
（4）、客户端收到FIN包后回复ACK给服务端；

具体过程还是比较简单，详情可以由上图可知。这里要注意三个状态：CLOSE_WAIT、TIME_WAIT和FIN_WAIT2。
其中CLOSE_WAIT是出现在被动断开方，如上图就是服务端。如果服务端出现大量的CLOSE_WAIT状态，一般情况下是由于程序中没有正常调用close()关闭连接，所以出现这个问题一般是会结合开发一起找原因。

FIN_WAIT2状态会等待服务端发送SYN断开连接，如果服务端一直没有发送断开，客户端会等待tcp_fin_timeout时间断开socket连接，如果有大量的FIN_WAIT2状态，就要检查服务端的应用程序是否调用close()关闭连接，如果一时查不出原因，可以修改内核参数tcp_fin_timeout的时间，比如：net.ipv4.tcp_fin_timeout=30。

而对于TIME_WAIT，它只会出现在主动断开方，也就是上图中的客户端。之所以有TIME_WAIT这个状态而不是直接编程CLOSED状态主要有以下两个原因：
（1）、保证服务端能够正常收到最后一个ACK包，确保是正常断开，可靠释放；
（2）、防止数据错乱。假如没有这个TIME_WAIT状态，假设当前有一条连接，因某些原因先关闭，紧接着又以相同的四元组建立一条新的连接，由于TCP无法区分这两条连接有什么不同，就可能会发生这样的情况：发送数据可能会发送到上一条连接中，这就会出现一些数据混乱的问题。

TIME_WAIT状态有一个默认过期时间，默认是2MSL（最大生存时间），不同的操作系统默认的MSL是不一样的。如果有大量的TIME_WAIT，就会造成本地端口不释放，无法通过这个端口建立新的连接，如果本地端口都用完了，就会出现无法建立TCP连接来访问服务端了。

解决方法一般有两种（具体需要根据自身情况来定）:
1、调节内核参数，以CentOS为例，主要的参数有tcp_max_tw_buckets、tcp_tw_recycle、tcp_tw_reuse这三个配置项。
（1）、tcp_max_tw_buckets：该配置项用来防范简单的DoS攻击 ，在某些情况下，可以适当调大，但绝对不应调小。
（2）、tcp_tw_recycle：该配置项可用于快速回收处于TIME_WAIT状态的socket以便重新分配。默认是关闭的，必要时可以开启该配置。
（3）、tcp_tw_reuse：开启该选项后，kernel会复用处于TIME_WAIT状态的socket，当然复用的前提是“从协议角度来看，复用是安全的”。
2、修改应用程序。
（1）、将TCP短连接改造为长连接。通常情况下，如果发起连接的目标也是自己可控制的服务器时，它们自己的TCP通信最好采用长连接，避免大量TCP短连接每次建立/释放产生的各种开销；如果建立连接的目标是不受自己控制的机器时，能否使用长连接就需要考虑对方机器是否支持长连接方式了。
（2）、通过getsockopt/setsockoptapi设置socket的SO_LINGER选项。