epoll ET模式陷阱分析

0. 前言

　　这篇文章主要记录在使用epoll实现NIO接入时所遇到的问题。

1. epoll简介

　　epoll是Linux下提供的NIO，其主要有两种模式，ET(Edge trige)和LT(Level trige)。在linux下使用man epoll手册即可知道这两种模式主要的区别：

　　ET：边缘触发，故名思议，所添加的描述符，只在当其改变状态的时候才会触发一次，就如同数电里面电平的边缘触发。

　　在man里面列举了一个例子，当一个fd添加到epoll中时，当有2KB数据到达时，epoll_wait会返回事件个数以及其fd，此时，当程序读取了1KB数据后继续调用epoll_wait，1）对于ET来说会继续等待，2）而LT则是继续触发返回。

2. epoll错误程序分析

　　下述为错误的示例：

 #include <sys/epoll.h>
 #include <unistd.h>
 #include <fcntl.h>
 #include <sys/types.h>
 #include <sys/socket.h>
 #include <errno.h>
 #include <string.h>

 #define MAX_BACKLOG    256
 #define MAX_EVENTS    1024

 static int SetNonBlock(int nFd)
 {
     int nOldOpt = fcntl(nFd, F_GETFD, );
     int nNewOpt = nOldOpt | O_NONBLOCK;

     return fcntl(nFd, F_SETFD, nNewOpt);
 }

 static void AddEvent(int nEpfd, int nFd)
 {
     struct epoll_event event;
     event.data.fd = nFd;
     event.events = EPOLLIN | EPOLLOUT | EPOLLRDHUP | EPOLLET;

     return epoll_ctl(nEpfd, EPOLL_CTL_ADD, &event);
 }

 int main(int argc, char const *argv[])
 {
     if (argc != )
     {
         printf("usage: CMD Port\n");
         exit(-);
     }

     int nPort = atoi(argv[]);
     if (nPort < )
     {
         printf("Port Invalid\n");
         exit(-);
     }

     int nSvrFd = socket(AF_INET, SOCK_STREAM, );
     //设置非阻塞
     SetNonBlock(nSvrFd);

     //绑定地址
     struct sockaddr_in addr;
     bzero(&addr, sizeof(addr));

     addr.sin_addr = ;
     addr.sin_port = htons(argv[]);
     addr.sin_family = htos(AF_INET);

     if ( != bind(nSvrFd, (struct sockaddr*)&addr, sizeof(addr)))
     {
         perror("Bind Failure:");
         exit(-);
     }

     //监听端口
     if ( != listen(nSvrFd, MAX_BACKLOG))
     {
         perror("Listen Failure:");
         exit(-);
     }

     int nEpfd = epoll_create();
     struct epoll_event events[MAX_EVENTS];

     AddEvent(nEpfd, nSvrFd);

     while ()
     {
         //等待事件到来
         int nReadyNums = epoll_wait(nEpfd, events, MAX_EVENTS, -);

         for (int i = ; i < nReadyNums; ++i)
         {
             if (events[i].data.fd == nSvrFd)
             {
                 //这里对于ET模式来说是有问题的
                 int nClientFd = accept(nSvrFd, NULL, NULL);
                 if (- != nClientFd)
                 {
                     //设置为非阻塞
                     SetNonBlock(nClientFd);
                     //添加事件监听
                     AddEvent(nEpfd, nClientFd);
                 }

             }  else
             {
                 //处理FD事件
             }
         }
     }

     return ;
 }

　　分析：这里的程序使用ET + 非阻塞，对于accept没有使用循环接收，则会导致当两个连接同时接入的时候，只触发一次，则accept一次，另外一个则停留在SYN队列中。当终端超时后发送FIN状态，这边只是将该连接标识为只读状态。并连接处于CLOSE_WAIT状态。当下一次接入的时候，触发epoll，这次accept的却是上一次的连接，这次的连接依然停留在SYN队列中。如果后续都是单次触发的话，则会导致后续交易都失败。

　　这里对KEEPALIVE选项做个补充，KEEPALIVE是用于检测到连接断开后有操作系统自动释放资源，但是并不会释放SYN队列里面的连接，也就是说，CLOSE_WAIT状态会被清除，但是问题还是存在，会把现象遮蔽了。

　　正确应该是在accept加上一个循环：

while ((nClientFd = accept(nSvrFd, NULL, NULL)) > )
{
     //设置为非阻塞
     SetNonBlock(nClientFd);
     //添加事件监听
     AddEvent(nEpfd, nClientFd);
}

3. 总结

　　对于ET模式+非阻塞，无论是recv还是accept，都需要加上循环处理