QT源码分析：QTcpServer

最近在看有关IO复用方面的内容，自己也用标准c++库实现了select模型、iocp模型、poll模型。回过头来很想了解QT的socket是基于什么模型来实现的，所以看了QT关于TcpServer实现的相关源码，现在将所了解的内容记录下来，希望对感兴趣的朋友有所帮助。

1.我们先从QTcpServer的构造函数来看，下面是QTcpServer的构造函数原型：

QTcpServer::QTcpServer(QObject *parent)
    : QObject(*new QTcpServerPrivate, parent)
{
    Q_D(QTcpServer);
#if defined(QTCPSERVER_DEBUG)
    qDebug("QTcpServer::QTcpServer(%p)", parent);
#endif
    d->socketType = QAbstractSocket::TcpSocket;
}

　　我们可以看到首先创建了一个QTcpServerPrivate的参数类，在QT源码中，每一个类都有一个参数类，参数类的类名是：类名+Private，这个类主要放置QTcpServer类中会使用到的一些成员对象，而QTcpServer里面只会定义方法不会有成员对象了。然后构造函数内部实现很简单：

Q_D(QTcpServer);这个宏实际上就是取到QTcpServerPrivate对象的指针赋给变量d，

d->socketType = QAbstractSocket::TcpSocket;把套接字类型设置为Tcp。

那么第一步构造函数的工作就结束了。

2. 当我们调用listen函数以后，tcpserver就启动了，之后连接，接收数据和发送数据完成都可以通过信号来接收，那么QT具体是如何实现等待连接和等待接收数据的呢，对于不同平台又是怎么实现的，我们来分析一下listen函数做了什么工作。

（1）首先判断是否已是监听状态，是的话就直接返回。

Q_D(QTcpServer);
    if (d->state == QAbstractSocket::ListeningState) {

        qWarning("QTcpServer::listen() called when already listening");

        return false;

    }

　　

（2）设置协议类型，IP地址端口号等。

QAbstractSocket::NetworkLayerProtocol proto = address.protocol();
    QHostAddress addr = address;
#ifdef QT_NO_NETWORKPROXY
    static const QNetworkProxy &proxy = *(QNetworkProxy *)0;
#else
    QNetworkProxy proxy = d->resolveProxy(addr, port);
#endif
    delete d->socketEngine;

（3）创建socketEngine对象，socketEngine的类型是QAbstractSocketEngine，QAbstractSocketEngine定义了很多与原始套接字机制相似的函数如bind、listen、accept等方法，也实现了：waitForRead、writeDatagram、read等函数。所以可以看到我们调用QSocket的读写方法其实都是由QAbstractSocketEngine类来实现的。但是QAbstractSocketEngine本身是一个抽象类，是不能被实例化的，listen函数里面调用了QAbstractSocketEngine类的静态函数createSocketEngine来创建对象。

    d->socketEngine = QAbstractSocketEngine::createSocketEngine(d->socketType, proxy, this);
    if (!d->socketEngine) {
        d->serverSocketError = QAbstractSocket::UnsupportedSocketOperationError;
        d->serverSocketErrorString = tr("Operation on socket is not supported");
        return false;
    }

我们在来看一下createSocketEngine具体是怎么实现的：

QAbstractSocketEngine *QAbstractSocketEngine::createSocketEngine(QAbstractSocket::SocketType socketType, const QNetworkProxy &proxy, QObject *parent)
{
    return new QNativeSocketEngine(parent);
}

这个不是完整代码，但是前面的所有条件判断完后，最终就是调用这一句返回一个QNativeSocketEngine对象，QNativeSocketEngine继承了QAbstractSocketEngine 类，实现了QAbstractSocketEngine 的所有功能，在这个类的具体代码中我们可以看到一些做平台判断的代码，也可以找到与平台相关的套接字函数，我们可以看到QNativeSocketEngine的实现不只一个文件，有qnativesocketengine_unix.cpp、qnativesocketengine_win.cpp、qnativesocketengine_winrt.cpp。所以当你在windows平台编译程序的时候编译器包含的是qnativesocketengine_win.cpp文件，在linux下编译的时候包含的是qnativesocketengine_unix.cpp文件，所以QT通过一个抽象类和不同平台的子类来实现跨平台的套接字机制。

（4）回到TcpServer的listen函数，创建socketEngine对象以后，开始调用bind,listen等函数完成最终的socket设置。

#ifndef QT_NO_BEARERMANAGEMENT
    //copy network session down to the socket engine (if it has been set)
    d->socketEngine->setProperty("_q_networksession", property("_q_networksession"));
#endif
    if (!d->socketEngine->initialize(d->socketType, proto)) {
        d->serverSocketError = d->socketEngine->error();
        d->serverSocketErrorString = d->socketEngine->errorString();
        return false;
    }
    proto = d->socketEngine->protocol();
    if (addr.protocol() == QAbstractSocket::AnyIPProtocol && proto == QAbstractSocket::IPv4Protocol)
        addr = QHostAddress::AnyIPv4;

    d->configureCreatedSocket();

    if (!d->socketEngine->bind(addr, port)) {
        d->serverSocketError = d->socketEngine->error();
        d->serverSocketErrorString = d->socketEngine->errorString();
        return false;
    }

    if (!d->socketEngine->listen()) {
        d->serverSocketError = d->socketEngine->error();
        d->serverSocketErrorString = d->socketEngine->errorString();
        return false;
    }

（5）设置信号接收

    d->socketEngine->setReceiver(d);
    d->socketEngine->setReadNotificationEnabled(true);

setReceiver传入TcpServerPrivate对象，从函数名可以看出是设置一个接收信息的对象，所以当套接字有新信息时，就会回调TcpServerPrivate对象的相关函数来实现消息通知。设置完消息接收对象以后，调用setReadNotificationEnabled(true)来启动消息监听。这个函数的实现如下：

void QNativeSocketEngine::setReadNotificationEnabled(bool enable)
{
    Q_D(QNativeSocketEngine);
    if (d->readNotifier) {
        d->readNotifier->setEnabled(enable);
    } else if (enable && d->threadData->hasEventDispatcher()) {
        d->readNotifier = new QReadNotifier(d->socketDescriptor, this);
        d->readNotifier->setEnabled(true);
    }
}

我们看到这个函数是创建了一个QReadNotifier对象，而QReadNotifier的定义如下：

class QReadNotifier : public QSocketNotifier
{
public:
    QReadNotifier(qintptr fd, QNativeSocketEngine *parent)
        : QSocketNotifier(fd, QSocketNotifier::Read, parent)
    { engine = parent; }

protected:
    bool event(QEvent *) override;

    QNativeSocketEngine *engine;
};
bool QReadNotifier::event(QEvent *e)

{
    if (e->type() == QEvent::SockAct) {
        engine->readNotification();
        return true;
    } else if (e->type() == QEvent::SockClose) {
        engine->closeNotification();
        return true;
    }
    return QSocketNotifier::event(e);
}

　

我们可以看到QReadNotifier继承了QSocketNotifier，而QSocketNotifier是一个消息处理类，主要用来监听文件描述符活动的，也就是当文件描述符状态变更时则会触发相应信息，它可以监听三种状态：Read、Write、Exception。而我们这里用到的QReadNotifier它监听的是Read事件，也就是当套接字句柄有可读消息（连接信息也是可读信息的一种）时就会回调event函数，而在event里面回调了engine->readNotification();readNotification函数的实现如下：

void QAbstractSocketEngine::readNotification()
{
    if (QAbstractSocketEngineReceiver *receiver = d_func()->receiver)
        receiver->readNotification();
}

engine的readNotification又回调了receiver的readNotification函数，还记得我们上面说的吗，receiver实际上就是QTcpServerPrivate，所以到这里，QT实现了当有新的客户端连接时，通知QTcpServerPrivate对象的功能，所以我们看一下QTcpServerPrivated的readNotification实现：

void QTcpServerPrivate::readNotification()
{
    Q_Q(QTcpServer);
    for (;;) {
        if (pendingConnections.count() >= maxConnections) {
#if defined (QTCPSERVER_DEBUG)
            qDebug("QTcpServerPrivate::_q_processIncomingConnection() too many connections");
#endif
            if (socketEngine->isReadNotificationEnabled())
                socketEngine->setReadNotificationEnabled(false);
            return;
        }

        int descriptor = socketEngine->accept();
        if (descriptor == -1) {
            if (socketEngine->error() != QAbstractSocket::TemporaryError) {
                q->pauseAccepting();
                serverSocketError = socketEngine->error();
                serverSocketErrorString = socketEngine->errorString();
                emit q->acceptError(serverSocketError);
            }
            break;
        }
#if defined (QTCPSERVER_DEBUG)
        qDebug("QTcpServerPrivate::_q_processIncomingConnection() accepted socket %i", descriptor);
#endif
        q->incomingConnection(descriptor);

        QPointer<QTcpServer> that = q;
        emit q->newConnection();
        if (!that || !q->isListening())
            return;
    }
}

我们可以看到这个函数里面调用了socketEngine->accept();获取套接字句柄，然后传给q->incomingConnection(descriptor);创建QTcoSocket对象，最后发送emit q->newConnection();信号，这个信号有用过QTcpServer的应该就很熟悉了吧，所以QT通过内部消息机制实现了套接字的异步通信，而对外提供的函数即支持同步机制也支持异步机制，调用者可以选择通过信号槽机制来实现异步，也可以调用如：waitforread,waitforconnect等函数来实现同步等待，实际上waitforread等同步函数是通过函数内部的循环来检查消息标志，当标志为可读或者函数超时时则返回。

3.QSocketNotifier的实现

我们在上面说了通过QSocketNotifier，我们可以实现当套接字有可读或可写信号时调用event函数来实现异步通知。但是QSocketNotifier又是如何知道socket什么时候发生变化的呢。QSocketNotifier的实现和QT的消息处理机制是息息相关的，要完全讲清楚就必须讲到QT的消息机制，这个已经超出对QTcpServer的讨论了，当然我们还是可以把其中比较关键的代码抽取出来分析一下。首先不同平台的消息处理机制都是不一样的，所以QSocketNotifier在不同平台下的实现也是不一样的，我们首先来看一下windows平台下是如何实现的。

（1）注册SocketNotifier　

QSocketNotifier::QSocketNotifier(qintptr socket, Type type, QObject *parent)
    : QObject(*new QSocketNotifierPrivate, parent)
{
    Q_D(QSocketNotifier);
    d->sockfd = socket;
    d->sntype = type;
    d->snenabled = true;

    if (socket < 0)
        qWarning("QSocketNotifier: Invalid socket specified");
    else if (!d->threadData->eventDispatcher.load())
        qWarning("QSocketNotifier: Can only be used with threads started with QThread");
    else
        d->threadData->eventDispatcher.load()->registerSocketNotifier(this);
}

我们看到QSocketNotifier的构造函数里面需要传入socket句柄以及要监听的类型，read,write或者error。然后调用了QSocketNotifierPrivate的registerSocketNotifier函数把自己注册进去，这使得当有消息触发的时候可以调用这个对象的event函数。

（2）调用WSAAsyncSelect

在registerSocketNotifier函数里面会调用WSAAsyncSelect函数，这个函数的原型是：int PASCAL FAR WSAAsyncSelect (SOCKET s,HWND hWnd,unsigned int wMsg,long lEvent);

s 要监听的套接字句柄

hWnd 标识一个在网络事件发生时需要接收消息的窗口句柄.

wMsg 在网络事件发生时要接收的消息.

lEvent位屏蔽码，用于指明应用程序感兴趣的网络事件集合.

这个函数的作用是告诉操作系统当套接字发送改变时，发送一条消息给我们的应用程序，发送的消息内容就是我们传入的wMsg，QT在调用的时候传入了一个消息类型WM_QT_SOCKETNOTIFIER，所以当我们的应用程序接收到系统返回的WM_QT_SOCKETNOTIFIER类型的消息我们就知道是有某个套接字状态改变了。

（3）qt_internal_proc

qt_internal_proc是消息回调函数，当系统发送消息给程序后，会进入这个处理函数，在其中有一段代码用于处理WM_QT_SOCKETNOTIFIER消息的代码：

if (message == WM_QT_SOCKETNOTIFIER) {
        // socket notifier message
        int type = -1;
        switch (WSAGETSELECTEVENT(lp)) {
        case FD_READ:
        case FD_ACCEPT:
            type = 0;
            break;
        case FD_WRITE:
        case FD_CONNECT:
            type = 1;
            break;
        case FD_OOB:
            type = 2;
            break;
        case FD_CLOSE:
            type = 3;
            break;
        }
        if (type >= 0) {
            Q_ASSERT(d != 0);
            QSNDict *sn_vec[4] = { &d->sn_read, &d->sn_write, &d->sn_except, &d->sn_read };
            QSNDict *dict = sn_vec[type];

            QSockNot *sn = dict ? dict->value(wp) : 0;
            if (sn == nullptr) {
                d->postActivateSocketNotifiers();
            } else {
                Q_ASSERT(d->active_fd.contains(sn->fd));
                QSockFd &sd = d->active_fd[sn->fd];
                if (sd.selected) {
                    Q_ASSERT(sd.mask == 0);
                    d->doWsaAsyncSelect(sn->fd, 0);
                    sd.selected = false;
                }
                d->postActivateSocketNotifiers();
                const long eventCode = WSAGETSELECTEVENT(lp);
                if ((sd.mask & eventCode) != eventCode) {
                    sd.mask |= eventCode;
                    QEvent event(type < 3 ? QEvent::SockAct : QEvent::SockClose);
                    QCoreApplication::sendEvent(sn->obj, &event);
                }
            }
        }
        return 0;
}

这段代码的功能主要是检查事件类型，然后查询是哪个句柄的事件，通过句柄与事件类型可以关联到我们注册的对象，然后调用QCoreApplication::sendEvent给我们的对象发送事件，在这个函数里最终就是调用到QSocketNotifier的event函数。至此整个套接字从应用层到QT底层到系统API的整个流程就很清楚了。所以我们可以看到QT是通过WSAAsyncSelect来实现IO复用的，相比于select模型，这种模型是异步的，而且没有监听数量的上限。

讲完了windows平台的，我们在来看一下linux平台下的实现，第一步和windows的一样都是在QSocketNotifier构造函数里面注册对象本身用于接收事件。

（1）registerSocketNotifier

在这个函数里面主要是将对象和套接字句柄作为映射放入socketNotifiers里面。

QHash<int, QSocketNotifierSetUNIX> socketNotifiers;

（2）processEvents

这个函数是用于处理所有消息的，在这其中一段用于处理套接字相关

switch (qt_safe_poll(d->pollfds.data(), d->pollfds.size(), tm)) {
    case -1:
        perror("qt_safe_poll");
        break;
    case 0:
        break;
    default:
        nevents += d->threadPipe.check(d->pollfds.takeLast());
        if (include_notifiers)
            nevents += d->activateSocketNotifiers();
        break;
    }

（3）qt_safe_poll

qt_safe_poll调用了qt_ppoll，而qt_ppoll里面是如此定义的：

static inline int qt_ppoll(struct pollfd *fds, nfds_t nfds, const struct timespec *timeout_ts)
{
#if QT_CONFIG(poll_ppoll) || QT_CONFIG(poll_pollts)
    return ::ppoll(fds, nfds, timeout_ts, nullptr);
#elif QT_CONFIG(poll_poll)
    return ::poll(fds, nfds, timespecToMillisecs(timeout_ts));
#else
    return qt_poll(fds, nfds, timeout_ts);
#endif
}

这里可以通过QT_CONFIG的标志判断来采取其中一种实现，qt_poll是QT自己实现的函数，实际上采用的是select模式，在早期的版本中应该是用的select模式，QT5.7以后的版本采用了poll模式，我所用的版本是QT5.9用的就是poll模式，之所以使用poll取代select是因为select模式监听的套接字长度是用的定长的数组，所以在运行期是无法扩展的，只要套接字超过FD_SETSIZE就会返回错误，在Linux默认的设置中FD_SETSIZE为1024。

（4）activateSocketNotifiers

在processEvents函数中调用了qt_safe_poll来检查是否有套接字事件，如果有事件需要处理则调用activateSocketNotifiers函数，而这个函数中调用了QCoreApplication::sendEvent(notifier, &event);将消息回馈给QSocketNotifier。到此linux下的socket完整流程我们也知道了，在linux下可能采用select或者poll来实现io复用，具体要看你使用的版本。