MIT 2012 分布式课程基础源码解析-底层通讯实现

本节内容和前节事件管理封装是息息相关的，本节内容主要包含的代码在connection{.h, .cc}中。

这里面最主要的有两个类:connection类和tcpsconn类，connetion类主要服务于单个套接字，包括套接字上的数据读取写入等，而tcpsconn类则是服务于套接字集合，如接收连接，更新失效套接字等。具体我们看头文件。

class chanmgr {
    public:
        virtual bool got_pdu(connection *c, char *b, int sz) = ;
        virtual ~chanmgr() {}
};

我们首先看到的是这个虚基类类，这个类会以委托的形式用在connection和tcpsconn类中，它只有一个方法即got_pdu，它在RPC实现中扮演着重要角色，后面使用的时候会再次介绍它。

connection类

 class connection : public aio_callback {
     public:
         //内部buffer类，主要用于接收/写入数据的buffer
         struct charbuf {
             charbuf(): buf(NULL), sz(), solong() {}
             charbuf (char *b, int s) : buf(b), sz(s), solong(){}
             char *buf;
             int sz;
             int solong; //amount of bytes written or read so far
         };
         //m1: chanmgr, f1: socket or file,
         connection(chanmgr *m1, int f1, int lossytest=);
         ~connection();

         int channo() { return fd_; }
         bool isdead();
         void closeconn();

         bool send(char *b, int sz);
         void write_cb(int s);
         void read_cb(int s);
         //增加/减少引用计数
         void incref();
         void decref();
         int ref();

         int compare(connection *another);
     private:

         bool readpdu();
         bool writepdu();

         chanmgr *mgr_;
         const int fd_;
         bool dead_;

         charbuf wpdu_; //write pdu
         charbuf rpdu_; //read pdu

         struct timeval create_time_;

         int waiters_;
         int refno_;
         const int lossy_;

         pthread_mutex_t m_;
         pthread_mutex_t ref_m_; //保护更新引用计数的安全性
         pthread_cond_t send_complete_;
         pthread_cond_t send_wait_;
 };

这段代码即是connetion类的定义，它继承至aio_callback，在上一节说过，aio_callback在事件管理类中作为回调类，读取或写入数据，现在connection类就相当于一个回调类。

我们从connection的构造函数中便可以得知。

connection::connection(chanmgr *m1, int f1, int l1)
: mgr_(m1), fd_(f1), dead_(false),waiters_(), refno_(),lossy_(l1)
{

    int flags = fcntl(fd_, F_GETFL, NULL);
    flags |= O_NONBLOCK;  //no blocking
    fcntl(fd_, F_SETFL, flags);
    //ignore信号
    signal(SIGPIPE, SIG_IGN);
    VERIFY(pthread_mutex_init(&m_,)==);
    VERIFY(pthread_mutex_init(&ref_m_,)==);
    VERIFY(pthread_cond_init(&send_wait_,)==);
    VERIFY(pthread_cond_init(&send_complete_,)==);

       VERIFY(gettimeofday(&create_time_, NULL) == );
       //事件管理类将本类作为回调类添加到相应的事件管理数组中
    PollMgr::Instance()->add_callback(fd_, CB_RDONLY, this);
}

那这个类的具体作用是啥呢？其实它就是用于在给定套接字上通信用的，对于发送数据，会发送直到数据发送完成为止，未发送完成则会将该事件添加到事件管理中，在下一轮事件循环中继续发送，这一点我们可以从send函数中看出：

bool
connection::send(char *b, int sz)
{
    ScopedLock ml(&m_);
    waiters_++;
    //当活着，且write pdu中还有数据时等待数据清空(发送完)
    while (!dead_ && wpdu_.buf) {
        VERIFY(pthread_cond_wait(&send_wait_, &m_)==);
    }
    waiters_--;
    if (dead_) {
        return false;
    }
    wpdu_.buf = b;
    wpdu_.sz = sz;
    wpdu_.solong = ;

    if (lossy_) {
        if ((random()%) < lossy_) {
            jsl_log(JSL_DBG_1, "connection::send LOSSY TEST shutdown fd_ %d\n", fd_);
            shutdown(fd_,SHUT_RDWR);
        }
    }

    //发送失败时
    if (!writepdu()) {
        dead_ = true;
        VERIFY(pthread_mutex_unlock(&m_) == );
        PollMgr::Instance()->block_remove_fd(fd_);
        VERIFY(pthread_mutex_lock(&m_) == );
    }else{
        if (wpdu_.solong == wpdu_.sz) {
        }else{
            //should be rare to need to explicitly add write callback
            //这会继续写，因为这会添加本类（回调），然后调用里面的回调函数write_cb,
            //就像是一个递归
            PollMgr::Instance()->add_callback(fd_, CB_WRONLY, this);
            while (!dead_ && wpdu_.solong >=  && wpdu_.solong < wpdu_.sz) {
                VERIFY(pthread_cond_wait(&send_complete_,&m_) == );
            }
        }
    }
    //清空写buffer
    bool ret = (!dead_ && wpdu_.solong == wpdu_.sz);
    wpdu_.solong = wpdu_.sz = ;
    wpdu_.buf = NULL;
    if (waiters_ > )
        pthread_cond_broadcast(&send_wait_);  //唤醒上面的等待
    return ret;
}

send

对于读取数据，则当rpdu_（read buffer）未满时继续读，读取完成后就是用chanmgr类的got_pdu处理读取后的数据。

注意发送数据/接收数据都会首先发送数据大小/接收数据大小，然后再做后续发送数据/接收数据的工作。

除了connection类的发送/接收数据的功能外，我们还看到一个私有变量refno_变量，该变量的作用是用于引用计数，引用计数是一种很常见的编程技巧，例如在python中，引用计数用于对象的管理，当引用计数为0时，对象便会销毁，这里的引用计数也是也是同样的道理，这一点可以从decref函数中得知

void
connection::decref()
{
    VERIFY(pthread_mutex_lock(&ref_m_)==);
    refno_ --;
    VERIFY(refno_>=);
    //当引用计数为0时，销毁对象
    if (refno_==) {
        VERIFY(pthread_mutex_lock(&m_)==);
        if (dead_) {
            VERIFY(pthread_mutex_unlock(&ref_m_)==);
            VERIFY(pthread_mutex_unlock(&m_)==);
            delete this;
            return;
        }
        VERIFY(pthread_mutex_unlock(&m_)==);
    }
    pthread_mutex_unlock(&ref_m_);
}

tcpscon类：

这个类则是用于管理connection的，我们先看它的定义

/**
 *  管理客户连接，将连接放入一个map中map<int, connection*>
 *
 */
class tcpsconn {
    public:
        tcpsconn(chanmgr *m1, int port, int lossytest=);
        ~tcpsconn();

        void accept_conn();
    private:

        pthread_mutex_t m_;
        pthread_t th_;
        int pipe_[];

        int tcp_; //file desciptor for accepting connection
        chanmgr *mgr_;
        int lossy_;
        std::map<int, connection *> conns_;

        void process_accept();
};

可看到里面定义了一个map，该map的key其实是connection类指针对应的套接字，我们看构造函数实现

tcpsconn::tcpsconn(chanmgr *m1, int port, int lossytest)
: mgr_(m1), lossy_(lossytest)
{

    VERIFY(pthread_mutex_init(&m_,NULL) == );

    struct sockaddr_in sin;
    memset(&sin, , sizeof(sin));
    sin.sin_family = AF_INET;
    sin.sin_port = htons(port);

    tcp_ = socket(AF_INET, SOCK_STREAM, );
    if(tcp_ < ){
        perror("tcpsconn::tcpsconn accept_loop socket:");
        VERIFY();
    }

    int yes = ;
    //设置TCP参数， reuseaddr, nodelay
    setsockopt(tcp_, SOL_SOCKET, SO_REUSEADDR, &yes, sizeof(yes));
    setsockopt(tcp_, IPPROTO_TCP, TCP_NODELAY, &yes, sizeof(yes));

    if(bind(tcp_, (sockaddr *)&sin, sizeof(sin)) < ){
        perror("accept_loop tcp bind:");
        VERIFY();
    }

    if(listen(tcp_, ) < ) {
        perror("tcpsconn::tcpsconn listen:");
        VERIFY();
    }

    jsl_log(JSL_DBG_2, "tcpsconn::tcpsconn listen on %d %d\n", port,
        sin.sin_port);

    if (pipe(pipe_) < ) {
        perror("accept_loop pipe:");
        VERIFY();
    }

    int flags = fcntl(pipe_[], F_GETFL, NULL);
    flags |= O_NONBLOCK;
    fcntl(pipe_[], F_SETFL, flags);  //无阻塞管道

    VERIFY((th_ = method_thread(this, false, &tcpsconn::accept_conn)) != );
}

该构造函数主要是初始化服务器端连接，然后创建一个线程来等待客户端的连接，后面处理客户端连接时，会将连接的客户端套接字添加到conns_的map中，即创建套接字到connection指针的对应关系，然后遍历conns_，清除死亡的connection，从而达到及时处理死亡连接的效果。