Socket层实现系列 — connect()的实现

主要内容：connect()的Socket层实现、期间进程的睡眠和唤醒。

内核版本：3.15.2

我的博客：http://blog.csdn.net/zhangskd

应用层

int connect(int sockfd, const struct sockaddr *serv_addr, socklen_t addrlen);

Connects the socket referred to by the file descriptor sockfd to the address specified by serv_addr.

服务器端的socket会使用bind()来绑定IP和端口，客户端的socket则一般让系统自动选取IP和端口。

系统调用

connect()是由glibc提供的，声明位于include/sys/socket.h中，实现位于sysdeps/mach/hurd/connect.c中，

主要是用来从用户空间进入名为sys_socketcall的系统调用，并传递参数。sys_socketcall()实际上是所有

socket函数进入内核空间的共同入口。

SYSCALL_DEFINE2(socketcall, int, call, unsigned long __user *, args)
{
    ...
    switch(call) {
    ...
    case SYS_CONNECT:
        err = sys_connect(a0, (struct sockaddr __user *) a1, a[2]);
        break;
    ...
    }
    return err;
}

经过了socket层的总入口sys_socketcall()，现在进入sys_connect()。

SYSCALL_DEFINE3(connect, int, fd, struct sockaddr __user *, uservaddr, int, addrlen)
{
    struct socket *sock;
    struct sockaddr_storage address;
    int err, fput_needed;

    /* 通过文件描述符fd，找到对应的socket实例。
     * 以fd为索引从当前进程的文件描述符表files_struct实例中找到对应的file实例，
     * 然后从file实例的private_data成员中获取socket实例。
    */
    sock = sockfd_lookup_light(fd, &err, &fput_needed);
    if (!sock)
        goto out;

    /* 把套接字地址从用户空间拷贝到内核空间 */
    err = move_addr_to_kernel(uservaddr, addrlen, &address);
    if (err < 0)
        goto out_put;

    err = security_socket_connect(sock, (struct sockaddr *)&address, addrlen);
    if (err)
        goto out_put;

    /* 调用Socket层的操作函数，如果是SOCK_STREAM，则proto_ops为inet_stream_ops，
     * 函数指针指向inet_stream_connect()。
     */
    err = sock->ops->connect(sock, (struct sockaddr *)&address, addrlen, sock->file->f_flags);

out_put:
    fput_light(sock->file, fput_needed); /* 减少套接口文件的引用计数 */

out:
    return err;
}

Socket层

SOCK_STREAM套接口的socket层操作函数集实例为inet_stream_ops，其中主动建立连接的函数

为inet_stream_connect()。

const struct proto_ops inet_stream_ops = {
    .family = PF_INET,
    .owner = THIS_MODULE,
    ....
    .connect = inet_stream_connect,
    ...
};

int inet_stream_connect(struct socket *sock, struct sockaddr *uaddr, int addr_len, int flags)
{
    int err;

    lock_sock(sock->sk);
    err = __inet_stream_connect(sock, uaddr,addr_len, flags);
    release_sock(sock->sk);
    return err;
}

__inet_stream_connect()主要做了以下事情：

1. 检查socket地址长度和使用的协议族。

2. 检查socket的状态，必须是SS_UNCONNECTED或SS_CONNECTING。

3. 调用tcp_v4_connect()来发送SYN包。

4. 等待后续握手的完成：

如果socket是非阻塞的，那么就直接返回错误码-EINPROGRESS。

如果socket为阻塞的，就调用inet_wait_for_connect()，通过睡眠来等待。在以下三种情况下会被唤醒：

(1) 使用SO_SNDTIMEO选项时，睡眠时间超过设定值，返回0。connect()返回错误码-EINPROGRESS。

(2)  收到信号，返回剩余的等待时间。connect()返回错误码-ERESTARTSYS或-EINTR。

(3) 三次握手成功，sock的状态从TCP_SYN_SENT或TCP_SYN_RECV变为TCP_ESTABLISHED，

sock I/O事件的状态变化处理函数sock_def_wakeup()就会唤醒进程。connect()返回0。

/* Connect to a remote host. There is regrettably still a little TCP magic in here. */
int __inet_stream_connect(struct socket *sock, struct sockaddr *uaddr, int addr_len, int flags)
{
    struct sock *sk = sock->sk;
    int err;
    long timeo;

    /* socket地址长度错误 */
    if (addr_len < sizeof(uaddr->sa_family))
        return -EINVAL;

    /* socket的协议族错误 */
    if (uaddr->sa_family == AF_UNSPEC) {
        /* 如果使用的是TCP，则sk_prot为tcp_prot，disconnect为tcp_disconnect() */
        err = sk->sk_prot->disconnect(sk, flags);

        /* 根据是否成功断开连接，来设置socket状态 */
        sock->state = err ? SS_DISCONNECTING : SS_UNCONNECTED;
        goto out;
    }

    switch(sock->state) {
    default:
        err = -EINVAL; /* Invalid argument */
        goto out;

    case SS_CONNECTED: /* 此套接口已经和对端的套接口相连接了，即连接已经建立 */
        err = -EISCONN; /* Transport endpoint is already connected */
        goto out;

    case SS_CONNECTING: /* 此套接口正在尝试连接对端的套接口，即连接正在建立中 */
        err = -EALREADY; /* Operation already in progress */
        /* Fall out of switch with err, set for this state */
        break;

    case SS_UNCONNECTED: /* 此套接口尚未连接对端的套接口，即连接尚未建立 */
        err = -EISCONN;

        if (sk->sk_state != TCP_CLOSE)
            goto out;

        /* 如果使用的是TCP，则sk_prot为tcp_prot，connect为tcp_v4_connect() */
        err = sk->sk_prot->connect(sk, uaddr, addr_len); /* 发送SYN包 */
        if (err < 0)
            goto out;

        /* 发出SYN包后socket状态设为正在连接 */
        sock->state = SS_CONNECTING;

        /* Just entered SS_CONNECTING state; the only difference
         * is that return value in non-blocking case is EINPROGRESS,
         * rather than EALREADY.
         */
        err = -EINPROGRESS; /* Operation now in progress */
        break;
    }

    /* sock的发送超时时间，非阻塞则为0 */
    timeo = sock_sndtimeo(sk, flags & O_NONBLOCK);

    /* 发出SYN包后，等待后续握手的完成 */
    if ((1 << sk->sk_state) & (TCPF_SYN_SENT | TCPF_SYN_RECV)) {

        int writebias = (sk->sk_protocol == IPPROTO_TCP) &&
            tcp_sk(sk)->fastopen_req &&
            tcp_sk(sk)->fastopen_req->data ? 1 : 0;

        /* 如果是非阻塞的，那么就直接返回错误码-EINPROGRESS。
         * socket为阻塞时，使用inet_wait_for_connect()来等待协议栈的处理：
         * 1. 使用SO_SNDTIMEO，睡眠时间超过timeo就返回0，之后返回错误码-EINPROGRESS。
         * 2. 收到信号，就返回剩余的等待时间。之后会返回错误码-ERESTARTSYS或-EINTR。
         * 3. 三次握手成功，被sock I/O事件处理函数唤醒，之后会返回0。
         */
        if (! timeo || ! inet_wait_for_connect(sk,timeo, writebias))
            goto out;

       err = sock_intr_errno(timeo);
       /* 进程收到信号，如果err为-ERESTARTSYS，接下来库函数会重新调用connect() */
        if (signal_pending(current))
            goto out;
    }

    /* Connection was closed by RST, timeout, ICMP error or
     * another process disconnected us.
     */
    if (sk->sk_state == TCP_CLOSE)
        goto sock_error;

    sock->state = SS_CONNECTED; /* 更新socket状态为连接已建立 */
    err = 0; /* 清除错误码 */

out:
    return err;

sock_error:
    err = sock_error(sk) ?: -ECONNABORTED;
    sock->state = SS_UNCONNECTED;

     /* 如果使用的是TCP，则sk_prot为tcp_prot，disconnect为tcp_disconnect() */
    if (sk->sk_prot->disconnect(sk, flags)) /* 如果失败 */
        sock->state == SS_DISCONNECTING;

    goto out;
} 

static inline long sock_sndtimeo(const struct sock *sk, bool noblock)
{
    return noblock ? 0 : sk->sk_sndtimeo;
}

static inline int sock_intr_errno(long timeo)
{
    return timeo == MAX_SCHEDULE_TIMEOUT ? -ERESTARTSYS : -EINTR;
}

进程的睡眠

connect()的超时时间为sk->sk_sndtimeo，在sock_init_data()中初始化为MAX_SCHEDULE_TIMEOUT，

表示无限等待，可以通过SO_SNDTIMEO选项来修改。

static long inet_wait_for_connect(struct sock *sk, long timeo, int writebias)
{
    DEFINE_WAIT(wait);  /* 初始化等待任务 */

    /* 把等待任务加入到socket的等待队列头部，把进程的状态设为TASK_INTERRUPTIBLE */
    prepare_to_wait(sk_sleep(sk), &wait, TASK_INTERRUPTIBLE);
    sk->sk_write_pending += writebias;

    /* Basic assumption: if someone sets sk->sk_err, he _must_ change state of the socket
     * from TCP_SYN_*. Connect() does not allow to get error notifications without closing
     * the socket.
     */

    /* 完成三次握手后，状态就会变为TCP_ESTABLISHED，从而退出循环 */
    while ((1 << sk->sk_state) & (TCPF_SYN_SENT | TCPF_SYN_RECV)) {
        release_sock(sk); /* 等下要睡觉了，先释放锁 */

        /* 进入睡眠，直到超时或收到信号，或者被I/O事件处理函数唤醒。
         * 1. 如果是收到信号退出的，timeo为剩余的jiffies。
         * 2. 如果使用了SO_SNDTIMEO选项，超时退出后，timeo为0。
         * 3. 如果没有使用SO_SNDTIMEO选项，timeo为无穷大，即MAX_SCHEDULE_TIMEOUT，
         *      那么返回值也是这个，而超时时间不定。为了无限阻塞，需要上面的while循环。
         */
        timeo = schedule_timeout(timeo); 

        lock_sock(sk); /* 被唤醒后重新上锁 */

        /* 如果进程有待处理的信号，或者睡眠超时了，退出循环，之后会返回错误码 */
        if (signal_pending(current) || !timeo)
            break;

        /* 继续睡眠吧 */
        prepare_to_wait(sk_sleep(sk), &wait, TASK_INTERRUPTIBLE);
    }

    /* 等待结束时，把等待进程从等待队列中删除，把当前进程的状态设为TASK_RUNNING */
    finish_wait(sk_sleep(sk), &wait);
    sk->sk_write_pending -= writebias;
    return timeo;
}

进程的唤醒

三次握手中，当客户端收到SYNACK、发出ACK后，连接就成功建立了。

此时连接的状态从TCP_SYN_SENT或TCP_SYN_RECV变为TCP_ESTABLISHED，sock的状态发生变化，

会调用sock_def_wakeup()来处理连接状态变化事件，唤醒进程，connect()就能成功返回了。

sock_def_wakeup()的函数调用路径如下：

tcp_v4_rcv

tcp_v4_do_rcv

tcp_rcv_state_process

tcp_rcv_synsent_state_process

tcp_finish_connect

sock_def_wakeup

wake_up_interruptible_all

__wake_up

__wake_up_common

void tcp_finish_connect(struct sock *sk, struct sk_buff *skb)
{
    ...
    tcp_set_state(sk, TCP_ESTABLISHED); /* 在这里设置为连接已建立的状态 */
    ...
    if (! sock_flag(sk, SOCK_DEAD)) {
        sk->sk_state_change(sk); /* 指向sock_def_wakeup，会唤醒调用connect()的进程，完成连接的建立 */
        sk_wake_async(sk, SOCK_WAKE_IO, POLL_OUT); /* 如果使用了异步通知，则发送SIGIO通知进程可写 */
    }
}

static void sock_def_wakeup(struct sock *sk)
{
    struct socket_wq *wq; /* socket的等待队列和异步通知队列 */

    rcu_read_lock();
    wq = rcu_dereference(sk->sk_wq);

    if (wq_has_sleeper(wq)) /* 有进程阻塞在此socket上 */
        wake_up_interruptible_all(&wq->wait); /* 唤醒此socket上的所有睡眠进程 */

    rcu_read_unlock();
}

最终调用__wake_up_common()，由于nr_exclusive为0，会把此socket上所有的等待进程都唤醒。