TCP的核心系列 — SACK和DSACK的实现（七）

我们发送重传包时，重传包也可能丢失，如果没有检查重传包是否丢失的机制，那么只能依靠超时来恢复了。

37版本把检查重传包是否丢失的部分独立出来，这就是tcp_mark_lost_retrans()。

在处理SACK块的同时，会检测是否有出现乱序，如果有乱序，那么会计算乱序的长度并更新。

本文主要内容：检查重传包是否丢失，以及乱序的检测和更新。

Author：zhangskd @ csdn

检查重传包是否丢失

tcp_mark_lost_retrans()用于检查重传的包是否丢失，2.6.22内核在检查重传包是否丢失时是有Bug的，

具体可见：http://projects.itri.aist.go.jp/gnet/sack-bug.html

Q: 怎么检查重传包是否丢失呢？

A: 我们知道，要发送数据时，是先发送重传包，之后才发送新包的。

如果重传包顺利到达接收端，当新包到达时，服务器端会收到一个对新包的正常确认。

如果重传包丢失了，当新包到达时，服务器端会收到一个对新包的选择性确认。

基于这个事实：

当重传一个包时，我们记录当时要发送的下一新包的序列号(当时的tp->snd_nxt)。

当我们收到SACK时，就检查新包是被正常ACK，还是被SACK。如果新包被SACK，

但是重传包还没有，就说明当时重传的包已经丢失了。

重传一个包时，会记录当时要发送的下一个新包的序号，即tp->snd_nxt。

int tcp_retransmit_skb(struct sock *sk, struct sk_buff *skb)
{
    ...

    /* 如果之前网络中没有重传包 */
    if (! tp->retrans_out)
        tp->lost_retrans_low = tp->snd_nxt;

    TCP_SKB_CB(skb)->sacked |= TCPCB_RETRANS; /* 打上R标记 */
    tp->retrans_out += tcp_skb_pcount(skb); /* 更新retrans_out */

    /* Save stamp of the first retransmit. */
    if (! tp->retrans_stamp)
        tp->retrans_stamp = TCP_SKB_CB(skb)->when;

    tp->undo_retrans++;

    /* snd_nxt is stored to detect loss of retransmitted segment,
     * see tcp_input.c tcp_sacktag_write_queue().
     * 就是在这里！把这时的snd_nxt保存到重传包的ack_seq。
     */
    TCP_SKB_CB(skb)->ack_seq = tp->snd_nxt;

    ...
}

检查重传包是否丢失，如果丢失了，重新打L标志。

/* Check for lost retransmit. */
static void tcp_mark_lost_retrans(struct sock *sk)
{
    const struct inet_connection_sock *icsk = inet_csk(sk);
    struct tcp_sock *tp = tcp_sk(sk);
    struct sk_buff *skb;
    int cnt = 0;
    u32 new_low_seq = tp->snd_nxt; /* 下一个要发送的新包序列号 */
    u32 received_upto = tcp_highest_sack_seq(tp); /* 被SACK过的最大序列号 */

    /* 使用这个方法的条件：
     * 使用FACK；有重传包；上次的最低snd_nxt被SACK；处于Recovery状态
     */
    if (! tcp_is_fack(tp) || ! tp->retrans_out || ! after(received_upto, tp->lost_retrans_low)
        || icsk->icsk_ca_state != TCP_CA_Recovery)
    return;

    tcp_for_write_queue(skb, sk) {
        /* 注意了：对于重传包来说，ack_seq其实是当时的snd_nxt */
        u32 ack_seq = TCP_SKB_CB(skb)->ack_seq;

        if (skb == tcp_send_head(sk)) /* 发送队列头了 */
            break;

        /* 我们关注的是重传的包，如果遍历完了，就退出 */
        if (cnt == tp->retrans_out)
            break;

        /* 不关心成功确认过的包 */
        if (! after(TCP_SKB_CB(skb)->end_seq, tp->snd_una))
            continue;

        /* 只关注重传包，必须有R标志才处理 */
        if (! (TCP_SKB_CB(skb)->sacked & TCPCB_SACKED_RETRANS))
            continue;

        /*
         * 如果重传包记录的snd_nxt被SACK了，那说明重传包丢了；否则应该在新包之前被确认才对。
         */
        if (after(received_upto, ack_seq)) {
            TCP_SKB_CB(skb)->sacked &= ~TCPCB_SACKED_RETRANS; /* 取消R标志 */
            tp->retrans_out -= tcp_skb_pcount(skb); /* 更新网络中重传包数量 */
            tcp_skb_mark_lost_uncond_verify(tp, skb); /* 给重传包打上LOST标志，并更新相关变量 */
            NET_INC_STATS_BH(sock_net(sk), LINUX_MIB_TCPLOSTRETRANSMIT);

        } else { /* 如果重传包对应的snd_nxt在最高SACK序列号之后 */
            if (before(ack_seq, new_low_seq))
                new_low_seq = ack_seq; /* 更新未检测的重传包对应的最小snd_nxt */
            cnt += tcp_skb_pcount(skb); /* 用于判断重传包是否检查完了 */
        }
    }

    /* 如果还有未检查完的重传包，那么更新未检测的重传包对应的最小snd_nxt */
    if (tp->retrans_out)
        tp->lost_retrans_low = new_low_seq;

}

给数据包打上LOST标志，更新相关变量。

static void tcp_skb_mark_lost_uncond_verify(struct tcp_sock *tp, struct sk_buff *skb)
{
    /* 更新重传过的包的最低、最高序号 */
    tcp_verfiy_retransmit_hint(tp, skb);

    /* 如果这个包还未打上L标志，且没有S标志 */
    if (! (TCP_SKB_CB(skb)->sacked & (TCP_LOST | TCPCB_SACKED_ACKED))) {
        tp->lost_out += tcp_skb_pcount(skb); /* 更新网络中丢失包数量 */
        TCP_SKB_CB(skb)->sacked |= TCPCB_LOST; /* 打上L标志 */
    }
}

/* This must be called before lost_out is incremented
 * 记录重传过的包的最低序号、最高序号。
 */
static void tcp_verify_retransmit_hint(struct tcp_sock *tp, struct sk_buff *skb)
{
    if ((tp->retransmit_skb_hint == NULL) || before(TCP_SKB_CB(skb)->seq,
        TCP_SKB_CB(tp->retransmit_skb_hint)->seq))
        tp->retransmit_skb_hint = skb;

    if (! tp->lost_out || after(TCP_SKB_CB(skb)->end_seq, tp->retransmit_high))
        tp->retransmit_high = TCP_SKB_CB(skb)->end_seq;
}

乱序处理

说明

Reordering metric is maximal distance, which a packet can be displaced in packet stream.

With SACKs we can estimate it:

1. SACK fills old hole and the corresponding segment was not ever retransmitted -> reordering.

Alas, we cannot use it when segment was retransmitted.

2. The last flaw it solved with D-SACK. D-SACK arrives for retransmitted and already SACKed segment

-> reordering..

Both of these heuristics are not used in Loss state, when we cannot account for retransmits accurately.

对于乱序，我们主要关注如何检测乱序，以及计算乱序的长度。

在tcp_sacktag_one()中有进行乱序的检测，那么在收到SACK或DSACK时怎么判断有乱序呢？

（1）skb的记分牌为S|R，然后它被DSACK。

我们想象一下，一个数据包乱序了，它滞留在网络的某个角落里。我们收到后续包的SACK，认为这个包丢失了，

进行重传。之后原始包到达接收端了，这个数据包被SACK了。最后重传包也到达接收端了，这个包被DSACK了。

（2）如果一个包落在highest_sack之前，它既没被SACK过，也不是重传的，那么它肯定是乱序了，到现在才被SACK。

如果检测到了乱序，那么乱序队列的长队为：tp->fackets_out - state.reord。

static void tcp_update_reordering(struct sock *sk, const int metric,
                                       const int ts)
{
    struct tcp_sock *tp = tcp_sk(sk);

    if (metric > tp->reordering) {
        int mib_idx;
        /* 更新reordering的值，取其小者*/
        tp->reordering = min(TCP_MAX_REORDERING, metric);

        if (ts)
            mib_idx = LINUX_MIB_TCPTSREORDER;
        else if (tcp_is_reno(tp))
            mib_idx = LINUX_MIB_TCPRENOREORDER;
        else if (tcp_is_fack(tp))
            mib_idx = LINUX_MIB_TCPFACKREORDER;
        else
            mib_idx = LINUX_MIB_TCPSACKREORDER;

        NET_INC_STATS_BH(sock_net(sk), mib_idx);
#if FASTRETRANS_DEBUG > 1
        printk(KERN_DEBUG "Disorder%d %d %u f%u s%u rr%d\n",
                   tp->rx_opt.sack_ok, inet_csk(sk)->icsk_ca_state,
                   tp->reordering, tp->fackets_out, tp->sacked_out,
                   tp->undo_marker ? tp->undo_retrans : 0);
#endif
        tcp_disable_fack(tp); /* 出现了reorder，再用fack就太激进了*/
    }
}

/* Packet counting of FACK is based on in-order assumptions, therefore
 * TCP disables it when reordering is detected.
 */
static void tcp_disable_fack(struct tcp_sock *tp)
{
    /* RFC3517 uses different metric in lost marker => reset on change */
    if (tcp_is_fack(tp))
        tp->lost_skb_hint = NULL;
    tp->rx_opt.sack_ok &= ~2; /* 取消FACK选项*/
}