使用 ftrace 跟踪内核丢包问题定位的实践

本文分享自天翼云开发者社区《使用 ftrace 跟踪内核丢包问题定位的实践》，作者：f****n

数据包的丢失可能会导致性能下降或服务中断。为了诊断内核中是否有丢包问题，我们可以使用 ftrace 工具进行内核级别的跟踪，定位导致数据包丢失的原因。下面通过一个实际的例子，来展示如何使用 ftrace 来跟踪网络丢包的问题。

一、背景

在一个高流量的网络环境中，可能会发生数据包丢失。这种丢包可能是由于内核中的调度延迟、网络驱动问题或资源争用等原因导致的。通过分析内核的网络栈，可以帮助我们定位丢包的具体原因。

二、启用 ftrace 并开始跟踪

首先，确保你的系统已经启用了 ftrace。你可以通过以下命令检查系统是否支持 ftrace：ls /sys/kernel/debug/tracing如果返回了相关的文件和目录，说明系统支持 ftrace。

接下来，我们将使用 ftrace 跟踪内核中与网络相关的函数调用，查看是否有异常的情况发生。

三、跟踪 tcp 发送和接收

丢包通常与 TCP 发送和接收有关，因此我们首先从 tcp_sendmsg 和 tcp_recvmsg 函数入手。可以通过以下步骤开启 ftrace 跟踪：

选择跟踪点：

我们将跟踪 tcp_sendmsg 和 tcp_recvmsg
这两个函数，它们分别处理数据包的发送和接收。

打开
ftrace 调试接口：echo function >
/sys/kernel/debug/tracing/current_tracer

启用 tcp_sendmsg 和 tcp_recvmsg 跟踪：

在 ftrace 中，我们可以选择对特定的内核函数进行跟踪。我们将追踪 TCP 发送和接收相关的函数：

echo
tcp_sendmsg > /sys/kernel/debug/tracing/set_ftrace_filter

echo tcp_recvmsg > /sys/kernel/debug/tracing/set_ftrace_filter

开始跟踪：

启动 ftrace 来记录内核函数的调用。

echo 1
> /sys/kernel/debug/tracing/tracing_on

查看跟踪结果：

通过查看 /sys/kernel/debug/tracing/trace 文件，我们可以看到 tcp_sendmsg 和 tcp_recvmsg 函数的调用情况。

cat
/sys/kernel/debug/tracing/trace

这时，ftrace 会输出类似如下的内容：

<...>-1234
 [000] ....  10938.567892: tcp_sendmsg: skb=0x1234, len=1500,
dest=192.168.1.10

<...>-1234  [000] ....  10938.567895: tcp_sendmsg: skb=0x1235,
len=1500, dest=192.168.1.10

<...>-1234  [000] ....  10938.568002: tcp_recvmsg: skb=0x1236,
len=1500, src=192.168.1.10

每一条记录都包含了发送和接收数据包的具体信息，例如数据包的长度、源/目标ip等。

四、分析丢包现象

假设在跟踪结果中，我们注意到 tcp_sendmsg 和 tcp_recvmsg 的日志显示有发送的数据包，但接收端并没有相应的接收记录。通过分析这些日志，我们可以判断出以下几种可能性：

网络层丢包：

如果发送的数据包数量大于接收的数据包数量，可能是由于网络层的丢包。此时，可以查看其他网络设备的日志，如交换机、路由器等，确认是否存在网络丢包。

内核队列拥塞：

如果发送的数据包都显示成功发送，但由于内核网络栈中存在队列拥塞，接收端可能无法及时接收数据包。在 ftrace
中，我们还可以查看 tcp_retransmit_skb 函数的调用情况。如果这个函数被频繁调用，说明存在数据包重传，可能是由于网络拥塞或内核的调度延迟导致的。

可以通过以下命令启用 tcp_retransmit_skb 跟踪：

echo
tcp_retransmit_skb > /sys/kernel/debug/tracing/set_ftrace_filter

查看跟踪结果时，如果出现大量的重传记录，这就说明丢包发生的原因可能是网络拥塞或系统资源不足。

硬件问题：

如果数据包在网络接口上确实被成功发送，但没有到达接收端，可能是由于硬件问题（如网卡驱动故障或硬件故障）。此时可以通过查看 netif_receive_skb 和网卡驱动的 net_device 函数来分析是否存在硬件故障或驱动问题。

echo
netif_receive_skb > /sys/kernel/debug/tracing/set_ftrace_filter

五、禁用跟踪和清理

完成分析后，记得停止跟踪并清理 ftrace 配置，以较少对系统性能产生影响。

停止跟踪：echo
0 > /sys/kernel/debug/tracing/tracing_on

清理过滤器：echo >
/sys/kernel/debug/tracing/set_ftrace_filter

六、总结

通过使用
ftrace 工具跟踪内核中的网络函数调用，我们可以非常方便地分析网络丢包的问题。在本例中，我们通过跟踪
tcp_sendmsg 和 tcp_recvmsg 函数，结合
tcp_retransmit_skb 和 netif_receive_skb 等内核函数的日志，能够帮助我们快速定位丢包的原因。无论是网络拥塞、内核调度问题，还是硬件故障，ftrace 提供了一个非常强大的工具来诊断内核中的各类问题。