DPDK RX / TX Callbacks 源码阅读

这个sample是基于basicfw的。basicfw就是一个网口收到的包立即从另一个网口转发出去，非常简洁明了的程序，可以通过basicfw学习基础的DPDK发包API。RX / TX Callbacks 演示在接收和传输的数据包上使用用户定义的回调函数。

/* SPDX-License-Identifier: BSD-3-Clause
 * Copyright(c) 2010-2015 Intel Corporation
 */

#include <stdint.h>
#include <inttypes.h>
#include <rte_eal.h>
#include <rte_ethdev.h>
#include <rte_cycles.h>
#include <rte_lcore.h>
#include <rte_mbuf.h>

#define RX_RING_SIZE 1024
#define TX_RING_SIZE 1024

#define NUM_MBUFS 8191
#define MBUF_CACHE_SIZE 250
#define BURST_SIZE 32

static const struct rte_eth_conf port_conf_default = {
	.rxmode = {
		.max_rx_pkt_len = ETHER_MAX_LEN,
		.ignore_offload_bitfield = 1,
	},
};

static struct {
	uint64_t total_cycles;
	uint64_t total_pkts;
} latency_numbers;

/* 回调函数的函数指针的格式设定：
一、rx
typedef uint16_t(* rte_rx_callback_fn)(uint16_t port_id, uint16_t queue, struct rte_mbuf *pkts[], uint16_t nb_pkts, uint16_t max_pkts, void *user_param)
	参数：
	1. port id
	2. queue index
	3. 接收的 burst pkt 所存放的 rte_mbuf 的数组
	4. burst 中数据包的数量
	5. 可以存储在pkts数组中的最大数据包数。
	6. 最初配置回调时应用程序传入的任意用户参数

二、tx
typedef uint16_t(* rte_tx_callback_fn)(uint16_t port_id, uint16_t queue, struct rte_mbuf *pkts[], uint16_t nb_pkts, void *user_param)
	参数：
	1. port id
	2. queue index
	3. rte_mbuf的数组，里面的pkt即将被发送
	4. burst 中数据包的数量
	5. 最初配置回调时应用程序传入的任意用户参数
*/

// rx 队列的回调函数，添加接收时刻的时间戳
static uint16_t
add_timestamps(uint16_t port __rte_unused, uint16_t qidx __rte_unused,
		struct rte_mbuf **pkts, uint16_t nb_pkts,
		uint16_t max_pkts __rte_unused, void *_ __rte_unused)
{
	unsigned i;
	uint64_t now = rte_rdtsc(); // 用来获取时间戳计数器。

	for (i = 0; i < nb_pkts; i++)
		pkts[i]->udata64 = now; // 8字节用户数据
	return nb_pkts;
}

// tx 队列的回调函数，发送时计算时延
static uint16_t
calc_latency(uint16_t port __rte_unused, uint16_t qidx __rte_unused,
		struct rte_mbuf **pkts, uint16_t nb_pkts, void *_ __rte_unused)
{
	uint64_t cycles = 0;
	uint64_t now = rte_rdtsc();
	unsigned i;

	for (i = 0; i < nb_pkts; i++)
		cycles += now - pkts[i]->udata64; // 在main.c中的全局struct中记录收到的包数量和总时延
	latency_numbers.total_cycles += cycles;
	latency_numbers.total_pkts += nb_pkts;

	if (latency_numbers.total_pkts > (100 * 1000 * 1000ULL)) { // 每十亿个包计算平均时延
		printf("Latency = %"PRIu64" cycles\n",
		latency_numbers.total_cycles / latency_numbers.total_pkts);
		latency_numbers.total_cycles = latency_numbers.total_pkts = 0;
	}
	return nb_pkts;
}

/*
 * Initialises a given port using global settings and with the rx buffers
 * coming from the mbuf_pool passed as parameter
 */
static inline int
port_init(uint16_t port, struct rte_mempool *mbuf_pool)
{
	/*......*/
	/*上面的部分和basicfw是一摸一样的*/

	/* rte_eth_add_rx_callback() 这个API设定一个回调函数，特定 port id 和 rx queue index上每个收到的pkt（burst）都会进行突发调用。

	参数四个：
		1. port id
		2. queue index
		3. 回调函数的函数指针
		4. 传递给回调函数的参数指针

	返回值是一个指针，可以用于删除回调的API

	rte_eth_add_tx_callback()就是为 tx queue 上的发包配置回调函数。
	*/

	// 回调函数指针有统一的 typedef

	rte_eth_add_rx_callback(port, 0, add_timestamps, NULL);
	rte_eth_add_tx_callback(port, 0, calc_latency, NULL);

	return 0;
}

/*
 * Main thread that does the work, reading from INPUT_PORT
 * and writing to OUTPUT_PORT
 */

// lcore_main 与 basicfw 完全一样。
static  __attribute__((noreturn)) void
lcore_main(void)
{
	/*......*/
}

/* Main function, does initialisation and calls the per-lcore functions */

// main 函数也与 basicfw 一样。
int
main(int argc, char *argv[])
{
	/*......*/
}

执行情况

开了之后运行了一会，得到了输出。应该开一个外部的发包器比较好。

root@ubuntu:/home/chang/dpdk/examples/rxtx_callbacks/build# ./rxtx_callbacks -l 1 -n 4
EAL: Detected 8 lcore(s)
EAL: No free hugepages reported in hugepages-1048576kB
EAL: Multi-process socket /var/run/.rte_unix
EAL: Probing VFIO support...
EAL: PCI device 0000:02:01.0 on NUMA socket -1
EAL:   Invalid NUMA socket, default to 0
EAL:   probe driver: 8086:100f net_e1000_em
EAL: PCI device 0000:02:02.0 on NUMA socket -1
EAL:   Invalid NUMA socket, default to 0
EAL:   probe driver: 8086:100f net_e1000_em
EAL: PCI device 0000:02:03.0 on NUMA socket -1
EAL:   Invalid NUMA socket, default to 0
EAL:   probe driver: 8086:100f net_e1000_em
EAL: PCI device 0000:02:04.0 on NUMA socket -1
EAL:   Invalid NUMA socket, default to 0
EAL:   probe driver: 8086:100f net_e1000_em
Port 0 MAC: 00 0c 29 f7 4d 25
Port 1 MAC: 00 0c 29 f7 4d 2f

Core 1 forwarding packets. [Ctrl+C to quit]
Latency = 629 cycles
Latency = 787 cycles
^C

参考

sample guide：https://doc.dpdk.org/guides/sample_app_ug/rxtx_callbacks.html

API：ethdev, mbuf