使用DPDK发送pcap文件数据包时接收端出现重复包问题排查

问题根源分析 #

出现该现象的核心原因是数据包mbuf被重复复用且未正确同步硬件发送状态：

• 发送端代码直接复用同一个mbuf结构存储前后两个数据包，虽然rte_pktmbuf_dump能看到修改前的第一个包内容，但DPDK网卡硬件的发送队列存在缓存机制，在无延迟的情况下，硬件还未完成第一个包的发送，代码就已经将mbuf的内容覆盖为第二个包的数据，导致硬件最终发送的是两次第二个包。
• 添加延迟后，硬件有足够时间完成第一个包的发送，mbuf被修改时不会影响已发出的数据包，因此问题消失。

解决方案 #

1. 为每个数据包创建独立的mbuf副本 #

避免直接复用从pcap读取的mbuf，通过rte_pktmbuf_clone或rte_pktmbuf_copy为每个待发送数据包创建独立的mbuf实例，确保数据内存不被后续操作覆盖：

// 假设已提前初始化mbuf内存池struct rte_mempool *mbuf_pool;

struct rte_mbuf *orig_mbuf, *tx_mbuf;
// 读取第一个数据包
if (rte_pcap_read(pcap_handle, &orig_mbuf) == 0) {
    // 克隆mbuf（共享数据缓冲区，效率高）
    tx_mbuf = rte_pktmbuf_clone(orig_mbuf, mbuf_pool);
    if (tx_mbuf != NULL) {
        // 发送克隆后的mbuf
        rte_eth_tx_burst(tx_port, 0, &tx_mbuf, 1);
    }
    // 释放原始pcap读取的mbuf
    rte_pktmbuf_free(orig_mbuf);
}

// 读取并发送第二个数据包
if (rte_pcap_read(pcap_handle, &orig_mbuf) == 0) {
    tx_mbuf = rte_pktmbuf_clone(orig_mbuf, mbuf_pool);
    if (tx_mbuf != NULL) {
        rte_eth_tx_burst(tx_port, 0, &tx_mbuf, 1);
    }
    rte_pktmbuf_free(orig_mbuf);
}

如果需要完全独立的数据缓冲区（避免共享内存带来的潜在问题），可替换为rte_pktmbuf_copy：

tx_mbuf = rte_pktmbuf_alloc(mbuf_pool);
if (tx_mbuf != NULL) {
    rte_pktmbuf_copy(tx_mbuf, orig_mbuf, orig_mbuf->pkt_len);
    rte_eth_tx_burst(tx_port, 0, &tx_mbuf, 1);
}

2. 同步硬件发送状态（可选，适用于必须复用mbuf的场景） #

如果因内存限制必须复用mbuf，需确保硬件已完成当前mb数据包的发送后，再修改mbuf内容：

struct rte_mbuf *mbuf;
uint16_t sent_count;

// 发送第一个包
rte_pcap_read(pcap_handle, &mbuf);
sent_count = rte_eth_tx_burst(tx_port, 0, &mbuf, 1);
// 等待发送队列清空（调试场景用，生产环境建议用非阻塞方式）
while (rte_eth_tx_queue_count(tx_port, 0) > 0) {
    rte_delay_us(10);
}
if (sent_count == 1) {
    rte_pktmbuf_free(mbuf);
}

// 发送第二个包（同理）
rte_pcap_read(pcap_handle, &mbuf);
sent_count = rte_eth_tx_burst(tx_port, 0, &mbuf, 1);
while (rte_eth_tx_queue_count(tx_port, 0) > 0) {
    rte_delay_us(10);
}
if (sent_count == 1) {
    rte_pktmbuf_free(mbuf);
}

额外检查项 #

• 确认网卡发送队列配置的大小是否足够，避免因队列溢出导致数据包被覆盖或丢弃；
• 生产环境建议使用批量发送（rte_eth_tx_burst一次发送多个包），减少系统调用开销，同时避免单个包发送的同步问题。

内容的提问来源于stack exchange，提问作者Anoop C