AF_XDP教程修改后UMEM接收数据包大量丢包问题求助

1. 修复TCP头解析的错误逻辑 #

你的process_packet函数中，直接通过(struct tcphdr *) (ip + 1)获取TCP头存在致命错误：IP头长度是可变的（由ip->ihl字段决定，单位为4字节），当IP包带有选项时，IP头长度会超过默认20字节，这会导致你错误解析后续字段，把合法TCP包判定为无效，进而可能引发缓冲区无法回收的连锁问题。

修复后的代码：

static bool process_packet(struct xsk_socket_info *xsk,
                           uint64_t addr, uint32_t len)
{
    uint8_t *pkt = xsk_umem__get_data(xsk->umem->buffer, addr);

    struct ethhdr *eth = (struct ethhdr *) pkt;
    if (ntohs(eth->h_proto) != ETH_P_IP) {
        return false;
    }

    struct iphdr *ip = (struct iphdr *) (eth + 1);
    // 检查IP头长度合法性
    if (ip->ihl < 5 || len < (sizeof(*eth) + ip->ihl * 4)) {
        return false;
    }

    if (ip->protocol != IPPROTO_TCP) {
        return false;
    }

    // 计算TCP头的正确位置
    uint8_t *ip_end = (uint8_t *)ip + ip->ihl * 4;
    struct tcphdr *tcp = (struct tcphdr *)ip_end;
    // 检查TCP包总长度合法性
    if (len < (sizeof(*eth) + ip->ihl * 4 + sizeof(*tcp))) {
        return false;
    }

    // 在这里添加你的TCP统计逻辑，比如递增计数器
    // tcp_count++;

    return true;
}

2. 强制回收所有缓冲区，避免RX Ring耗尽 #

如果你的程序逻辑是仅对process_packet返回true的包回收缓冲区，那么所有被判定为无效的包（非IP、非TCP、格式错误）会持续占用UMEM缓冲区，导致RX Ring很快被耗尽，内核无法继续投递新包，最终引发大量丢包。

不管包是否符合TCP条件，处理完成后必须将缓冲区放回RX Ring：

// 示例：在RX包处理循环中
uint32_t nb_pkts = xsk_ring_cons__peek(&xsk->rx, MAX_PKTS_PER_BATCH, &idx);
for (int i = 0; i < nb_pkts; i++) {
    struct xdp_desc *desc = xsk_ring_cons__rx_desc(&xsk->rx, idx + i);
    // 执行统计逻辑
    process_packet(xsk, desc->addr, desc->len);
    // 强制回收缓冲区
    xsk_ring_prod__submit(&xsk->rx, 1, &(idx + i));
}

3. 处理双向流量，恢复网络连通性 #

你修改BPF程序将所有包重定向到AF_XDP后，原本走内核协议栈的流量（比如服务器SYN-ACK响应、ARP包）会被滞留在用户态，导致网络连接无法建立。

• 若仅需统计TCP包：修改BPF程序，只将入站TCP包重定向到AF_XDP，其他包直接放行（return XDP_PASS），保留正常网络栈处理逻辑。
• 若必须拦截所有流量：在用户态实现包转发逻辑，将需要发回网络的包通过TX Ring发送回网卡，示例逻辑：

static void forward_packet(struct xsk_socket_info *xsk, uint64_t addr, uint32_t len) {
    uint8_t *pkt = xsk_umem__get_data(xsk->umem->buffer, addr);
    struct ethhdr *eth = (struct ethhdr *)pkt;
    // 交换源/目的MAC地址，实现基础转发
    uint8_t tmp[ETH_ALEN];
    memcpy(tmp, eth->h_source, ETH_ALEN);
    memcpy(eth->h_source, eth->h_dest, ETH_ALEN);
    memcpy(eth->h_dest, tmp, ETH_ALEN);

    // 将包放入TX Ring发送
    uint32_t tx_idx;
    if (xsk_ring_prod__reserve(&xsk->tx, 1, &tx_idx) == 1) {
        struct xdp_desc *tx_desc = xsk_ring_prod__tx_desc(&xsk->tx, tx_idx);
        tx_desc->addr = addr;
        tx_desc->len = len;
        xsk_ring_prod__submit(&xsk->tx, 1, &tx_idx);
    }
}

4. 调整Ring与UMEM大小，适配全量流量 #

默认的RX/TX Ring大小不足以应对全量包重定向场景，需增大缓冲区配置：

• 创建XSK套接字时，指定更大的Ring尺寸（比如4096）：

struct xsk_socket_config config = {
    .rx_size = 4096,
    .tx_size = 4096,
    // 保留其他默认配置
};

• 确保UMEM总容量足够：UMEM大小至少为(rx_size + tx_size) * XSK_UMEM_FRAME_SIZE（默认FRAME_SIZE为4096字节）。

5. 优化用户态处理速度，减少丢包 #

若用户态处理速度跟不上内核投递速度，会导致RX Ring溢出丢包：

• 采用批量处理：每次从RX Ring读取多个包（比如64个），减少系统调用开销。
• 启用忙轮询：通过xsk_socket__poll的XSK_BUSY_POLL标志，降低上下文切换延迟。
• 精简process_packet逻辑：避免不必要的内存拷贝或冗余计算。

内容的提问来源于stack exchange，提问作者decoded051