虚拟环境下DPDK pktgen测试DPDK distributor收包失败问题

环境信息 #

• 主机系统：Ubuntu 22.04.1 LTS Jammy，8核
• 虚拟机系统：Ubuntu 22.04.1 LTS Jammy，8核4GB内存，DPDK版本22.07
• 关键操作：
  • 3个物理端口绑定至DPDK的uio_pci_generic驱动
  • Distributor启动命令：sudo ./dpdk-distributor -l 0-4 -n 1 --file-prefix=p1 -- -p f
  • Pktgen启动命令：sudo pktgen -l 5-6 -n 1 --file-prefix=p2 --proc-type auto --socket-mem 256 -- -P -m "[1:3].0" -s 0:smallFlows.pcap

具体排查步骤 #

1. 确认DPDK端口的一致性 #

• 执行dpdk-devbind.py --status，核对两个进程实际关联的端口：Distributor的-p f对应二进制111，即启用端口0、1、2，必须确保Pktgen指定的发送端口0属于这个范围，且PCI地址完全匹配。
• 启动Pktgen后，输入命令show port info 0，查看端口的PCI总线信息，确认和Distributor绑定的端口是同一个。

2. 检查端口链路状态 #

• 启动临时DPDK测试进程验证链路：sudo dpdk-testpmd -l 7 -n 1 --file-prefix=test -- -i，进入交互模式后输入port link show，确认目标端口处于up状态。
• 若为虚拟机虚拟端口，需确认主机侧虚拟网卡配置（如SR-IOV直通、macvtap）正确，且链路未断开。

3. 验证大页配置与内存分配 #

• 检查大页数量：grep HugePages_ /proc/meminfo，确保HugePages_Total满足两个DPDK进程的内存需求（Distributor默认内存+Pktgen指定的256MB）。
• 查看两个进程的启动日志，确认无EAL: No available hugepages类内存分配错误。

4. 核亲和性与资源隔离 #

• 确认Distributor（0-4核）和Pktgen（5-6核）的CPU核无重叠，且这些核未被系统其他高负载进程占用（用htop实时监控）。
• 检查虚拟机CPU拓扑映射是否正确，确保Pktgen指定的发送核（1、3）在虚拟机内是可正常调度的物理核。

5. 共享内存与进程隔离 #

• 两个进程使用了不同的--file-prefix（p1、p2），这能避免共享内存冲突，但需确认无其他残留DPDK进程占用端口：执行ps aux | grep dpdk，kill所有无关进程后重新测试。

6. Pktgen发送配置有效性 #

• 检查Pktgen启动输出，确认端口0已成功初始化，无端口绑定失败的错误提示。
• 验证pcap文件合法性：tcpdump -r smallFlows.pcap，确认文件包含有效数据包，无损坏或空包情况。

7. 验证Distributor收包逻辑 #

• 查看Distributor的启动日志，确认端口0已正常启动（含port 0 is up类提示）。
• 用dpdk-testpmd发送测试包：启动testpmd后输入start tx_first向端口0发包，观察Distributor的收包计数是否变化，排查是否为Pktgen发送逻辑问题。

内容的提问来源于stack exchange，提问作者Lasal Hettiarachchi