提升10GbE网卡可用PCIe带宽及解决UDP丢帧问题的技术咨询

阿华AIGC实验室

2026-4-23

看起来你遇到了10GbE网卡在PCIe带宽受限下的UDP丢帧问题，我结合你的环境信息整理了针对性的分析和解决方案：

你的环境梳理

操作系统：Red Hat Enterprise Linux 8.0 (RHEL 8.0)
硬件平台：Dell 7920 Rack（8GB RAM，硬件配置锁定无法扩容）
网卡配置：Myricom 10G-PCIE2-8B2-2S双端口10GbE网卡，仅用于接收UDP流量；MTU固定为1500（对接设备不支持巨帧）；RX环形缓冲区已设为硬件最大值512（通过ethtool -g eth0确认）

[root]# iperf3 -s -V --udp-counters-64bit

[root]# iperf3 -u -V -b 0 --udp-counters-64bit -t 30 -c 192.168.0.1

[ 5] 0.00-30.04 sec 19.6 GBytes 5.61 Gbits/sec 0.004 ms 2002/14543900 (0.014%) receiver

仅达到~5.6 Gbps且存在丢帧；启用MTU=9000巨帧时可跑满~9.4 Gbps，但DUT不支持巨帧，此方案不可行。

从你提供的dmidecode、dmesg和lspci输出来看，核心瓶颈是网卡的PCIe链路速率被协商在2.5GT/s（PCIe 1.0标准），远低于插槽支持的PCIe 3.0（8GT/s），导致可用带宽仅16Gb/s，无法满足10GbE网卡的满负荷需求。

要提升PCIe带宽，核心是让网卡与插槽协商到更高的链路速率，你可以按以下步骤排查：

检查BIOS/UEFI设置：
重启服务器进入BIOS界面，找到PCIe相关配置项：
- 确认PCIe插槽的速率模式是否被强制设为"Gen1"，尝试改为"Auto"或"Gen3"；
- 检查是否有PCIe电源管理、链路协商限制的选项（比如"PCIe ASPM"），暂时禁用这类选项后重新协商；
- 部分Dell服务器有"Slot Power Limit"或"PCIe Link Speed"手动限制，确保这些选项未被锁定在低速率。
更换PCIe插槽测试：
当前网卡插在速率协商异常的插槽，尝试将网卡换到空闲的PCIe插槽（比如Slot4或Slot7，注意插槽的x16/x8规格），重启后用lspci -vv查看链路速率是否提升。
更新网卡固件：
Myricom官网提供对应型号的固件更新工具，老旧固件可能存在链路协商兼容性问题，更新后重新启动服务器再检查速率。
调整内核参数强制协商：
在/etc/default/grub的GRUB_CMDLINE_LINUX中添加参数：
```
pcie_aspm=off pcie_port_pm=off
```
然后执行对应启动方式的grub配置更新命令：
- BIOS启动：grub2-mkconfig -o /boot/grub2/grub.cfg
- UEFI启动：grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg
  重启后检查链路速率是否变化。

即使PCIe带宽提升，MTU=1500的UDP流量协议开销更高，你可以尝试以下优化手段减少丢帧：

开启MSI-X并调整中断参数：
当前网卡禁用了MSI-X（MSI-X: Enable-），开启它能提升中断处理效率：
- 临时开启：echo 1 > /sys/class/net/eth0/device/msi_bus（替换eth0为你的网卡接口名）
- 调整中断聚合参数：用ethtool -C eth0 rx-usecs 100 rx-frames 64（数值可根据实际情况调整），减少中断频率，降低CPU开销
增大UDP接收缓冲区：
系统默认UDP接收缓冲区可能不足，增大缓冲区能缓解突发流量丢帧：
- 临时调整：
```
sysctl -w net.core.rmem_max=8388608
sysctl -w net.core.rmem_default=8388608
```
- 永久生效：在/etc/sysctl.conf中添加上述两行，执行sysctl -p生效
优化iperf3测试参数：
你当前用-b 0无限制发送，尝试指定接近10Gbps的带宽并增大UDP报文长度，减少报文数量：
```
iperf3 -u -V -b 9G -l 1472 --udp-counters-64bit -t 30 -c 192.168.0.1
```
（-l 1472对应MTU=1500的最大UDP载荷，避免分片）
更新网卡驱动：
当前使用的myri10ge驱动，确认是否为RHEL 8.0官方提供的最新版本，或尝试Myricom官方驱动，新版本可能修复了丢帧相关的bug。