Mellanox网卡环回配置下无法监控发送速率问题求助

1. 内部环回的流量路径不经过物理发送链路 #

ConnectX-4的环回配置如果是内部环回模式，发送端的RDMA数据不会走物理端口的发送通道（PHY层、物理发送队列），而是在网卡内部交换结构里直接转发到接收端的接收队列。

• tcpdump、nload这类工具都是监控物理端口的收发流量，要么抓经过物理链路的包，要么读取网卡驱动上报的物理端口统计。既然发送数据根本没碰物理发送链路，这些工具自然抓不到发送速率。

2. RDMA的硬件卸载绕开了内核监控点 #

RDMA是完全硬件卸载的协议，发送操作全程由网卡硬件完成，完全绕开了操作系统的内核网络栈：

• 普通网络监控工具依赖内核网络栈的统计信息，但RDMA的发送流量不会经过这些栈，所以系统统计里不会记录发送数据的相关指标。

3. 工具本身的监控范围限制 #

• tcpdump只能抓取经过网络接口物理层的数据包，内部环回的包不会出现在这个抓包点上；
• nload是读取/proc/net/dev这类系统文件的统计数据，而这些数据只统计经过内核网络栈或物理端口的流量，RDMA内部环回的流量不会被计入发送统计项。

验证与解决方向 #

• 用Mellanox官方工具查看内部统计：比如ibstat、ibv_devinfo可以查看网卡端口的RDMA专属收发统计，能看到真实的发送速率；
• 改用物理线缆环回：如果用网线直接连接两个端口，数据会完整经过物理发送和接收链路，此时tcpdump、nload就能看到双向速率了。

内容的提问来源于stack exchange，提问作者Advait Danade