无root权限时，如何限制跨节点RDMA程序的最大IB带宽？

以下是几个无需sudo权限的可行方案：

1. 用IB流量注入工具抢占链路带宽 #

利用OFED套件自带的用户态IB测试工具（无需root权限即可运行），通过在同一条IB链路上注入额外流量，挤占目标RDMA程序的可用带宽。常用工具包括：

• ib_send_bw：测试发送带宽
• ib_write_bw：测试写带宽
• ib_read_bw：测试读带宽

操作示例： #

1. 在目标节点或同链路的其他节点上，运行流量注入工具，指定与目标RDMA程序相同的IB设备和服务级别（SL）：

   # 以ib_write_bw为例，指定设备为mlx5_0，SL为0，包大小65536
   ib_write_bw -d mlx5_0 -S 0 -s 65536
   

2. 若需要更精准的带宽限制，可以多开几个工具实例，或者调整工具的发送速率参数（部分版本支持--rate选项，单位为Mbps）。
3. 启动目标RDMA程序，此时它的可用带宽会被注入的流量挤占，达到模拟受限带宽的效果。

注意：确保注入工具与目标程序使用相同的IB端口和服务级别，否则流量不会共享同一带宽池。

2. 在RDMA程序内部实现速率限制 #

如果你有权限修改目标RDMA程序的源码，可以直接在程序中加入速率控制逻辑，无需依赖外部工具：

• 使用令牌桶算法：预先设定带宽阈值，每次发送数据前消耗令牌，令牌不足则等待，以此控制发送速率。
• 简单延迟控制：统计每轮发送的数据量，计算所需的间隔时间，在发送循环中加入sleep()或高精度延迟（如nanosleep()）来限制发送频率。

示例伪代码（C语言）：

// 假设限制为1Gbps，计算每发送1MB数据的延迟时间
const double target_bps = 1e9;
size_t data_size_per_send = 1024*1024;
double delay_sec = (data_size_per_send * 8) / target_bps;

while (running) {
    rdma_send(...); // 发送数据
    nanosleep(&(struct timespec){.tv_sec = 0, .tv_nsec = delay_sec * 1e9}, NULL);
}

3. 利用IB用户态流量控制参数 #

部分高端IB卡（如Mellanox ConnectX系列）支持在用户态配置QP（队列对）的流量控制参数，通过限制QP的发送速率来模拟带宽受限：

1. 使用ibv_devinfo查看设备是否支持用户态速率限制：

   ibv_devinfo -d mlx5_0 | grep "rate"
   

2. 在创建QP时，设置qp_attr中的max_send_wr或相关速率限制属性（具体参数需参考设备文档）。

局限性说明 #

• 流量注入法的带宽限制精度受链路波动影响，需多次测试取平均值；
• 内部速率控制法仅适用于你能修改源码的程序；
• 用户态流量控制依赖硬件支持，不同IB卡的参数可能存在差异。

内容的提问来源于stack exchange，提问作者Lykke