Infiniband RDMA多线程场景下如何为每个线程创建独立Completion Queue

问题根源 #

你当前所有worker线程共用同一个QP绑定的全局CQ，所有post到该QP的WR的完成事件都会上报到这同一个CQ中，因此任意线程poll CQ时都可能拿到其他线程提交的WR的完成事件，自然会出现混淆。

可行解决方案 #

以下是两种生产环境常用的实现方案，可根据业务场景选择：

方案1：单CQ + wr_id路由（轻量改造，改造成本极低） #

该方案无需修改现有RDMA连接配置，仅调整业务逻辑即可实现事件隔离：

• 为每个worker线程分配唯一的线程标识，post send时将wr.wr_id设置为「线程标识 + 业务自定义信息」的组合，不要统一写为conn指针
• 启动独立的专用CQ poll线程，轮询全局CQ获取完成事件，根据wc中的wr_id将事件分发到对应worker线程的本地无锁队列中
• 每个worker线程仅从自己的本地队列拉取完成事件，无需直接poll全局CQ
• 优点：无需调整RDMA资源配置，改代码即可上线；缺点：多了一次事件分发的中转开销，适合线程数不多、对性能要求不是极致的场景

方案2：每线程独立CQ + 独立QP（完全隔离，性能最优） #

如果你提到的「同一个连接」是指和同一个远端节点通信，不需要强制共用同一个本地QP，该方案是行业通用的多线程RDMA开发最佳实践：

• 初始化阶段为每个worker线程单独调用ibv_create_cq创建专属CQ，CQ深度设置为单线程最大 Outstanding WR 数的1.2~1.5倍即可
• 为每个worker线程单独创建QP，将该QP的send_cq和recv_cq都绑定到该线程的专属CQ上，再将这些QP和远端节点的对应QP完成建路（RDMA支持同一个本地节点和同一个远端节点之间建立多个独立QP连接，互相完全不干扰）
• 每个worker线程仅往自己专属的QP上post send请求，仅poll自己专属的CQ，完全不会拿到其他线程的完成事件
• 你的原有conn结构体可扩展为数组，每个线程持有自己的conn实例，存储专属的qp、cq指针即可
• 优点：完全无锁，性能最高，隔离性最好，适合高并发低延迟的生产场景

现有代码核心修改点 #

如果选择方案2，核心调整逻辑如下：

1. 每个线程初始化阶段创建专属CQ：

// cq_depth根据你的maxqueue配置设置，建议预留冗余
struct ibv_cq *thread_cq = ibv_create_cq(ibv_ctx, cq_depth, NULL, NULL, 0);
if (!thread_cq) {
    perror("ibv_create_cq failed");
    exit(EXIT_FAILURE);
}

2. 为每个线程创建专属QP，绑定到上面创建的thread_cq，再完成和远端的建路，逻辑和你原有单QP创建逻辑一致，每个线程单独执行一次即可
3. 调整worker函数，仅操作当前线程专属的qp和cq，不要跨线程访问其他线程的RDMA资源
4. wr_id可根据业务需求设置为自定义标识，不需要统一绑定全局conn指针

如果你必须强制共用同一个QP，可以使用厂商扩展verbs的IBV_EXP_QP_CREATE_MULTI_SCQ特性，支持同一个QP关联多个Send CQ，post send时指定目标CQ编号即可，但该特性兼容性较差，不建议跨硬件平台的场景使用。

内容的提问来源于stack exchange，提问作者CommanderLake