MPI RMA多线程支持咨询及MPI_Get数据传输性能不缩放问题排查

测试耗时表现判定 #

你当前的测试结果完全符合预期，核心原因如下：

• 你使用的OpenMPI 4.1.1未启用UCX和XPMEM组件，默认RMA实现基于点对点通信模拟，且MPI_LOCK_SHARED在该配置下本质是给目标端加了全局互斥锁，所有读请求都会串行排队
• 总数据传输量固定为145230个double（约1.16MB），worker数量翻倍时，每个worker的排队等待时间也同步翻倍，和你测试的2worker单进程耗时0.32s、4worker单进程耗时0.6s的结果完全匹配。

问题逐点解答 #

1. RMA并行处理逻辑的规范说明 #

MPI规范本身没有强制要求RMA目标端必须并行处理请求，也不禁止同一块只读内存的并发访问，具体的并行处理能力完全取决于MPI实现的架构设计，你遇到的串行化限制是OpenMPI默认实现的问题，并非MPI规范的约束。

2. 主进程并行处理Get请求的可行性 #

无法通过直接指定线程数让MPI自动并行处理Get请求：

• 你当前使用的MPI_Init没有开启多线程支持，首先需要替换为MPI_Init_thread并指定MPI_THREAD_MULTIPLE级别，同时编译OpenMPI时开启多线程RMA支持
• 即使开启多线程，OpenMPI默认的RMA目标端被动处理逻辑依然是单线程的，不会自动拆分请求并行处理
• 未启用XPMEM的共享内存场景下，RMA的内存拷贝本身就有额外开销，锁竞争的影响会被进一步放大。

3. 主进程OpenMP并行发起MPI_Put方案评估 #

该方案完全可行，且扩展性远优于当前worker拉取模式：

• 只要MPI初始化时开启了MPI_THREAD_MULTIPLE支持，多个OpenMP线程同时调用MPI_Put属于合法操作
• 主进程主动推送模式避免了多个worker争抢主进程全局锁的开销，单节点场景下可以做到接近线性的扩展效果
• 注意所有Put操作要放在同一个RMA访问epoch内，或者每个线程绑定独立窗口，进一步降低同步开销。

4. 工作进程间传输场景改用Put的收益与风险 #

• 性能收益不明显：你当前总传输时间恒定是因为全局总数据量不变（邻居数量上升的同时单条传输数据量下降，总和固定），Get和Put的底层数据传输开销没有本质差异，更换API不会带来明显提升
• 竞争问题：如果多个进程的Put目标地址没有重叠，MPI规范保证操作完全安全，不会出现竞争；如果存在地址重叠，你需要自行添加同步逻辑（如锁、epoch分隔）避免数据损坏。

优化建议 #

• 重新编译OpenMPI 4.1.1，添加编译参数--enable-mpi-thread-multiple --with-ucx=<ucx安装路径>启用UCX、XPMEM和多线程支持，单节点共享内存场景下RMA性能可提升3~5倍
• 主从数据分发场景改为主进程多线程Push模式，彻底消除worker侧的锁竞争开销
• 后续跨节点扩展时，进程间邻居通信建议直接使用MPI_Neighbor_alltoallv代替自定义RMA实现，性能更稳定。

内容的提问来源于stack exchange，提问作者Farhan Rizwi