如何在RDMA UD模式下传输大于MTU的大消息？相关限制与方案咨询

一、单次Send WR只能发一个数据包的原因 #

RDMA UD（不可靠数据报）的设计本质是基于无连接、无确认的数据报模型，这个限制主要来自三个层面：

• 底层传输协议约束：UD直接对应以太网或InfiniBand的数据报传输，数据报本身要求单包大小不能超过链路MTU——一旦超过，底层网络无法传输（IP分片会大幅提升丢包风险，且RDMA硬件通常禁用UD的IP分片，毕竟UD没有重传机制，丢一个分片整个消息就彻底失效）。
• RDMA硬件设计逻辑：UD的Send工作请求（WR）是让硬件直接生成完整的独立数据报，硬件不会对大消息做自动分片重组——这是为了维持UD的低延迟特性，避免硬件额外的分片开销，毕竟UD的定位就是低延迟小消息场景（比如集群心跳、小数据通知）。
• 不可靠模型的必然结果：UD不提供端到端确认、重传和乱序重组机制，如果允许单次Send WR发送跨MTU的大消息，一旦分片丢失或乱序，整个消息无法还原，而RDMA层本身不负责处理这些问题，所以从硬件层面直接限制单WR消息大小必须小于MTU。

二、单次Send WR传输大消息的可行方案 #

原生RDMA UD本身不支持单次Send WR发送超过MTU的消息，但可以通过上层逻辑或封装库实现类似效果：

• 自行实现分片重组逻辑：
  把大消息手动拆分成多个≤MTU的分片，每个分片用独立的Send WR发送；接收端维护分片序号，收集全部分片后重组为完整消息。同时要自己处理丢包重试（给分片加序列号和超时重传机制）、乱序排序问题——但这种方式需要自行实现可靠传输基础逻辑，开发成本较高。
• 使用封装好的上层库：
  部分RDMA抽象库已封装UD模式下的大消息传输逻辑，比如libfabric，它提供的FI_MSG接口可以在UD模式下自动处理大消息的分片和重组，用户只需调用对应发送接口，底层会自动拆分消息为多个MTU大小的数据包发送，接收端自动重组，对用户透明。另外像MVAPICH2这类高性能通信框架的部分配置，也支持类似上层封装，无需用户手动处理分片。

内容的提问来源于stack exchange，提问作者yupe