fairseq-train的--ddp-backend参数选型及各选项适用场景说明

你的场景推荐取值 #

你使用2张RTX 3090在单机上训练基于Transformer的常规翻译模型，直接使用默认值pytorch_ddp即可，该选项稳定性最高、通信开销最低，完全适配你的训练场景，无需额外调整。

注意：无特殊需求不要随意切换其他后端，否则可能出现训练速度下降、精度波动、运行报错等问题。

所有可选值含义与适用场景 #

• pytorch_ddp
  • 含义：fairseq默认分布式后端，基于PyTorch原生DistributedDataParallel封装，底层依托c10d通信库完成梯度同步，跟进PyTorch官方的所有DDP性能优化，逻辑成熟稳定。
  • 适用场景：所有常规多卡训练场景，包括单机多卡、拥有高速网络的小规模多机多卡训练，是绝大多数训练任务的首选。
• c10d
  • 含义：fairseq早期版本基于c10d通信层实现的DDP逻辑，未接入后续PyTorch原生DDP的性能优化，仅保留了旧版本兼容逻辑。
  • 适用场景：仅在使用PyTorch 1.6及更早版本、复现fairseq旧版本历史实验结果时使用，新环境不推荐选择。
• legacy_ddp
  • 含义：fairseq最初自研的数据并行实现，未依赖PyTorch原生DDP能力，通信与梯度同步逻辑均为fairseq独立开发，性能弱于原生DDP，目前已停止功能迭代与bug修复。
  • 适用场景：仅用于复现fairseq 0.9及更早版本的早期实验结果，新训练任务禁止使用。
• no_c10d
  • 含义：不依赖c10d通信库的旧版DDP实现，采用传统多进程通信逻辑完成梯度同步，通信延迟高、性能差。
  • 适用场景：仅在集群环境c10d通信初始化失败、网络端口不通的极端排障场景临时使用，正常训练不要选择。
• fully_sharded
  • 含义：基于PyTorch FSDP（全分片数据并行）实现的后端，会将模型参数、梯度、优化器状态全部分片存储到所有参与训练的GPU上，大幅降低单卡显存占用。
  • 适用场景：训练单卡显存无法承载的超大参数模型（如7B以上参数量的大模型）时使用；常规亿级参数量的翻译模型选择该选项会引入额外通信开销，拖慢训练速度，不推荐使用。
• slowmo
  • 含义：在基础DDP逻辑上叠加SlowMo梯度压缩算法的后端，通过低精度通信、梯度稀疏化等方式降低跨节点通信的带宽需求，会引入额外计算开销，可能对模型最终精度产生微小影响。
  • 适用场景：多机多卡训练时跨节点网络带宽极低（如仅配备1Gbps以太网，无IB/RoCE等高速网络）的场景使用；单机多卡场景通信走PCIe/NVLink，带宽充足，选择该选项反而会降低训练速度，无需使用。

内容的提问来源于stack exchange，提问作者Shunchi Zhang