PyTorch单机多GPU（DDP）训练中批量大小的分配机制问询

• 结论：最终训练效果等价于单GPU上使用批量大小8训练，而非批量大小2。
• 具体逻辑：
  1. 分布式训练时，总批量8会被平均分配到4块GPU上，每块GPU处理2个样本，各自完成前向传播并计算局部损失。
  2. 每块GPU基于自己的2个样本计算局部梯度，但DDP会在反向传播阶段自动对所有GPU的梯度进行聚合（默认是平均）。
  3. 聚合后的梯度等价于用总批量8个样本计算出的梯度，模型参数会基于这个聚合梯度进行更新，且所有GPU的参数始终保持同步。
• 关键区别：单GPU批量2的梯度仅来自2个样本，而DDP下最终用于更新的梯度是4块GPU梯度的聚合，对应总批量8的统计信息，因此训练效果和单GPU批量8一致。

内容的提问来源于stack exchange，提问作者bonl