分布式数据并行（DDP）双GPU场景下Batch Size设置疑问

• 核心结论：你需要将单GPU进程的Batch Size设置为8，而非16。
• DDP的运行逻辑：DDP中每个GPU对应一个独立的训练进程，每个进程会独立加载并处理自己的那批数据，系统不会自动拆分你设置的单进程Batch Size。如果给每个进程设16，两块GPU的总Batch Size会变成32（16×2），这会打破和单GPU实验的总Batch Size一致性，可能影响模型收敛效果。
• 对齐单GPU实验的正确操作：保持全局总Batch Size和单GPU场景一致。单GPU时总Batch Size是16，双GPU DDP下就给每个进程设8，这样总Batch Size为8×2=16，和原实验的训练批次规模对齐。
• 额外说明：如果你的实验允许扩大总Batch Size，也可以将单进程Batch Size设为16，总Batch Size达到32，但这属于主动调整实验参数，不属于对齐原单GPU实验的做法。

内容的提问来源于stack exchange，提问作者Seungwoo Ryu