单节点使用DistributedDataParallel训练MNIST前馈网络准确率偏低问题

问题根因 #

你遇到的准确率仅10%的问题属于DDP的典型使用误区，10%的准确率和10分类任务的随机猜测水平一致，说明模型完全没有学到有效特征，核心原因是以下两点：

1. 数据分片与损失计算不对齐：使用DistributedSampler拆分训练集后，如果你在计算损失前对多进程的预测结果做了gather，但没有对标签做对应的分片对齐，会导致预测结果和标签完全错位，损失计算完全无效，训练全程相当于随机更新参数
2. 超参数没有适配分布式配置：多进程DDP训练时默认会对不同进程的梯度做平均，如果你保持单卡训练的学习率、batch size不变，实际的有效学习率和batch size会和单卡训练有明显差异，最终导致模型不收敛

修复方案 #

• 调整损失计算逻辑：每个进程仅用自身分片内的输入和标签计算损失，不要在计算损失前跨进程gather预测结果或标签，避免维度/顺序错位
• 适配分布式超参数：如果单卡训练时batch size为b、学习率为lr，开N进程DDP训练时，要么保持单进程batch size为b，将学习率调整为lr * N；要么把单进程batch size改为b/N，保持原学习率不变即可
• 补充分片打乱逻辑：每个训练轮次开始前调用sampler.set_epoch(epoch)，保证不同轮次的数据集分片打乱规则正确，避免数据重复采样或泄露
• 校验设备绑定配置：单节点训练时要确保device_ids参数和当前进程绑定的GPU序号完全匹配，避免模型、数据存放在不同设备导致的静默报错

内容的提问来源于stack exchange，提问作者Joerg Simon