PyTorch1.1+DistributedDataParallel下指标同步与梯度平均有效性咨询

问题1：官方教程的指标记录逻辑是否有问题？如何正确同步指标并统一打印？ #

首先得明确：各进程打印的损失值不同是正常现象，不是官方教程的问题。因为在数据并行（DDP）模式下，每个进程会处理数据集的不同子集（batch），前向计算基于不同的输入，自然会得到不同的单进程损失值。

但你说的“先同步指标再在单进程打印”确实是更规范的做法，这样能得到全局的平均指标，也避免重复打印。具体实现可以通过torch.distributed.all_reduce接口来同步所有进程的指标数值：

举个损失同步的例子：

# 先计算当前进程内batch的平均损失
loss = loss.mean()
# 对所有进程的loss进行求和同步
torch.distributed.all_reduce(loss, op=torch.distributed.ReduceOp.SUM)
# 除以进程数得到全局平均损失
loss = loss / torch.distributed.get_world_size()

对于准确率这类计数型指标，你需要先在每个进程统计正确样本数和总样本数，再对这两个数值分别做all_reduce求和，最后用全局正确数除以全局总样本数得到准确率。

完成同步后，只在rank=0的进程（主进程）中打印这些指标，就能保证所有进程的指标数值一致，且不会重复输出。

问题2：DistributedDataParallel的梯度同步是否真的生效？模型权重会分化吗？ #

完全不用担心权重分化的问题，DDP的梯度同步机制是可靠且生效的。

虽然每个进程的输入batch不同，前向损失有差异，但DDP会在反向传播阶段自动完成梯度的跨进程同步：它会收集所有进程的梯度，计算全局平均值，然后每个进程都会用这个平均后的梯度来更新模型权重。也就是说，哪怕前向计算的损失不同，所有进程的权重更新步骤是完全一致的，最终模型权重会保持同步。

官方文档的描述是准确的——你不需要手动平均梯度，DDP已经帮你处理好了这部分逻辑。模型并行的存在也不会影响这个机制，DDP会配合模型并行的设备分布，完成跨进程跨设备的梯度通信。

内容的提问来源于stack exchange，提问作者Shouyu Chen