PyTorch 1.6.0多GPU训练添加预训练特征监督损失后无法复现问题

核心原因定位 #

不可复现问题完全来源于新增的l_sup关联的预训练网络执行链路，仅用l_pix时不会触发预训练网络的前向计算，因此不存在随机性，具体可拆解为以下几个常见原因： #

1. 预训练网络的eval模式设置顺序错误 #

当前的执行顺序是：先给CPU上的pretrained_network设置eval()、冻结参数，再用DataParallel（DP）包裹模型。PyTorch 1.6版本的DP在将模型复制到多块GPU时，存在CPU侧的training属性未同步到GPU副本的问题，会导致部分GPU上的预训练网络实际处于train模式：如果预训练网络包含BatchNorm、Dropout等训练/推理行为不一致的层，每次运行的前向输出都会存在差异，直接导致l_sup计算结果不稳定。 #

2. 预训练网络/特征损失用到非确定性算子 #

PyTorch 1.6中部分算子默认没有确定性实现，且不受cudnn.deterministic配置控制，常见的包括：

• 上采样操作F.interpolate/nn.Upsample未显式指定align_corners参数
• 涉及求和顺序的算子：torch.scatter_add、torch.index_add、多卡梯度规约时的浮点求和（不同顺序的浮点累加会带来微小误差，训练多轮后误差会被放大）
• 部分CUDA实现的自定义算子本身不具备确定性

3. 多卡DP调度的隐含随机性 #

DP的实现逻辑是将输入拆分到多卡、分别执行前向后将结果回收至主卡，PyTorch 1.6的DP调度在同时存在两个DP包裹的模型（basic_model、pretrained_network）时，可能出现任务调度顺序的差异，进一步放大算子的非确定性误差。 #

可复现性修复方案 #

• 调整预训练网络的初始化顺序，DP包裹后再显式设置推理模式和参数冻结，确保所有GPU副本的状态一致：

self.pretrained_network = PretrainNetwork()
self.load_network(self.pretrained_network, load_path)
# 先包DP，再设置eval和参数冻结
self.pretrained_network = DataParallel(self.pretrained_network)
self.pretrained_network.eval()
for p in self.pretrained_network.parameters():
    p.requires_grad = False

• 预训练网络前向计算时增加torch.no_grad()上下文，既减少不必要的计算图开销，也能屏蔽部分反向链路带来的随机性：

with torch.no_grad():
    left_cnn_feature, right_cnn_feature = self.pretrained_network(self.left_seq, self.right_seq)

• 检查预训练网络和feature_loss的实现，替换非确定性算子：上采样操作统一显式设置align_corners为True/False，避免使用默认值；如果用到scatter类算子，可替换为CPU上执行后再搬回GPU的实现。
• 条件允许的情况下，将DataParallel替换为DistributedDataParallel，DDP的多卡同步逻辑更严谨，确定性远高于DP。

内容的提问来源于stack exchange，提问作者wwxiaokucha