PyTorch训练DAGMM时新epoch初始损失上升问题排查

问题背景 #

我使用PyTorch开展无监督异常检测任务，训练DAGMM神经网络，损失函数基于样本重构误差。训练数据被划分为5318个batch，样本总数无法被batch size整除，已添加drop_last=True参数：

data_loader = DataLoader(dataset=dataset,
                         batch_size=hyp['batch_size'], 
                         shuffle=shuffle, 
                         drop_last=True)

但训练日志显示每个epoch初始阶段损失值会明显上升，相关记录如下：

Time 3366.28, Epoch [1/5], Iter [5300/5318], lr 0.0001 loss 21.5814, recon_error 21.7351, energy -6.3370 
Time 3408.99, Epoch [2/5], Iter [50/5318], lr 0.0001 loss 29.3530, recon_error 29.5780, energy -8.8175 
Time 3439.69, Epoch [2/5], Iter [100/5318], lr 0.0001 loss 21.5223, recon_error 21.6843, energy -6.3602 

Time 6853.50, Epoch [2/5], Iter [5300/5318], lr 0.0001 loss 21.0750, recon_error 21.5087, energy -8.3140 
Time 6899.28, Epoch [3/5], Iter [50/5318], lr 0.0001 loss 29.0018, recon_error 29.5963, energy -11.5204 
Time 6932.67, Epoch [3/5], Iter [100/5318], lr 0.0001 loss 21.1673, recon_error 21.6118, energy -8.4462 

排查思路 #

• 验证样本分布的随机性影响
  虽然开启了shuffle=True，但新epoch开头的batch可能刚好集中了难重构的样本（比如异常样本或分布边缘的样本），而上一个epoch末尾的batch是易重构样本。可以：

  • 固定全局随机种子，重复训练，观察是否每次epoch开头的损失波动对应同一批样本
  • 统计所有batch的重构误差分布，确认是否存在天然高误差的batch

• 检查优化器与梯度管理逻辑
  确认训练循环中梯度处理的正确性：

  • 确保每个batch训练前都调用了optimizer.zero_grad()，避免上一个epoch末尾的梯度累积到新epoch
  • 检查学习率调度器的触发时机，确保不会在epoch开头错误调整学习率（即使日志显示lr未变，也要确认调度器逻辑无bug）

• 调整DAGMM损失项的平衡权重
  DAGMM的损失由重构误差和能量项共同组成，两者权重失衡可能导致训练波动：

  • 检查能量项的权重系数是否过大，导致模型在epoch初始阶段对能量项的更新干扰了整体损失
  • 尝试先固定能量项权重为0，单独训练重构部分，待损失稳定后再逐步引入能量项

• 确认数据预处理的一致性
  检查样本预处理流程是否存在epoch间的差异：

  • 如果预处理包含随机操作（如随机噪声、裁剪），确认这些操作的随机性是否导致部分batch的样本更难重构
  • 验证训练集的归一化统计量（均值、方差）是否固定，没有在每个epoch重新计算导致数据分布偏移

内容的提问来源于stack exchange，提问作者Jaycee