PyTorch使用DataLoader训练时损失恒定无下降、无学习进展问题

最可能的核心诱因 #

• 优化器场景错配：Rprop的设计逻辑是根据每轮全量计算得到的梯度符号，自适应更新参数的移动步长，仅适配全量梯度下降的训练场景，天生不适合小批量训练。
  之前不使用DataLoader时，你是把整个数据集一次性送入模型计算梯度，属于纯全量梯度下降，梯度计算无随机噪声，Rprop可以正常沿着损失下降方向更新参数，顺利收敛到0.2的损失；换成DataLoader的小批量训练后，每个batch算出的梯度是全量梯度的带噪随机估计，Rprop会被单batch的噪声梯度误导，步长更新完全失准，哪怕把epoch设成100，也会卡在初始损失附近没有任何下降。

其他会触发同类问题的细节 #

• 模型训练模式遗漏：如果你的模型结构包含BatchNorm、Dropout层，没有在训练循环前显式调用model.train()，模型会默认停留在推理eval模式，参数固定不更新，损失自然不会变化。
• 打印方式误导判断：当前代码打印的是单batch的瞬时损失，因为每个batch的样本构成不同，损失本身存在自然波动，很容易掩盖整体的下降趋势——比如整个epoch的平均损失已经从0.6降到0.3，但单batch的波动范围还是在0.2-0.7之间，看起来就像损失没有变化。
• 废弃API的隐性影响：代码中使用的Variable封装是PyTorch 0.4版本之前的旧语法，虽然现在兼容运行，但部分旧版本会存在梯度关联的隐性问题。

修正后的参考代码 #

model = Model()
criterion = torch.nn.BCELoss(reduction='mean')
# 替换为适配小批量训练的常规优化器
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 显式开启训练模式，关闭推理时的参数冻结逻辑
model.train()
for epoch in range(100):
    total_loss = 0
    for i, data in enumerate(train_loader, 0):
        inputs, labels = data
        y_pred = model(inputs)
        loss = criterion(y_pred, labels)

        total_loss += loss.item()
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    # 每轮打印整个epoch的平均损失，避免单batch波动干扰判断
    print(f"Epoch {epoch}, Avg Loss: {total_loss / len(train_loader):.4f}")

内容的提问来源于stack exchange，提问作者Hanna。