PyTorch：为何调整损失函数缩放可改善部分模型收敛性能

• 多损失联合优化的核心是梯度贡献的权衡，和训练初始阶段前向计算的损失值量级没有直接关系。你观测到初始状态所有损失项数值同量级，不代表反向传播时各损失项传给模型共享参数（编码器、解码器骨干层）的梯度幅值是匹配的：例如逐像素计算的重构损失通常会对空间维度、batch维度求平均，天然会把梯度幅值稀释，哪怕前向损失值和KL散度、判别器损失差不多，实际回传到参数的梯度可能比其他项小1~2个数量级，训练过程中模型几乎不会优先优化这项重构目标。你将其缩放20倍后性能大幅提升，本质是把这项损失的梯度贡献拉到了和其他项相当的水平，让优化方向回到了预期的重构目标上。
• VAE的多个损失项本身存在天然的目标冲突：KL散度的优化方向是约束隐空间分布贴近标准正态，天然存在模糊重构细节、引发后验坍缩的倾向；额外添加的判别器对抗损失属于生成类正则项，优化方向是让输出贴近真实数据分布，但如果重构损失权重不足，模型会优先走优化“捷径”——要么靠KL项把隐空间约束得过于规整丢失输入特征，要么靠判别器损失生成视觉上真实但和原始输入完全不匹配的内容。拉高对应重构项的权重，本质是明确了“优先保证输入重构准确性”的优化优先级，避免模型在冲突目标间跑偏。
• “初始损失同量级”是非常粗糙的参考标准：不同损失项的计算逻辑、求导后的梯度特性差异极大。比如交叉熵类损失在预测错误率高时梯度大，预测接近正确时梯度快速衰减；L1/L2类损失梯度特性稳定；KL散度在隐空间分布接近标准正态时梯度会快速趋近于0。哪怕训练初始阶段几个损失的数值差不多，训练推进几个epoch后，不同项的梯度幅值就会自然拉开差距，固定1:1的权重根本适配不了训练过程的动态变化。

• 调权重的核心参考指标是梯度范数，不是前向损失值。每次调整权重前，在反向传播环节单独统计每个损失项回传给共享骨干层（比如VAE编码器最后一层、解码器第一层）的梯度L2范数：正常训练状态下，核心任务对应的梯度范数应该是正则项、辅助损失梯度范数的2~10倍（具体倍数匹配任务优先级即可），核心目标的梯度绝对不能被正则项梯度盖过。你之前把重构项放大20倍效果明显，大概率就是调整前这项的梯度范数仅为其他项的1/20左右，缩放后刚好达到合理的梯度配比。
• 权重调参遵循“核心项锚定、辅助项从小到大加”的顺序。比如VAE的核心目标是重构输入，就先把重构损失权重固定为1，单独训练到重构效果达标后，再从小到大地加KL散度权重（从0.001、0.01量级开始往上试，直到隐空间分布平滑同时重构效果没有明显下降即可），最后再加判别器这类对抗正则项，加到输出没有明显伪影就停，不要一开始就把所有项权重设为1、刻意凑同量级。
• 小范围权重消融的成本极低、收益很高。固定其他所有超参数不变，单独把某一项损失的权重按0.1倍、1倍、10倍、20倍的对数梯度做小范围扫参，观察验证集上核心指标（比如重构PSNR、下游任务准确率）的变化：如果指标随权重上升先涨后跌，峰值对应的权重就是当前配置下的合理值，不需要硬套论文里给出的权重参数——不同数据集、不同模型结构下，损失的梯度尺度差几十倍是非常普遍的情况。
• 出现典型训练异常时优先排查损失权重配比问题。比如VAE输出模糊、生成内容和输入不相关、KL散度快速塌缩到0（后验坍缩）、判别器损失快速收敛到0但输出乱码，这些现象本质都是某一项损失的梯度过大、完全主导了优化方向，遇到这类问题不用急着修改模型结构，先调整对应损失的缩放系数，大半这类问题都能被解决。

内容的提问来源于stack exchange，提问作者Alvaro Ciudad