调试maintraining.py时如何查看其他文件中KL_loss的取值与尺寸

可直接修改DVTrainer源码的场景 #

• 最快速的方式是在KL_loss定义完成的下一行插入带张量分离的打印逻辑，避免显存泄漏：

# 现有代码：KL_loss = p_z_given_x.log_prob(z) + self.prior.log_prob(z)
# 下方追加打印代码
kl_tensor = KL_loss.detach()
print(f"当前KL_loss形状：{kl_tensor.shape}")
print(f"当前KL_loss数值：均值={kl_tensor.mean().item():.4f}, 最大值={kl_tensor.max().item():.4f}, 最小值={kl_tensor.min().item():.4f}")

• 如果batch size较大，全量打印张量值会刷屏，可以加简单的计数逻辑，只打印前3个训练步的结果，避免日志冗余：

# 在DVTrainer的__init__方法中初始化计数
self.debug_step = 0

# 在KL_loss打印逻辑前加判断
if self.debug_step < 3:
    kl_tensor = KL_loss.detach()
    print(f"【调试】KL_loss形状：{kl_tensor.shape}, 数值均值={kl_tensor.mean().item():.4f}")
self.debug_step +=1

不想修改DVTrainer原有源码的场景 #

• 直接用IDE断点是最省事的：在KL_loss定义的那行代码上打个红点断点，启动训练后程序跑到这行会自动停住，直接在调试面板的变量栏就能看到KL_loss的形状、每个位置的数值，看完点继续跑就行，完全不用改原有逻辑。
• 如果是纯命令行跑训练没有可视化调试工具，可在maintraining.py里临时封装_compute_loss方法，配合sys.settrace抓取方法内部的变量值，不会改动类的原始实现，调试完删掉封装代码就行。

踩坑提醒

• 打印张量值的时候必须先加.detach()把张量从梯度计算图里摘出来，再转到CPU上读数值，不然会把整个反向传播的链路一直存在显存里，训不了几个batch就会报显存不足。
• 别直接把整个KL_loss张量全打出来，batch大的时候一行日志能滚几十秒，看的时候重点看形状、均值、最值就够，需要看细粒度值的时候再单独转numpy看就行。
• 要是后续调试完需要长期记录这个指标，算完KL_loss之后顺手存成类的实例属性，比如加一句self.debug_kl = KL_loss.detach()，之后在训练循环里直接读trainer.debug_kl的属性就行，后面要接日志、接可视化面板都不用再翻类内部代码。

内容的提问来源于stack exchange，提问作者Bo_Wang