PyTorch Optimizer不更新指定参数：CLIP风格迁移问题求助

问题原因及对应解决思路 #

• 梯度流意外中断
  即使latent本身的requires_grad属性为True，只要前向传播到损失计算的路径中有操作断开了梯度流，就会导致梯度无法回传。常见的错误操作包括：对latent调用了detach()、将latent转为numpy数组后再转回torch张量、latent的处理逻辑被torch.no_grad()上下文包裹。
  解决方法：在损失计算前打印latent的grad_fn属性，若返回值为None则说明梯度流已中断，顺着前向路径逐段检查latent的处理逻辑，移除意外断开梯度的操作。
• 优化器参数绑定错误
  若优化器初始化时绑定的是latent的旧副本，或是训练过程中对latent做了latent = xxx的整体重新赋值操作，会导致优化器实际更新的张量和训练中用到的latent不是同一个内存地址，更新自然不会生效。
  解决方法：对比优化器param_groups中存储的参数地址和当前训练用的latent地址，若不一致则重新初始化优化器，直接传入[latent]作为参数组即可，训练过程中不要对latent做整体重新赋值。
• 损失与latent无计算图关联
  若损失计算的输入完全不依赖latent的前向输出，比如CLIP特征是直接从固定原图提取，而非从latent解码生成的图像提取，损失值会是和latent无关的常数，反向传播后latent的梯度全为0，优化器不会进行更新。
  解决方法：反向传播后打印latent的grad属性，若全为0则检查损失计算的全链路，确保所有输入都来自latent的前向传播路径。
• 梯度下溢
  若使用混合精度训练，损失值过小会导致梯度被半精度舍入为0，无法触发更新。
  解决方法：关闭混合精度改用全精度训练验证，若能正常更新则调整损失的缩放系数，搭配梯度缩放工具避免精度溢出。
• 参数冻结配置错误
  若不小心将latent归入了全局冻结的参数组，或是其他模块的梯度配置错误挤占了梯度流，也会导致latent无法更新。
  解决方法：逐行核对所有模块的requires_grad配置，确保CLIP等不需要训练的模块正确冻结，latent及需要参与计算的解码器等模块的requires_grad为True。

内容的提问来源于stack exchange，提问作者Philipp Constantinopolski