PyTorch中torch.clamp函数失效问题求助

• 核心疑点：张量内存共享/原地修改
  你遇到的问题大概率是res_not_clamp和res共享了同一块内存空间，后续代码里对res_not_clamp做了原地修改（比如用xxx_()这类带下划线的inplace操作），直接把res的值给覆盖了。PyTorch里张量赋值是引用传递，不是深拷贝，要是之前有res_not_clamp = res或者类似的赋值，后续改其中一个另一个也会变。

• 快速验证方法
  在res = torch.clamp(...)这行之后立刻加一句：

  print(res.data_ptr() == res_not_clamp.data_ptr())
  

  要是输出True，就实锤两个张量共享内存了。

• 直接解决办法

  1. 强制生成新张量，切断内存关联：

     res = torch.clamp(res_not_clamp, 0.0, 1.0).clone()
     

     如果不需要保留梯度，也可以用detach()：

     res = torch.clamp(res_not_clamp.detach(), 0.0, 1.0)
     

  2. 检查所有涉及res_not_clamp的代码，把inplace操作改成非原地版本——比如把res_not_clamp.add_(x)改成res_not_clamp = res_not_clamp.add(x)。

• 其他可能：混合精度训练的数值溢出
  要是开了混合精度（torch.cuda.amp），半精度张量（float16）容易出现极端数值溢出，可能导致clamp后的结果在后续计算中被污染。可以临时关掉混合精度试试，或者先把张量转成float32再做clamp：

  res = torch.clamp(res_not_clamp.float(), 0.0, 1.0)
  

内容的提问来源于stack exchange，提问作者Tsingmao