使用SciPy计算Wasserstein损失时如何保留PyTorch梯度?
问题解答
- 你的判断完全正确,当前代码中的
W_loss确实无法参与模型参数的梯度更新,核心原因有两点:- 你对
pred_tensor调用了detach()方法,该操作会直接将张量从PyTorch的自动求导计算图中剥离,后续所有基于这个剥离后张量的运算都不会被追踪梯度 - SciPy的
wasserstein_distance接口本身不支持PyTorch的自动求导机制,哪怕你不调用detach(),只要转成NumPy数组再通过SciPy运算,得到的结果也只是普通数值,无法重新接入PyTorch的计算图生成梯度
- 你对
- 可行的修正方案:
优先选用PyTorch原生实现的Wasserstein距离计算函数,全程在torch.Tensor结构上完成运算,全程保留梯度传播链路。以下是一维分布场景下的简易实现示例:
调用时直接传入拉平后的预测张量和真值张量即可:def torch_wasserstein_distance(u_values, v_values): u_sorted, _ = torch.sort(u_values) v_sorted, _ = torch.sort(v_values) # 合并两类值得到所有分位点 all_values = torch.sort(torch.cat([u_sorted, v_sorted]))[0] # 计算两个分布的经验累积分布函数 cdf_u = torch.searchsorted(u_sorted, all_values, right=True).float() / u_sorted.numel() cdf_v = torch.searchsorted(v_sorted, all_values, right=True).float() / v_sorted.numel() # 计算累积分布差值的积分得到Wasserstein距离 delta = all_values[1:] - all_values[:-1] return torch.sum(torch.abs(cdf_u[:-1] - cdf_v[:-1]) * delta)
不需要做W_loss = torch_wasserstein_distance(pred_tensor.ravel(), target_tensor.ravel())detach、转NumPy的操作,得到的W_loss是带梯度的PyTorch张量,可以直接和BCELoss相加参与反向传播。
如果你需要计算高维分布的Wasserstein距离,可以采用PyTorch实现的Sinkhorn算法,同样全程支持梯度传播。
内容的提问来源于stack exchange,提问作者The Exile
相关产品推荐
相关产品推荐

