You need to enable JavaScript to run this app. 使用SciPy计算Wasserstein损失时如何保留PyTorch梯度?
优惠活动
大模型
产品
解决方案
定价
更多

使用SciPy计算Wasserstein损失时如何保留PyTorch梯度?

问题解答
  • 你的判断完全正确,当前代码中的W_loss确实无法参与模型参数的梯度更新,核心原因有两点:
    1. 你对pred_tensor调用了detach()方法,该操作会直接将张量从PyTorch的自动求导计算图中剥离,后续所有基于这个剥离后张量的运算都不会被追踪梯度
    2. SciPy的wasserstein_distance接口本身不支持PyTorch的自动求导机制,哪怕你不调用detach(),只要转成NumPy数组再通过SciPy运算,得到的结果也只是普通数值,无法重新接入PyTorch的计算图生成梯度
  • 可行的修正方案:
    优先选用PyTorch原生实现的Wasserstein距离计算函数,全程在torch.Tensor结构上完成运算,全程保留梯度传播链路。以下是一维分布场景下的简易实现示例:
    def torch_wasserstein_distance(u_values, v_values):
        u_sorted, _ = torch.sort(u_values)
        v_sorted, _ = torch.sort(v_values)
        # 合并两类值得到所有分位点
        all_values = torch.sort(torch.cat([u_sorted, v_sorted]))[0]
        # 计算两个分布的经验累积分布函数
        cdf_u = torch.searchsorted(u_sorted, all_values, right=True).float() / u_sorted.numel()
        cdf_v = torch.searchsorted(v_sorted, all_values, right=True).float() / v_sorted.numel()
        # 计算累积分布差值的积分得到Wasserstein距离
        delta = all_values[1:] - all_values[:-1]
        return torch.sum(torch.abs(cdf_u[:-1] - cdf_v[:-1]) * delta)
    
    调用时直接传入拉平后的预测张量和真值张量即可:
    W_loss = torch_wasserstein_distance(pred_tensor.ravel(), target_tensor.ravel())
    
    不需要做detach、转NumPy的操作,得到的W_loss是带梯度的PyTorch张量,可以直接和BCELoss相加参与反向传播。
    如果你需要计算高维分布的Wasserstein距离,可以采用PyTorch实现的Sinkhorn算法,同样全程支持梯度传播。

内容的提问来源于stack exchange,提问作者The Exile

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.17 20:54:03