You need to enable JavaScript to run this app. PyTorch下使用GeomLoss计算批次两两Sinkhorn距离
优惠活动
大模型
产品
解决方案
定价
更多

PyTorch下使用GeomLoss计算批次两两Sinkhorn距离

报错根源

GeomLoss的SamplesLoss接口带有严格的前置维度校验,不会自动处理跨批次的笛卡尔积配对。接口的识别规则是:

  • 输入张量的最后两维固定对应「单分布下的采样点数量、特征维度」
  • 除最后两维外的所有前置维度,统一判定为batch维度,且强制要求x、y的batch维度形状完全一致,仅逐索引匹配计算分布对的距离

你之前遇到的报错,本质是广播升维后,两个张量的batch维度分别为(1,)和(N,),形状不匹配,直接触发了校验逻辑。另外你之前观察到传入[batch, feature_dim]形状返回标量的现象,是因为接口把整组张量识别为单批次下、多采样点的单个分布对,根本没有拆分出独立的batch计算单元,和你预期的逐样本独立计算的逻辑完全不同。

可落地的实现方法

要输出形状为[M, N]的两两距离矩阵(M为a的批次长度,N为b的批次长度),核心是把所有笛卡尔积配对展开成接口要求的「batch维度完全等长」的格式,计算完成后再还原成矩阵形状,具体流程如下:

  1. 格式预处理:把待计算张量整理成接口可识别的分布格式。如果是单向量作为单采样点的分布,需要在采样点维度补长度为1的轴,把形状从(batch, d)转为(batch, 1, d);如果是多采样点组成的分布,直接保留(batch, k, d)(k为单分布的采样点数)即可。
  2. 配对展开:对a侧的每个分布重复N次,对b侧的每个分布重复M次,最终生成两个总长度为M*N的同batch张量,覆盖所有a[i]和b[j]的配对。
  3. 计算还原:将展开后的张量传入Sinkhorn计算接口,得到长度为M*N的距离向量,最后reshape为(M, N)形状的矩阵,即为目标结果。

可运行的示例代码

import torch
import geomloss

# 示例参数:a、b均为8个4维向量,每个向量作为单采样点分布
M, N, d = 8, 8, 4
a = torch.rand((M, d))
b = torch.rand((N, d))

# 预处理为接口可识别的单采样点分布格式
a_dist = a.unsqueeze(1)  # 形状: (M, 1, d)
b_dist = b.unsqueeze(1)  # 形状: (N, 1, d)

# 展开为全配对的等长batch格式
# a侧每个元素重复N次,拉平后形状: (M*N, 1, d)
a_pair = a_dist.repeat(1, N, 1).reshape(M*N, 1, d)
# b侧每个元素重复M次,拉平后形状: (M*N, 1, d)
b_pair = b_dist.repeat(M, 1, 1).reshape(M*N, 1, d)

# 初始化Sinkhorn距离计算器,参数根据实际任务调整即可
sinkhorn_loss = geomloss.SamplesLoss(
    loss="sinkhorn",
    p=2,
    blur=0.05,
)

# 逐配对计算距离
dist_vec = sinkhorn_loss(a_pair, b_pair)
# 还原为(M, N)的两两距离矩阵
dist_matrix = dist_vec.reshape(M, N)

实用优化与避坑

  • 当批次规模较大(M、N超过200)时,M*N规模的配对张量可能导致显存溢出,可将配对序列拆为固定大小的小批次,逐块计算距离后拼接,再还原为矩阵形状。
  • 不要直接将张量广播为(1, M, 1, d)和(N, 1, 1, d)传入接口,接口不会自动识别中间的笛卡尔积维度,反而会因batch维度形状不匹配触发报错。
  • 计算多采样点分布的两两距离时,上述展开逻辑通用,只需在预处理阶段保留采样点维度即可,不需要调整核心流程。

内容的提问来源于stack exchange,提问作者Kaushik Roy

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 05:15:04