如何计算torch.tensor中行向量的两两距离？流形对齐损失实现困惑

首先明确：torch.nn.PairwiseDistance并不适合你的需求——它默认是计算两个形状相同的张量对应位置向量的距离，输出是长度为L的向量，无法直接得到(L,L)的两两距离矩阵。

要计算(L,N)张量中所有行向量的两两距离，推荐以下两种高效实现方式：

方法1：使用torch.cdist（推荐） #

torch.cdist是PyTorch专门用于计算两组向量两两距离的API，完全匹配你的需求：

import torch

# 假设你的嵌入张量为embeds，形状(L, N)
embeds = torch.randn(256, 128)  # 示例数据
pairwise_dist = torch.cdist(embeds, embeds, p=2)  # p=2对应欧氏距离，可按需调整
print(pairwise_dist.shape)  # 输出: torch.Size([256, 256])

• 支持多种距离度量：通过p参数设置，比如p=1为曼哈顿距离、p=2为欧氏距离、p=∞为切比雪夫距离
• 底层做过优化，计算效率高，且完整保留梯度（适合损失函数的反向传播）

方法2：手动广播计算欧氏距离 #

如果需要直观理解距离计算的底层逻辑，可利用PyTorch的广播机制手动实现：

# 扩展维度后做差，得到(L,L,N)的差值张量
diff = embeds.unsqueeze(1) - embeds.unsqueeze(0)
# 对最后一维求和开根号，得到两两欧氏距离矩阵
pairwise_dist = torch.sqrt(torch.sum(diff**2, dim=-1))
print(pairwise_dist.shape)  # 输出: torch.Size([256, 256])

• 逻辑清晰易懂，同样支持反向传播，可直接用于流形对齐损失的构建

流形对齐损失适配说明 #

在流形对齐场景中，你通常需要基于该距离矩阵构建损失（比如约束同类样本距离近、异类样本距离远），上述两种方法得到的距离矩阵都能直接用于后续计算，且梯度传递完全正常。

内容的提问来源于stack exchange，提问作者James Arten