You need to enable JavaScript to run this app. PyTorch计算批次张量相关矩阵时归一化异常问题求助
优惠活动
大模型
产品
解决方案
定价
更多

PyTorch计算批次张量相关矩阵时归一化异常问题求助

问题根源
  • 相关系数计算逻辑错误:协方差矩阵转相关矩阵的正确公式是 Corr(i,j) = Cov(i,j) / (√Cov(i,i) * √Cov(j,j)),你当前代码仅将协方差除以对应行的方差,没有乘列方向的标准差,导致数值范围不符合要求。
  • 张量广播维度不匹配:torch.diagonal(cov, dim1=-2, dim2=-1) 输出形状为 [B, C],直接和形状为 [B, C, C] 的协方差矩阵做除法时,广播规则默认仅作用于行维度,列维度没有做对应的归一化,进一步放大了结果误差。
修复后的代码
import torch

def corr(x):
    """
    x: [B, C, H, W]
    输出维度: [B, C, C] 相关矩阵
    """
    # [B, C, H, W] -> [B, C, H * W]
    x = x.view((x.size(0), x.size(1), -1))

    # 去均值
    x = x - x.mean(dim=-1, keepdim=True)
    factor = 1 / (x.shape[-1] - 1)
    
    cov = factor * (x @ x.transpose(-1, -2))
    # 得到每个通道的标准差
    std = torch.diagonal(cov, dim1=-2, dim2=-1).sqrt()
    # 构造标准差外积矩阵,形状[B, C, C],每个位置(i,j)为std[i]*std[j]
    std_matrix = std.unsqueeze(-1) * std.unsqueeze(-2)
    # 增加极小值防止除零错误
    std_matrix = std_matrix + 1e-8
    # 归一化得到相关矩阵
    return cov / std_matrix
效果验证

修改后输出的相关矩阵对角线元素均为1,其余元素取值范围严格在[-1, 1]区间内,符合相关矩阵的数学定义。

内容的提问来源于stack exchange,提问作者vmindel

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.16 08:15:05