PyTorch计算批次张量相关矩阵时归一化异常问题求助
问题根源
- 相关系数计算逻辑错误:协方差矩阵转相关矩阵的正确公式是
Corr(i,j) = Cov(i,j) / (√Cov(i,i) * √Cov(j,j)),你当前代码仅将协方差除以对应行的方差,没有乘列方向的标准差,导致数值范围不符合要求。 - 张量广播维度不匹配:
torch.diagonal(cov, dim1=-2, dim2=-1)输出形状为[B, C],直接和形状为[B, C, C]的协方差矩阵做除法时,广播规则默认仅作用于行维度,列维度没有做对应的归一化,进一步放大了结果误差。
修复后的代码
import torch def corr(x): """ x: [B, C, H, W] 输出维度: [B, C, C] 相关矩阵 """ # [B, C, H, W] -> [B, C, H * W] x = x.view((x.size(0), x.size(1), -1)) # 去均值 x = x - x.mean(dim=-1, keepdim=True) factor = 1 / (x.shape[-1] - 1) cov = factor * (x @ x.transpose(-1, -2)) # 得到每个通道的标准差 std = torch.diagonal(cov, dim1=-2, dim2=-1).sqrt() # 构造标准差外积矩阵,形状[B, C, C],每个位置(i,j)为std[i]*std[j] std_matrix = std.unsqueeze(-1) * std.unsqueeze(-2) # 增加极小值防止除零错误 std_matrix = std_matrix + 1e-8 # 归一化得到相关矩阵 return cov / std_matrix
效果验证
修改后输出的相关矩阵对角线元素均为1,其余元素取值范围严格在[-1, 1]区间内,符合相关矩阵的数学定义。
内容的提问来源于stack exchange,提问作者vmindel
相关产品推荐
相关产品推荐

