Matlab、Numpy与PyTorch的SVD符号差异问题及一致性需求

符号差异的原因 #

SVD分解的结果本身不具备唯一性。对于任意奇异值对应的左奇异向量$\mathbf{u}_i$和右奇异向量$\mathbf{v}_i$，将两者同时取反（$\mathbf{u}_i \rightarrow -\mathbf{u}_i$，$\mathbf{v}_i \rightarrow -\mathbf{v}_i$），代入SVD分解式$\mathbf{A} = \mathbf{U}\Sigma\mathbf{V}^T$后等式依然成立——取反后的向量组合仍满足原矩阵的分解关系。

Matlab与NumPy、PyTorch采用的SVD底层实现算法不同，对奇异向量的符号选择没有统一标准，因此会出现符号差异。方阵情况下偶尔结果一致只是巧合，并非必然规律。

对齐NumPy/PyTorch与Matlab结果的方法 #

NumPy实现 #

通过对比Matlab输出的奇异向量符号，调整NumPy结果的对应奇异向量符号，确保两者一致：

import numpy as np

# 原矩阵
a = np.array([[-0.67645626,  0.63071378, -0.27856928],
              [-0.02497551,  0.42396278,  2.22727768],
              [-0.43153722,  1.20107944,  0.39737373],
              [-0.878973  , -1.20829399,  0.40960471]])

# Matlab输出的左、右奇异向量
matlab_u = np.array([[...], [...], [...], [...]])  # 替换为Matlab的x输出
matlab_v = np.array([[-0.0807, -0.1227, 0.9892],
                     [0.3219, -0.9424, -0.0906],
                     [0.9433, 0.3111, 0.1155]])

# NumPy执行SVD
u_np, s_np, vh_np = np.linalg.svd(a, full_matrices=False, compute_uv=True)
v_np = vh_np.T

# 调整符号对齐
for i in range(len(s_np)):
    # 以左奇异向量的点积符号为判断依据，点积为负则同时翻转对应u和v的符号
    if np.dot(u_np[:, i], matlab_u[:, i]) < 0:
        u_np[:, i] *= -1
        v_np[:, i] *= -1

PyTorch实现 #

思路与NumPy一致，利用PyTorch的SVD接口后调整符号：

import torch

# 原矩阵转为张量
a_tensor = torch.tensor([[-0.67645626,  0.63071378, -0.27856928],
                         [-0.02497551,  0.42396278,  2.22727768],
                         [-0.43153722,  1.20107944,  0.39737373],
                         [-0.878973  , -1.20829399,  0.40960471]])

# Matlab输出转为张量
matlab_u_tensor = torch.tensor(matlab_u)
matlab_v_tensor = torch.tensor(matlab_v)

# PyTorch执行SVD
u_torch, s_torch, vh_torch = torch.linalg.svd(a_tensor, full_matrices=False)
v_torch = vh_torch.T

# 调整符号对齐
for i in range(len(s_torch)):
    if torch.dot(u_torch[:, i], matlab_u_tensor[:, i]) < 0:
        u_torch[:, i] *= -1
        v_torch[:, i] *= -1

结果正确性说明 #

两组结果都是正确的，均满足SVD的定义$\mathbf{A} = \mathbf{U}\Sigma\mathbf{V}^T$。符号差异不会影响分解的有效性，在实际应用（如降维、矩阵近似）中，只要保持左、右奇异向量的符号对应一致，最终结果不会受影响。

内容的提问来源于stack exchange，提问作者Arpan Poudel