不同实现的PCA结果差异原因及正确性判定咨询

问题背景 #

我想找出数据中差异显著的方向，了解到可通过PCA（主成分分析）利用协方差矩阵的特征向量实现。但分别用NumPy和pca-js库计算PCA时，结果在特征值、特征向量符号上存在差异，想知道差异原因、哪组结果正确或是否均可用。

Python（NumPy）实现及输出 #

import numpy as np
matrix = np.array([
    [-0.5, 0.5],
    [1.5, 1.5]
])
covariance_matrix = np.cov(matrix[:,0], matrix[:,1])
eigen_values, eigen_vectors = np.linalg.eig(covariance_matrix)

print("eigen_vectors: ", eigen_vectors)
print("Eigen values: ", eigen_values)

输出：

eigen_vectors:  [[ 0.89442719 -0.4472136 ]
 [ 0.4472136   0.89442719]]
Eigen values:  [2.5 0. ]

JavaScript（pca-js）实现及输出 #

const output = PCA.getEigenVectors([
    [-0.5, 0.5],
    [1.5, 1.5]
])
console.log(output)

输出：

[
  {
    eigenvalue: 1.2499999999999998,
    vector: [ 0.8944271909999157, 0.4472135954999579 ]
  },
  {
    eigenvalue: 0,
    vector: [ 0.4472135954999579, -0.8944271909999159 ]
  }
]

差异原因与结果有效性分析 #

1. 特征值差异：协方差计算方式不同 #

NumPy的np.cov默认使用样本协方差（除以样本数n-1），而pca-js默认使用总体协方差（除以样本数n）。你的数据有2个样本：

• 样本协方差算出的特征值是2.5，对应总体协方差特征值1.25的2倍（因为2/(2-1)=2）
• pca-js的1.249999...是1.25的浮点近似值，符合总体协方差的计算逻辑

两种计算都合理，取决于你需要的是样本还是总体统计量。

2. 特征向量符号差异：特征向量的非唯一性 #

特征向量本身存在符号不确定性——如果v是某个特征值对应的特征向量，那么-v也是同一个特征值的有效特征向量，因为对称协方差矩阵满足A*(-v) = λ*(-v)。

对比两组结果：

• 第一主成分的特征向量完全一致
• 第二主成分的特征向量互为相反数，本质指向同一维度的相反方向，都是有效的主成分方向

3. 结果是否可用？ #

两组结果都完全可用：

• 若关注数据的差异方向，特征向量的符号不影响方向表达（只是正反方向，核心维度一致）
• 特征值的差异只需统一协方差计算方式即可：要和pca-js对齐，可在NumPy中用np.cov(..., ddof=0)计算总体协方差；要使用样本协方差，可手动调整pca-js的计算逻辑

内容的提问来源于stack exchange，提问作者allevo