Sklearn PCA在Mac上结果不唯一且大样本报SVD不收敛错误

我来帮你拆解下这两个关联的问题，它们本质都是数值计算稳定性和SVD分解特性共同导致的：

问题1：PCA每次运行结果不唯一 #

你观察到的每次explained_variance_输出不同，核心原因是数据的协方差矩阵存在多个数值近似相等的奇异值。这种情况下，SVD分解得到的主成分方向并不唯一，而sklearn的PCA在处理这类奇异场景时，不同系统的BLAS/LAPACK底层实现可能引入随机性（Mac和Linux的线性代数库差异会放大这个问题），导致每次拟合结果出现波动。

另外你用np.ndarray(90)创建的测试数据是未初始化的随机数组，数值分布极端混乱，这会进一步加剧奇异值的不确定性，让结果差异更明显。

问题2：样本行数超过60时SVD收敛失败 #

当样本数超过60后触发LinAlgError: SVD did not converge，本质是数据的数值稳定性太差：

• 你的数据是90维特征，当样本数小于特征数时，数据矩阵的秩最多等于样本数，协方差矩阵本身是奇异的，但样本数较小时数值计算还能勉强完成；当样本数超过60后，矩阵的数值条件数变得极差，SVD算法无法完成收敛。
• 未初始化数组带来的极端异常值，会彻底破坏数值稳定性，直接触发报错。

解决方案 #

针对这两个问题，你可以按以下步骤修复：

1. 标准化数据，提升数值稳定性
   先对数据做标准化处理，把特征缩放到均值为0、方差为1的范围，这能大幅降低数值计算的波动：

   from sklearn.preprocessing import StandardScaler
   scaler = StandardScaler()
   df_scaled = scaler.fit_transform(df)
   

2. 指定SVD求解器，固定随机种子
   sklearn的PCA默认用auto求解器，在奇异场景会切换到随机SVD。你可以指定svd_solver='full'（精确SVD），并设置random_state固定随机种子，确保结果完全可复现：

   pca = PCA(n_components=2, svd_solver='full', random_state=42)
   

3. 过滤冗余特征
   如果数据中存在完全线性相关的特征（比如重复列），会导致协方差矩阵奇异，建议先过滤这类特征：

   from sklearn.feature_selection import VarianceThreshold
   selector = VarianceThreshold()
   df_filtered = selector.fit_transform(df)
   

4. 修正测试数据生成方式
   用np.ndarray(90)创建未初始化数组是不规范的，换成标准随机数生成函数生成有合理分布的数据：

   import pandas as pd
   import numpy as np
   df = pd.DataFrame(np.random.randn(100, 90))  # 100行90列的正态分布数据
   

验证修改后的代码 #

整合所有步骤后，代码就能稳定运行且结果一致：

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
import pandas as pd
import numpy as np

# 生成规范测试数据
df = pd.DataFrame(np.random.randn(100, 90))
# 标准化处理
scaler = StandardScaler()
df_scaled = scaler.fit_transform(df)
# 初始化稳定的PCA实例
pca = PCA(n_components=2, svd_solver='full', random_state=42)

for i in range(5):
    pca.fit_transform(df_scaled)
    print(pca.explained_variance_)

运行后你会发现每次输出的explained_variance_完全相同，也不会再触发SVD收敛错误。

内容的提问来源于stack exchange，提问作者Timo