如何在Python中使用PCA求解最佳拟合直线？对比SVD实现差异

两者的核心关联 #

PCA（主成分分析）的目标是找到数据方差最大的方向，这个方向就是最佳拟合直线的方向。计算主成分有两种等价方式：

• 对中心化数据的协方差矩阵做特征值分解，最大特征值对应的特征向量就是主成分方向。
• 直接对中心化后的数据矩阵做SVD，得到的右奇异矩阵V的第一行（或左奇异矩阵U的第一列）就是主成分方向。
  你原代码中对协方差矩阵做SVD，本质上和对协方差矩阵做特征值分解等价——因为协方差矩阵是对称矩阵，其SVD的U矩阵就是特征向量矩阵，奇异值是特征值的平方根。

原SVD实现（带中文注释） #

import numpy as np

# 示例三维点集
points = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# 数据中心化：减去均值，消除平移影响
mean_point = np.mean(points, axis=0)
centered_points = points - mean_point

# 计算协方差矩阵（rowvar=False表示每列是一个特征）
covariance_matrix = np.cov(centered_points, rowvar=False)

# 对协方差矩阵做SVD分解
U, s, V = np.linalg.svd(covariance_matrix)

# U的第一列就是方差最大的方向（最佳拟合直线的方向向量）
normal = U[:, 0]

print("最佳拟合直线方向向量:", normal)

PCA的两种实现方式 #

方式1：基于协方差矩阵的特征值分解 #

这是PCA的标准实现逻辑，直接求解协方差矩阵的特征值和特征向量：

import numpy as np

points = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# 数据中心化
mean_point = np.mean(points, axis=0)
centered_points = points - mean_point

# 计算协方差矩阵
covariance_matrix = np.cov(centered_points, rowvar=False)

# 求解协方差矩阵的特征值和特征向量
eigenvalues, eigenvectors = np.linalg.eig(covariance_matrix)

# 找到最大特征值对应的索引，取出对应的特征向量
max_eigen_idx = np.argmax(eigenvalues)
normal = eigenvectors[:, max_eigen_idx]

print("PCA（特征值分解）最佳拟合直线方向向量:", normal)

方式2：直接对中心化数据做SVD #

这种方式跳过协方差矩阵计算，直接对中心化后的数据矩阵做SVD，在样本量远大于特征数时更高效：

import numpy as np

points = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# 数据中心化
mean_point = np.mean(points, axis=0)
centered_points = points - mean_point

# 对中心化数据做SVD分解（矩阵维度为n_samples × n_features）
U, s, Vh = np.linalg.svd(centered_points, full_matrices=False)

# Vh的第一行就是主成分方向（和其他方式结果一致）
normal = Vh[0, :]

print("PCA（直接SVD）最佳拟合直线方向向量:", normal)

代码实现差异对比 #

注：三种方式得到的方向向量可能符号相反（特征向量/奇异向量方向不唯一），但都代表同一条直线，不影响拟合效果。

内容的提问来源于stack exchange，提问作者Joan Venge