基于3×3总体协方差矩阵的2×2子矩阵能否开展PCA并求解PC1、PC2特征向量?
关于协方差矩阵与PCA的两个问题解答
问题1:从3×3总体协方差矩阵提取的2×2矩阵能否进行PCA分析?
当然可以!PCA的核心要求是输入的协方差矩阵为半正定矩阵——而从合法的总体协方差矩阵(本身就是半正定/正定的)中提取的2×2主子式(比如取任意两个变量对应的子矩阵),必然也是半正定的,完全满足PCA的数学前提。
不过要明确:这个PCA是针对原3维数据中被选中的两个变量的降维分析,最终得到的主成分仅和这两个变量的协方差结构有关,与第三个变量无关。
问题2:若要获取原3×3矩阵对应数据的前两个主成分PC1和PC2,能否用指定的2×2矩阵计算特征向量?
绝对不行。原3维数据的主成分(PC1、PC2)是基于三个变量之间的全部协方差关系计算出的线性组合——它们不仅依赖于你选中的两个变量的协方差,还依赖于这两个变量与第三个变量的协方差项。
而你指定的2×2矩阵只包含了两个变量之间的协方差信息,完全忽略了第三个变量的影响。用它计算出的特征向量,只是这两个变量自身的主成分方向,和原3维数据的前两个主成分完全不是一回事。如果想得到原数据的PC1和PC2,必须基于完整的3×3协方差矩阵来做特征分解。
内容的提问来源于stack exchange,提问作者StatsMonkey




