PCA降维中第一主成分最大方差含义及方向选取咨询

问题1：“第一主成分具有最大方差”的具体含义 #

你可以把主成分理解为针对当前数据集重新构造的新坐标轴方向，“第一主成分具有最大方差”指的是：

• 把所有原始数据点投影到第一主成分对应的方向上，得到的一维投影值的方差，是所有可能的投影方向里最高的。

举个最直观的二维例子：如果你的数据散点图画出来是一个斜着拉长的椭圆，沿着椭圆长轴方向投影时，点会拉得最分散，投影值的差异最大，方差最高；如果沿着垂直长轴的短轴方向投影，所有点都会挤在很窄的区间里，方差很小。
这个设计的逻辑非常直接：降维本质是丢信息的过程，投影后方差越小，代表不同样本在这个方向上的区分度越低，压缩后丢失的信息越多。优先选方差最大的方向做第一主成分，就是为了在单维度上尽可能保留最多的原始数据差异信息。
注意：这里说的方差是投影后新坐标值的方差，不是原始数据在x、y这类原生维度上的方差。

问题2：三维数据降维到二维时，第一主成分是沿x轴还是y轴方向？ #

很多刚接触PCA的人会有这个误解，以为主成分要对齐原始坐标轴——实际上第一主成分既不固定沿x轴，也不固定沿y轴，甚至和z轴也没有预先绑定的关系。
PCA寻找主成分方向时完全不会受原始坐标系的约束，它的方向完全由数据本身的分布决定：哪个方向上投影能得到最大的方差，第一主成分就指向哪个方向。

举几个实际场景的例子：

• 如果你的三维数据整体沿着z轴方向拉长分布，那第一主成分方向就几乎和z轴重合
• 如果数据整体沿着x、y轴45度角的方向拉长，那第一主成分就指向这个45度角方向，和三个原始坐标轴都存在夹角
• 如果你把原始数据整体做个旋转变换，甚至把x、y、z三个维度的顺序打乱重排，第一主成分在空间里指向的实际方向都不会变，只是它在新的原始坐标系下的坐标表示会跟着变化而已。

从计算逻辑上说，所有主成分本质都是原始数据协方差矩阵的特征向量，第一主成分就是最大特征值对应的特征向量，它的方向只和数据本身的协方差结构有关，和你给原始维度起的x/y/z这类命名、原始坐标轴的朝向没有任何关系。 #

内容的提问来源于stack exchange，提问作者William