PCA与LDA何时会产生相同结果？二维空间示例探究

核心结论：什么时候二者结果重合？ #

PCA的目标是找到数据方差最大的方向，LDA则是寻找类间散度与类内散度比值最大的方向。在二维空间里，二者结果一致的场景主要有两种：

• 两类数据是同一分布的平移，且平移方向恰好是PCA的最大方差方向：比如两类都是相同方差的高斯分布，类中心沿PCA第一主成分方向拉开距离，此时LDA的最优投影方向就是PCA第一主成分。
• 类间差异集中在PCA的最小方差方向，且该方向的类内方差极小：这时候LDA会优先选择这个方向（因为比值极大），和PCA的第二主成分重合。

对你提到的示例图的分析 #

你说的那张图里，如果两类数据的类间差异主要体现在PCA的第二主成分方向（也就是方差最小的方向），同时该方向的类内方差远小于另一方向，那LDA的投影方向确实会和PCA的第二主成分完全一致。因为此时这个方向上，类间的差异足够大，而类内的离散程度极低，LDA的目标函数（类间/类内散度比）在这个方向上能取到最大值。

一个可复现的二维示例 #

手动构造两组数据就能直观验证：

• 类别A：点的x坐标服从均值0、方差0.1的正态分布，y坐标服从均值0、方差1的正态分布
• 类别B：点的x坐标服从均值2、方差0.1的正态分布，y坐标服从均值0、方差1的正态分布

对这组数据：

• PCA的第一主成分是y方向（方差最大，两类在y方向的离散程度都很高），第二主成分是x方向（方差最小，两类在x方向都很集中）
• LDA会选择x方向作为投影方向：因为x方向上类间散度是$(2-0)^2=4$，类内散度是$0.1+0.1=0.2$，比值为20；而y方向上类间散度是0，比值为0，显然x方向是最优解。此时LDA的结果就和PCA的第二主成分完全一致。

内容的提问来源于stack exchange，提问作者alexL