偏最小二乘（PLS）是否存在旋转模糊性及载荷符号歧义？

嘿，这个问题抓得很准！其实偏最小二乘（PLS）依然存在符号歧义，并没有因为X和Y两个数据块的约束就消除旋转模糊性，咱们来拆解清楚：

• 先看你给出的PLS核心模型：

  X = TP^T + E
  Y = TQ^T + F
  

  其中T是共享得分矩阵，P、Q分别是X和Y的载荷矩阵，E、F为残差项。

• 符号翻转的合理性：如果我们把得分矩阵T的任意一列t_k乘以-1，同时将P的对应列p_k和Q的对应列q_k也乘以-1，代入模型后会发现：

  • 对于X的重构：(T * (-1)) * ((-1)P)^T = TP^T，和原模型完全一致，残差E没有变化；
  • 对于Y的重构：(T * (-1)) * ((-1)Q)^T = TQ^T，残差F同样不受影响。

• 本质原因：PLS的核心目标是最大化X与Y得分之间的协方差，而协方差具有对称性——cov(t_k, u_k)（u_k为Y的得分向量）和cov(-t_k, -u_k)的结果完全相同。这意味着符号翻转后，算法的优化目标值没有任何变化，因此无法判定哪一种符号是“唯一正确”的。

• 和PCA对比：PCA里仅针对X数据，翻转得分与载荷的符号不影响X的重构；PLS虽然引入了Y的约束，但同步翻转T、P、Q的符号后，X和Y的拟合效果都不受影响，所以符号歧义依然存在。

内容的提问来源于stack exchange，提问作者hatmatrix