正则化最小二乘解的两种等价形式推导疑问

嘿，这个问题其实很好解释，我们可以用奇异值分解（SVD）或者矩阵恒等式来证明这两种解的形式是完全等价的，我给你一步步拆解：

首先我们先明确两个待证明等价的解形式：

• 从正规方程推导出来的解：$x = (A^T A + \delta I)^{-1} A^T y$
• 教授提到的另一种形式：$x = A^T (A A^T + \delta I)^{-1} y$

方法一：用奇异值分解（SVD）证明 #

假设矩阵$A$的奇异值分解为：
$$A = U \Sigma V^T$$
其中：

• $U$是$m \times m$的正交矩阵（$U^T U = I$）
• $V$是$n \times n$的正交矩阵（$V^T V = I$）
• $\Sigma$是$m \times n$的对角矩阵，对角元素为$A$的奇异值$\sigma_i \geq 0$

我们分别代入两种解的形式进行计算：

计算第一种解

先推导$A^T A + \delta I$的逆：
$$A^T A = V \Sigma^T \Sigma V^T$$
$$A^T A + \delta I = V (\Sigma^T \Sigma + \delta I) V^T$$
由于正交矩阵的逆等于转置，所以它的逆为：
$$(A^T A + \delta I)^{-1} = V (\Sigma^T \Sigma + \delta I)^{-1} V^T$$

代入第一种解：
$$
\begin{align*}
x &= (A^T A + \delta I)^{-1} A^T y \
&= V (\Sigma^T \Sigma + \delta I)^{-1} V^T \cdot V \Sigma^T U^T y \
&= V (\Sigma^T \Sigma + \delta I)^{-1} \Sigma^T U^T y
\end{align*}
$$

计算第二种解

同样推导$A A^T + \delta I$的逆：
$$A A^T = U \Sigma \Sigma^T U^T$$
$$A A^T + \delta I = U (\Sigma \Sigma^T + \delta I) U^T$$
它的逆为：
$$(A A^T + \delta I)^{-1} = U (\Sigma \Sigma^T + \delta I)^{-1} U^T$$

代入第二种解：
$$
\begin{align*}
x &= A^T (A A^T + \delta I)^{-1} y \
&= V \Sigma^T U^T \cdot U (\Sigma \Sigma^T + \delta I)^{-1} U^T y \
&= V \Sigma^T (\Sigma \Sigma^T + \delta I)^{-1} U^T y
\end{align*}
$$

关键等式验证

现在只需要证明：
$$(\Sigma^T \Sigma + \delta I)^{-1} \Sigma^T = \Sigma^T (\Sigma \Sigma^T + \delta I)^{-1}$$

看对角矩阵的元素：对于每个奇异值$\sigma_i$，左边对应的元素是$\frac{1}{\sigma_i^2 + \delta} \cdot \sigma_i = \frac{\sigma_i}{\sigma_i^2 + \delta}$；右边对应的元素是$\sigma_i \cdot \frac{1}{\sigma_i^2 + \delta} = \frac{\sigma_i}{\sigma_i^2 + \delta}$，两者完全相等。因此整个矩阵等式成立，两种解的形式自然等价。

方法二：用矩阵反演引理 #

如果你熟悉矩阵反演引理（Woodbury公式的特例），也可以直接推导这个核心等式：
$$(A^T A + \delta I)^{-1} A^T = A^T (A A^T + \delta I)^{-1}$$

我们可以对等式两边同时右乘$(A A^T + \delta I)$，左乘$(A^T A + \delta I)$，验证等式是否成立：
$$
\begin{align*}
(A^T A + \delta I) A^T (A A^T + \delta I) &= A^T (A A^T + \delta I) (A^T A + \delta I)
\end{align*}
$$

展开左边：
$$(A^T A)A^T(A A^T) + \delta(A^T A)A^T + \delta A^T(A A^T) + \delta^2 A^T$$

展开右边：
$$A^T(A A^T)(AT A) + \delta A^T(A A^T) + \delta A^T(AT A) + \delta^2 A^T$$

显然两边的每一项都完全对应相等，因此核心等式成立，两种解的形式等价。

总之，这两种形式只是同一个解的不同写法，背后是矩阵运算的恒等变换，教授说的完全没错~

备注：内容来源于stack exchange，提问作者Dude156