求证$AA^+$是列空间上的投影矩阵（$A^+$为伪逆）

嘿，我来帮你补全Strang《线性代数导论》里这个没给出的证明～ 要确认$AA^+$是投影矩阵，核心就是验证它满足投影矩阵的关键性质：$P = P^2$，同时它确实是投影到$A$的列空间上的矩阵。咱们一步步拆解：

第一步：回忆伪逆的SVD定义 #

任何$m \times n$矩阵$A$都可以做奇异值分解（SVD）：
$$A = U\Sigma V^T$$
其中：

• $U$是$m \times m$正交矩阵（$U^T U = I_m$）
• $V$是$n \times n$正交矩阵（$V^T V = I_n$）
• $\Sigma$是$m \times n$对角矩阵，对角线上是$A$的$r$个非零奇异值$\sigma_1 \geq \sigma_2 \geq ... \geq \sigma_r > 0$（$r$是$A$的秩），其余位置为0

而$A$的伪逆$A^+$的定义基于SVD：
$$A^+ = V\Sigma^+ U^T$$
这里$\Sigma^+$是$\Sigma$的伪逆，是$n \times m$对角矩阵——对应$\Sigma$里的非零奇异值位置取倒数，其余位置为0。

第二步：计算$AA^+$并化简 #

把SVD代入$AA^+$：
$$
\begin{align*}
AA^+ &= U\Sigma V^T \cdot V\Sigma^+ U^T \
&= U\Sigma (V^T V) \Sigma^+ U^T \
&= U\Sigma I_n \Sigma^+ U^T \
&= U(\Sigma \Sigma^+) U^T
\end{align*}
$$
因为$V$是正交矩阵，$V^T V = I_n$，这一步化简很关键。

接下来看$\Sigma \Sigma^+$：这是一个$m \times m$的对角矩阵，前$r$个对角元是$\sigma_i \cdot \frac{1}{\sigma_i} = 1$，剩下的$m-r$个对角元是$0 \cdot 0 = 0$。我们记这个矩阵为$\Lambda$，显然$\Lambda$满足$\Lambda^2 = \Lambda$（对角元是1或0，平方后不变）。

第三步：验证$(AA⁺⁾2 = AA^+$ #

现在计算$(AA⁺⁾2$：
$$
\begin{align*}
(AA⁺⁾2 &= (U\Lambda U^T)(U\Lambda U^T) \
&= U\Lambda (U^T U) \Lambda U^T \
&= U\Lambda I_m \Lambda U^T \
&= U\Lambda^2 U^T \
&= U\Lambda U^T \
&= AA^+
\end{align*}
$$
这里再次用到了正交矩阵的性质$U^T U = I_m$，加上之前的$\Lambda^2 = \Lambda$，直接得到了$(AA⁺⁾2 = AA^+$，满足投影矩阵的核心条件。

额外补充：确认它是到列空间的投影 #

$A$的列空间由$U$的前$r$列张成（因为$A = U\Sigma V^T$，$VT$是正交变换不改变空间，$\Sigma$只保留前$r$列的非零分量）。而$AA^+ = U\Lambda U^T$，当它作用在任意向量上时，会把向量投影到$U$的前$r$列张成的空间——也就是$A$的列空间上，完全符合列空间投影矩阵的定义。

如果是列满秩的特殊情况（$r=n$），伪逆$A^+ = (A^T A)^{-1}AT$，那咱们也可以直接计算：
$$
(AA⁺⁾2 = A(A^T A)^{-1}AT A(A^T A)^{-1}AT = A(A^T A)^{-1}(AT A)(A^T A)^{-1}AT = A(A^T A)^{-1}AT = AA^+
$$
同样能得到结论，这也从侧面验证了一般情况的正确性。

内容的提问来源于stack exchange，提问作者helios321