增广系统的Penrose逆：满列秩X下最小二乘2×2分块矩阵求逆咨询

先明确背景：当我们处理最小二乘问题 $\min_\beta |X\beta - y|_2^2$ 时，核心的正规方程是 $X^\top X \beta = X^\top y$。由于 $X \in \mathbb{R}^{m \times n}$ 满列秩（$m \geq n$），$X^\top X$ 是 $n \times n$ 的对称正定矩阵，必然可逆，解为 $\beta = (X^\top X)^{-1} X^\top y$。

假设我们把 $X^\top X$ 做分块处理，左上角的首个2×2子矩阵记为 $A$，即：

X^\top X = \begin{bmatrix} A & B \\ B^\top & C \end{bmatrix}

其中 $A \in \mathbb{R}^{2 \times 2}$，$B \in \mathbb{R}^{2 \times (n-2)}$，$C \in \mathbb{R}^{(n-2) \times (n-2)}$。因为 $X^\top X$ 正定，它的所有主子矩阵（包括A）也都是正定的，所以A一定可逆。

1. 直接计算2×2正定矩阵A的逆 #

对于任意2×2正定矩阵 $A = \begin{bmatrix} a & b \ b & c \end{bmatrix}$，它的行列式 $\det(A) = ac - b^2$（正定保证这个值大于0），逆矩阵可以直接用公式计算：

A^{-1} = \frac{1}{\det(A)} \begin{bmatrix} c & -b \\ -b & a \end{bmatrix}

举个实际例子：如果 $A = \begin{bmatrix} 2 & 1 \ 1 & 3 \end{bmatrix}$，行列式是 $23 - 11 = 5$，逆矩阵就是 $\frac{1}{5}\begin{bmatrix}3 & -1 \ -1 & 2\end{bmatrix}$，过程非常直观。

2. 如果需要求整个分块矩阵$(X^\top X)^{-1}$（依赖A的逆） #

如果你的目标是求整个 $X^\top X$ 的逆（而非仅A的逆），可以用分块矩阵逆公式，这个方法通过降维计算更高效，步骤如下：

• 先计算Schur补 $S = C - B^\top A^{-1} B$，这个矩阵同样是正定的（原矩阵正定的性质传递而来），因此可逆；
• 代入分块逆公式得到：

(X^\top X)^{-1} = \begin{bmatrix}
A^{-1} + A^{-1} B S^{-1} B^\top A^{-1} & -A^{-1} B S^{-1} \\
-S^{-1} B^\top A^{-1} & S^{-1}
\end{bmatrix}

这种方法在n远大于2时优势明显，能避免直接计算大型n×n矩阵的逆，节省计算资源。

方法的稳定性 #

因为 $X^\top X$ 是对称正定矩阵，它的主子矩阵A和Schur补S都保持正定特性，所以整个计算过程不会出现奇异矩阵的问题，数值稳定性有保障。

内容的提问来源于stack exchange，提问作者gohan