关于矩阵2-范数||A||₂ = √(max|λᵢ(AᵀA)|)的证明思路问询

嘿，这个证明从2-范数的核心定义切入就很容易理清啦，我给你拆解下关键步骤：

• 首先回忆矩阵2-范数的定义：$||A||2 = \max{\boldsymbol{x} \neq \boldsymbol{0}} \frac{||A\boldsymbol{x}||_2}{||\boldsymbol{x}||_2}$，这里的$||\cdot||_2$是向量的欧几里得范数。
• 因为范数是非负的，最大化$\frac{||A\boldsymbol{x}||_2}{||\boldsymbol{x}||_2}$等价于最大化它的平方，这样能简化计算：
  $$\left( \frac{||A\boldsymbol{x}||_2}{||\boldsymbol{x}||_2} \right)^2 = \frac{(A\boldsymbol{x})^{T(A\boldsymbol{x})}{\boldsymbol{x}}T \boldsymbol{x}}$$
• 展开分子的转置运算：$(A\boldsymbol{x})^T(A\boldsymbol{x}) = \boldsymbol{x}^T A^T A \boldsymbol{x}$，此时问题转化为求$\max_{\boldsymbol{x} \neq \boldsymbol{0}} \frac{\boldsymbol{x}^T A^T A \boldsymbol{x}}{\boldsymbol{x}^T \boldsymbol{x}}$
• 这里要注意，$A^T A$是半正定对称矩阵：对称是因为$(A^T A)^T = A^T A$，半正定是因为对任意向量$\boldsymbol{x}$，$\boldsymbol{x}^T A^T A \boldsymbol{x} = ||A\boldsymbol{x}||_2^2 \geq 0$。
• 对于对称矩阵，它的Rayleigh商$\frac{\boldsymbol{x}^T M \boldsymbol{x}}{\boldsymbol{x}^T \boldsymbol{x}}$有个关键性质：最大值等于矩阵$M$的最大特征值，最小值等于最小特征值。
• 所以$\max_{\boldsymbol{x} \neq \boldsymbol{0}} \frac{\boldsymbol{x}^T A^T A \boldsymbol{x}}{\boldsymbol{x}^T \boldsymbol{x}} = \max \lambda_i(A^T A)$，再开根号就得到$||A||_2 = \sqrt{\max \lambda_i(A^T A)}$。又因为$A^T A$的特征值都是非负的，所以绝对值符号可以去掉哦~

备注：内容来源于stack exchange，提问作者cmc