关于半正定矩阵在机器学习中价值及$x^{T} A x \geq 0$的技术问询

云上老周

2026-5-19

嘿，这个问题问到点子上了——半正定矩阵在机器学习、优化甚至整个线性代数领域都是个“顶梁柱”一样的存在，我来给你掰扯清楚这几个疑问：

一、$x^T A x \geq 0$到底特殊在哪？

这个式子叫二次型，它的特殊性体现在几何和代数两个维度：

几何视角：把矩阵A看作一个线性变换，$x^T A x$其实是向量x和变换后的向量$Ax$的内积。内积非负意味着这两个向量的夹角≤90°，换句话说，A这个变换不会把向量“反转”到和原向量完全相反的方向，只会保持同向或者垂直，这种“不会反向”的性质带来了极强的稳定性。
代数视角：这个性质直接给矩阵A赋予了一堆好用的特性：
- 所有特征值非负，这让我们可以对A做各种友好的分解（比如Cholesky分解、谱分解），计算效率拉满；
- 如果把这个二次型当作函数$f(x)=x^T A x$，那它是凸函数——这在机器学习里太重要了！凸函数的优化问题只有全局最优解，不会出现那种让人头疼的局部陷阱，训练模型时能保证我们找到的解是靠谱的。

举几个你肯定见过的场景，一下子就懂了：

线性回归/最小二乘法：
这里A通常是特征矩阵的协方差矩阵$X^T X$（X是n×d的特征矩阵，n个样本d个特征），x可以是参数向量的增量$\Delta w$。这时候$x^T A x = x^T X^T X x = |Xx|^2$，本质是向量$Xx$的模长平方，自然非负。它代表的是“参数变化带来的预测误差变化量”，非负意味着我们调整参数不会让误差变成负数，完全符合现实逻辑。
核方法（比如SVM）：
A是核矩阵K，其中$K_{ij}=k(x_i,x_j)$是样本i和j的相似性。x是样本的权重向量$\alpha$，$x^T A x = \sum_{i,j} \alpha_i \alpha_j k(x_i,x_j)$，这是样本之间相似性的加权和，非负说明相似性的组合不会是负的——总不能说一堆样本的相似性加起来变成“负相似”吧？
深度学习的损失函数：
比如MSE损失展开后，Hessian矩阵（二阶导数矩阵）通常是半正定的。这时候x是模型参数的微小变化量，$x^T A x$代表损失函数在当前点的二阶近似值，非负说明损失函数在该点是“下凸”的，我们用梯度下降时不会越走越偏。

其实这就是半正定矩阵的定义——我们直接把满足“对所有非零向量x，$x^T A x \geq 0$”的对称矩阵叫做半正定矩阵。不过从根源上看，有两个直观的原因：

特征值角度：如果A是对称矩阵，它可以谱分解为$A=Q\Lambda Q^{T$（Q是正交矩阵，$\Lambda$是特征值对角矩阵）。代入二次型得$x}T A x = x^T Q\Lambda Q^T x = (Q^T x)^T \Lambda (Q^T x)$，令$y=Q^T x$，则式子变成$\sum_{i} \lambda_i y_i^2$。要让这个和对所有y都非负，每个特征值$\lambda_i$必须≥0——这就是半正定矩阵特征值非负的由来。
矩阵分解角度：任何半正定矩阵都可以写成$A=B^T B$（B是某个矩阵），这时候$x^T A x = x^T B^T B x = |Bx|^{2$，模长的平方肯定是非负的！而机器学习里很多半正定矩阵都是这么来的——比如$X}T X$就是$B=X$的情况，天然满足这个分解。

说白了，半正定矩阵的这个性质给机器学习带来了可解性和稳定性：它保证我们的优化问题有靠谱的解，计算上有成熟的算法支持，这就是它被反复研究的核心价值。

内容的提问来源于stack exchange，提问作者YohanRoth