关于方差-协方差矩阵合法性判定的疑问

你提到的这个问题其实是很多刚接触协方差矩阵的人都会踩的坑——只记住了对角线是方差（非负）、非对角线是协方差（对称相等）这两个表面特征，但忽略了协方差矩阵最核心的一个性质：它必须是半正定矩阵。

举个典型的反例，比如这个$2×2$矩阵：

[[1, 3],
 [3, 1]]

看起来它满足对角线非负、非对角线对称的要求，但它为什么不能作为协方差矩阵？

原因很简单：我们可以通过计算它的特征值来判断半正定性。对于这个矩阵，特征值的计算是解方程$\det(\lambda I - A)=0$，也就是：
$$\det\begin{pmatrix} \lambda-1 & -3 \ -3 & \lambda-1 \end{pmatrix}=(\lambda-1)^2 - 9 = 0$$
解得$\lambda_1=4$，$\lambda_2=-2$。这里出现了负特征值，说明这个矩阵不是半正定的，自然不能作为协方差矩阵。

那为什么协方差矩阵必须半正定？本质上，协方差矩阵可以表示为某个随机向量$X$的$E[(X-E[X])(X-E[X])^{T]$，对于任意非零向量$v$，二次型$v}T \Sigma v = \text{Var}(v^T X)$，而方差肯定是非负的，所以$v^T \Sigma v \geq 0$对所有$v$成立，这就要求$\Sigma$是半正定矩阵。

总结一下，一个矩阵要成为合法的方差-协方差矩阵，需要同时满足三个条件：

• 是对称矩阵（非对角线元素两两相等）
• 对角线元素全为非负数（因为是方差）
• 是半正定矩阵（二次型非负，或者所有特征值非负，或者所有顺序主子式非负）

内容的提问来源于stack exchange，提问作者userNoOne