均值为0时X′X/(n−1)是否为Σ的无偏估计?
结论
否
前提与符号约定
推导前先明确定义避免歧义:
- 取$p$维独立同分布随机样本$X_1,X_2,\dots,X_n$,总体均值向量已知为$\mu=0$,总体协方差矩阵$\Sigma = \text{Cov}(X_i) = E\left[X_iX_i'\right]$(均值为0时,协方差等于二阶原点矩)。
- $X$为$n\times p$的原始样本矩阵,第$i$行为$X_i$的转置,因此$X'X = \sum_{i=1}^n X_iX_i'$。
- 参考场景中$X_i$服从均值为0的多元正态分布,以下证明不需要依赖正态假设,仅要求总体二阶矩存在即可成立。
数学推导
无偏估计的判定标准是估计量的期望等于待估参数,即验证$E\left[\frac{X'X}{n-1}\right] = \Sigma$是否成立:
- 根据期望的线性性质,求和与期望可交换顺序,因此:
$$E\left[X'X\right] = E\left[\sum_{i=1}^n X_iX_i'\right] = \sum_{i=1}^n E\left[X_iX_i'\right]$$ - 结合已知条件$\mu=0$,每个样本的二阶原点矩都等于协方差矩阵,即$E\left[X_iX_i'\right] = \Sigma$,代入求和得:
$$\sum_{i=1}^n E\left[X_iX_i'\right] = n\Sigma$$ - 代入原估计量计算期望:
$$E\left[\frac{X'X}{n-1}\right] = \frac{1}{n-1}E\left[X'X\right] = \frac{n}{n-1}\Sigma \neq \Sigma$$
可以看到该估计量的期望比真实协方差矩阵多出$\frac{1}{n-1}\Sigma$的偏差,因此不是无偏估计。
补充说明
出现这个结果的核心原因是自由度的差异:
- 当总体均值$\mu$未知时,我们需要先用样本估计均值(损失1个自由度),再构造离均差叉积$\sum_{i=1}^n (X_i-\bar{X})(X_i-\bar{X})'$,该叉积的期望为$(n-1)\Sigma$,此时除以$n-1$得到的才是无偏估计,这个结论和总体均值的实际取值无关,也不需要正态分布假设。
- 当总体均值已知为0时,不需要额外估计均值,没有自由度损失,此时$\frac{X'X}{n}$才是$\Sigma$的无偏估计。
内容的提问来源于stack exchange,提问作者Atiq Ur Rehman
相关产品推荐
相关产品推荐

