含已知标准差高斯噪声的高斯分布样本方差误差估计咨询

首先，咱们先把问题用数学模型明确下来，这样推导起来更清晰：

• 真实数据来自目标高斯分布：$X_i \sim \mathcal{N}(\mu, \sigma^{2)$，你要估计的就是这个分布的方差$\sigma}2$
• 测量值带有已知标准差的高斯噪声：$Y_i = X_i + \varepsilon_i$，其中$\varepsilon_i \sim \mathcal{N}(0, \tau^2)$，$\tau$是你已知的噪声标准差
• 你拥有的是大样本$Y_1, Y_2, ..., Y_n$，需要估计$\sigma^2$的误差（也就是估计量的均方误差MSE）

你之前计算的$\frac{2}{n-1}\sigma^4$是无噪声情况下样本方差的MSE，但因为测量噪声的存在，这个结果确实会偏小——噪声会放大测量数据的离散程度，进而影响方差估计的误差，下面咱们一步步推导正确的结果：

步骤1：分析测量值的样本方差性质 #

首先，测量值$Y_i$的方差是$\text{Var}(Y_i) = \text{Var}(X_i) + \text{Var}(\varepsilon_i) = \sigma^2 + \tau^2$。

对于大样本，我们通常用样本方差$S_Y^2 = \frac{1}{n-1}\sum_{i=1}^n (Y_i - \bar{Y})^{2$来估计$Y$的方差，它的期望是$\mathbb{E}[S_Y}2] = \sigma^2 + \tau^{2$——这意味着直接用$S_Y}2$估计$\sigma^2$是有偏的，必须先修正。

步骤2：构造$\sigma^2$的无偏估计量 #

我们可以通过减去已知的噪声方差，得到$\sigma^2$的无偏估计：
$$\hat{\sigma}^2 = S_Y^2 - \tau^2$$
因为$\mathbb{E}[\hat{\sigma}^2] = \mathbb{E}[S_Y^2] - \tau^2 = \sigma^2$，满足无偏性要求。

步骤3：计算修正后估计量的MSE #

对于无偏估计量，均方误差MSE就等于它的方差，所以我们只需要计算$\text{Var}(\hat{\sigma}^2)$。

由于$\hat{\sigma}^2$和$S_Y2$只差一个常数$\tau^{2$，所以$\text{Var}(\hat{\sigma}}2) = \text{Var}(S_Y^2)$。

对于高斯分布的样本方差，有一个经典的大样本近似结论：样本方差的方差约为$\frac{2(\text{Var}(Y))^2}{n-1}$。代入$\text{Var}(Y) = \sigma^2 + \tau^2$，就能得到：
$$\text{MSE}(\hat{\sigma}^2) = \text{Var}(\hat{\sigma}^2) = \frac{2(\sigma^2 + \tau²⁾2}{n-1}$$

如果是极大样本，$n-1 \approx n$，可以进一步简化为：
$$\text{MSE}(\hat{\sigma}^2) \approx \frac{2(\sigma^2 + \tau²⁾2}{n}$$

步骤4：实际计算时的近似方法 #

如果你不知道真实的$\sigma^{2$（这肯定是常态），可以用你得到的无偏估计$\hat{\sigma}}2 = S_Y^2 - \tau^2$代入公式，得到MSE的估计值：
$$\widehat{\text{MSE}} = \frac{2(\hat{\sigma}^2 + \tau²⁾2}{n-1} = \frac{2(S_Y²⁾2}{n-1}$$
因为$\hat{\sigma}^2 + \tau^2 = S_Y^2$，这个替换非常方便。

对比你之前的结果 #

你之前的结果$\frac{2}{n-1}\sigma^{4$没有考虑噪声$\tau}2$，而正确的MSE展开后是$\frac{2}{n-1}(\sigma^4 + 2\sigma^2\tau2 + \tau^4)$，明显比你之前的结果大，这也解释了为什么你觉得之前的数值偏小。

内容的提问来源于stack exchange，提问作者McLawrence