线性回归斜率替代估计量的偏差与MSE计算方法问询

让我们一步步拆解这个问题，从偏差计算开始，再到均方误差，最后聊聊这个估计量的特性和实际处理方式：

首先明确偏差的定义：估计量的偏差等于其期望减去真实参数值，即：
$$Bias(\beta_1') = E[\beta_1'] - \beta_1$$

我们基于经典线性回归的真实模型展开推导：假设数据生成过程为$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$，其中$E[\epsilon_i] = 0$，$\bar{y} = \beta_0 + \beta_1 \bar{x} + \bar{\epsilon}$（$\bar{\epsilon} = \frac{1}{n}\sum_{i=1}^n \epsilon_i$）。由此可以推导出：
$$y_i - \bar{y} = \beta_1(x_i - \bar{x}) + (\epsilon_i - \bar{\epsilon})$$

将这个式子代入$\beta_1'$的表达式：
$$
\beta_1' = \frac{1}{n}\sum_{i=1}^{n}\frac{\beta_1(x_i - \bar{x}) + (\epsilon_i - \bar{\epsilon})}{x_i - \bar{x}} = \beta_1 + \frac{1}{n}\sum_{i=1}^{n}\frac{\epsilon_i - \bar{\epsilon}}{x_i - \bar{x}}
$$

对两边取期望：由于$x_i$在经典假设下是非随机的，且$E[\epsilon_i] = E[\bar{\epsilon}] = 0$，因此：
$$
E[\beta_1'] = \beta_1 + \frac{1}{n}\sum_{i=1}^{n}\frac{E[\epsilon_i] - E[\bar{\epsilon}]}{x_i - \bar{x}} = \beta_1
$$

最终可得偏差为：
$$Bias(\beta_1') = E[\beta_1'] - \beta_1 = 0$$

注意：这个结论的前提是所有$x_i \neq \bar{x}$，否则$\beta_1'$会因为分母为0而无定义。

均方误差的定义是估计量的方差加上偏差的平方，即：
$$MSE(\beta_1') = Var(\beta_1') + [Bias(\beta_1')]^2$$

由于我们已经得出$Bias(\beta_1') = 0$，因此$MSE(\beta_1') = Var(\beta_1')$，接下来只需计算$\beta_1'$的方差。

首先将$\beta_1'$的随机部分单独提取：
$$\beta_1' - \beta_1 = \frac{1}{n}\sum_{i=1}^{n}\frac{\epsilon_i - \bar{\epsilon}}{x_i - \bar{x}}$$

展开$\epsilon_i - \bar{\epsilon} = \epsilon_i - \frac{1}{n}\sum_{j=1}^n \epsilon_j$，并利用方差和协方差的性质（假设$\epsilon_i$独立同分布，$Var(\epsilon_i) = \sigma^2$，$Cov(\epsilon_i, \epsilon_j)=0$当$i \neq j$），经过推导可得：
$$
Var(\beta_1') = \frac{\sigma^2}{n2}\left[ \sum_{i=1}^n \frac{1}{(x_i - \bar{x})^2} - \frac{1}{n}\left( \sum_{i=1}^n \frac{1}{x_i - \bar{x}} \right)^2 \right]
$$

因此，$\beta_1'$的均方误差就是上述方差表达式。

这个估计量在理论和实践中都有不少特殊点，我们逐一梳理：

• 存在性限制：必须满足所有$x_i \neq \bar{x}$，否则估计量直接无定义。实际数据分析中，很容易出现某个$x_i$等于均值的情况，这是它的一大硬伤。
• 无偏性：在经典线性回归假设下，它是无偏估计量，这是它为数不多的理论优点，但这个优点被其他缺点完全掩盖。
• 极差的稳健性与高方差：它的方差对接近$\bar{x}$的$x_i$极其敏感——只要有一个$x_i$离均值很近，分母$(x_i - \bar{x})$就会很小，对应的项会急剧放大整个估计量的波动。相比之下，OLS估计量$\hat{\beta_1}$的方差是$\frac{\sigma^{2}{\sum_{i=1}}n (x_i - \bar{x})^2}$，稳定性远高于这个估计量。
• 非一致性：即使样本量$n$不断增大，$\beta_1'$的方差也不会收敛到0（除非所有$x_i$与$\bar{x}$的距离都随$n$增大而无限变大，这在实际中不可能），因此它不是一致估计量，而OLS估计量是一致的。
• 对异常值极度敏感：如果某个$y_i$是异常值，同时对应的$x_i$接近$\bar{x}$，这个点会极大地扭曲$\beta_1'$的结果，远超过OLS估计量受异常值的影响。

总的来说，这个估计量仅在理论上有讨论价值，实际数据分析中几乎不会使用它——OLS估计量在无偏性、稳定性、一致性等方面都远优于它。

内容的提问来源于stack exchange，提问作者galah92