关于OLS回归系数估计量抽样方差的相关技术疑问

1. 斜率估计量的抽样方差是否随样本变化？ #

首先纠正一个公式笔误：$\hat{\beta}_1$的真实抽样方差应为：
$$Var[\hat{\beta}1]=\frac{\sigma^2}{\sum{i = 1}^{n}(x_i - \bar{x})^2}$$
（原公式分母缺少平方，否则求和结果为0，无实际意义）

这个问题的答案取决于对自变量$X$的假设：

• 经典固定X假设：如果$X$被视为非随机变量（抽样前$X$的取值已确定），那么$\sum_{i=1}^{n(x_i-\bar{x})}2$是固定值，此时$Var[\hat{\beta}_1]$为常数，不会随样本变化。
• 随机X假设：如果$X$是随机变量（与误差项$\epsilon$独立），$\sum_{i=1}^{n(x_i-\bar{x})}2$会随样本中$X$的取值波动，因此$Var[\hat{\beta}_1]$是样本的函数，会因样本不同而改变。

2. $Var[\hat{\beta}_1]$的样本估计是否正确？ #

你的核心思路是对的，但需要补充两个关键细节：

• 残差的无偏方差估计应为$\hat{\sigma}^2 = \frac{RSS}{n-2}$，其中$RSS = \sum_{i=1}^{n\hat{\epsilon}_i}2$（$RSS$为残差平方和）。直接计算残差的样本方差会低估真实的$\sigma^2$，因此需要用自由度$n-2$（回归模型有2个待估参数$\beta_0$和$\beta_1$）进行调整。
• 正确的样本估计量应为：
  $$\widehat{Var}[\hat{\beta}1] = \frac{\hat{\sigma}^2}{\sum{i = 1}^{n}(x_i - \bar{x})^2}$$

这个估计量是对真实$Var[\hat{\beta}_1]$的合理估计，在经典假设下具备良好的统计性质。

3. 如何计算$\widehat{Var}[\hat{\beta}_1]$的偏差？ #

偏差的定义为$Bias[\widehat{Var}[\hat{\beta}_1]] = E[\widehat{Var}[\hat{\beta}_1]] - Var[\hat{\beta}_1]$，分两种场景讨论：

• 固定X场景：此时$Var[\hat{\beta}_1]$是常数，且$\hat{\sigma}^2$是$\sigma2$的无偏估计（即$E[\hat{\sigma}^2]=\sigma2$），因此：
  $$E[\widehat{Var}[\hat{\beta}_1]] = \frac{E[\hat{\sigma}^{2]}{\sum_{i=1}}n(x_i-\bar{x})^2} = \frac{\sigma^{2}{\sum_{i=1}}n(x_i-\bar{x})^2} = Var[\hat{\beta}_1]$$
  偏差为0，说明该估计量是无偏的。
• 随机X场景：通常考虑无条件偏差（对$X$和$\epsilon$的联合期望）。在正态误差假设下，$\hat{\sigma}^{2$与$X$的函数$\sum_{i=1}}n(x_i-\bar{x})^2$独立，因此：
  $$E[\widehat{Var}[\hat{\beta}1]] = E\left[\frac{\hat{\sigma}^{2}{\sum_{i=1}}n(x_i-\bar{x})^2}\right] = E[\hat{\sigma}^2] \cdot E\left[\frac{1}{\sum{i=1}^{n(x_i-\bar{x})}2}\right]$$
  而真实的无条件期望$E[Var[\hat{\beta}1]] = \sigma^2 \cdot E\left[\frac{1}{\sum{i=1}^{n(x_i-\bar{x})}2}\right]$，结合$E[\hat{\sigma}^2]=\sigma2$，可得：
  $$E[\widehat{Var}[\hat{\beta}_1]] = E[Var[\hat{\beta}_1]]$$
  因此无条件偏差也为0。若考虑条件偏差（给定样本$X$），则与固定X场景一致，偏差为0。

内容的提问来源于stack exchange，提问作者Jingyang Zhang