求助推导简单线性回归（SLR）系数β₀、β₁的方差公式

别慌，我来一步步带你拆解这个问题——从定义X矩阵开始，到计算$(X'X)^{-1}$，再到提取方差，每一步都讲清楚，保证你能跟上！

首先明确简单线性回归的模型形式：
对于$t=1,2,…,T$，我们有：
Y_t = β₀ + β₁X_t + ε_t
其中$\varepsilon_t$是随机误差项，满足$E(\varepsilon_t)=0$，$Var(\varepsilon_t)=\sigma^2$，且误差项之间互不相关。

第一步：构造设计矩阵X #

在矩阵形式下，整个回归模型可以写成Y = Xβ + ε，其中：

• $Y$是$T×1$的因变量向量：Y = [Y₁, Y₂, ..., Y_T]^T
• $\beta$是$2×1$的参数向量：β = [β₀, β₁]^T
• $\varepsilon$是$T×1$的误差向量：ε = [ε₁, ε₂, ..., ε_T]^T
• 关键的设计矩阵$X$是$T×2$的矩阵，每一行对应一个观测值，第一列全为1（对应截距项β₀），第二列是自变量$X$的观测值：

X = [1  X₁;
     1  X₂;
     ... ...;
     1  X_T]

第二步：计算$X'X$ #

接下来计算$X$的转置乘以$X$，得到一个$2×2$的矩阵：

X'X = [Σ(1)    Σ(X_t);
       Σ(X_t)  Σ(X_t²)]

这里的求和都是从$t=1$到$T$，所以：

• 左上角元素：$\Sigma(1) = T$（因为有$T$个1相加）
• 右上角和左下角元素：$\Sigma(X_t) = T\bar{X}$，其中$\bar{X}$是自变量$X$的样本均值（$\bar{X}=\Sigma X_t/T$）
• 右下角元素：$\Sigma(X_t²) = T\bar{X}^2 + \Sigma(X_t - \bar{X})^2$（记$S_{xx}=\Sigma(X_t - \bar{X})^2$，也就是$X$的离均差平方和，这个变形后面会用到）

所以$X'X$可以改写为：

X'X = [T      T\bar{X};
       T\bar{X}  ΣX_t²]

第三步：求$(X'X)$的逆矩阵 #

对于$2×2$矩阵A = [a b; c d]，它的逆矩阵是(1/(ad-bc)) * [d -b; -c a]，其中$ad-bc$是矩阵$A$的行列式。

先计算$X'X$的行列式：
det(X'X) = T*ΣX_t² - (T\bar{X})^2 = T(\Sigma X_t² - T\bar{X}^2) = T*S_{xx}（因为$S_{xx}=\Sigma(X_t - \bar{X})^2=\Sigma X_t² - T\bar{X}^2$）

然后套用逆矩阵公式，得到：

(X'X)⁻¹ = (1/(T S_{xx})) * [ΣX_t²  -T\bar{X};
                          -T\bar{X}     T]

我们可以把这个矩阵拆解开，用$S_{xx}$和$\bar{X}$简化：

• 左上角元素：$\Sigma X_t²/(T S_{xx}) = (T\bar{X}^2 + S_{xx})/(T S_{xx}) = \bar{X}^2/S_{xx} + 1/T$
• 右下角元素：$T/(T S_{xx}) = 1/S_{xx}$
• 非对角元素：$-T\bar{X}/(T S_{xx}) = -\bar{X}/S_{xx}$

所以$(X'X)⁻¹$也可以写成：

(X'X)⁻¹ = [ (\bar{X}^2/S_{xx}) + 1/T   -\bar{X}/S_{xx};
            -\bar{X}/S_{xx}            1/S_{xx} ]

第四步：结合$Var(\hat{\beta})=\sigma^2(X'X)⁻¹$提取方差 #

根据你提到的矩阵形式方差公式Var(\hat{\beta}) = \sigma^2(X'X)⁻¹，$\hat{\beta}$是参数的估计量向量[\hat{\beta}_0, \hat{\beta}_1]^T，它的方差-协方差矩阵的对角元素就是各自的方差：

1. $\hat{\beta}_1$的方差：对应矩阵的右下角元素，所以：
   Var(\hat{\beta}_1) = \sigma^2 * (1/S_{xx}) = \sigma^2 / \Sigma(X_t - \bar{X})^2
   这就是我们熟悉的SLR中斜率估计量的方差公式。

2. $\hat{\beta}_0$的方差：对应矩阵的左上角元素，所以：
   Var(\hat{\beta}_0) = \sigma^2 * (\bar{X}^2/S_{xx} + 1/T) = \sigma^2*( (T\bar{X}^2 + S_{xx})/(T S_{xx}) )
   再把$S_{xx}$替换成$\Sigma(X_t - \bar{X})^2$，也可以写成：
   Var(\hat{\beta}_0) = \sigma^2*(1/T + \bar{X}^2/S_{xx})
   这也是SLR中截距估计量的方差公式。

可选验证 #

如果你对结果有疑问，可以回忆SLR中$\hat{\beta}_0$和$\hat{\beta}_1$的表达式：
\hat{\beta}_1 = \Sigma[(X_t - \bar{X})(Y_t - \bar{Y})] / S_{xx}
\hat{\beta}_0 = \bar{Y} - \hat{\beta}_1 \bar{X}
直接计算它们的方差，会得到和矩阵法完全一致的结果，这也能验证推导的正确性。

内容的提问来源于stack exchange，提问作者indiansrulz