证明简单线性回归中SSE与回归系数估计量的独立性

嘿，这个问题问到点子上了——从“不相关”推“独立”确实得靠联合正态性这个关键前提，我来一步步给你捋清楚整个证明逻辑：

第一步：先确认回归系数估计量的联合正态性 #

我们的前提是$\epsilon_i \sim N(0, \sigma^2)$独立同分布，所以响应变量$y_i = \beta_0 + \beta_1x_i + \epsilon_i$本身就是联合正态向量（独立正态变量的联合分布天然是多元正态的）。

而最小二乘估计量$b_0$和$b_1$本质上都是$y_i$的线性组合：

• $b_1 = \frac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n (x_i-\bar{x})^2} = \sum_{i=1}^n c_i y_i$，其中$c_i = \frac{x_i-\bar{x}}{\sum_{j=1}^n (x_j-\bar{x})^2}$
• $b_0 = \bar{y} - b_1\bar{x} = \sum_{i=1}^n \left(\frac{1}{n} - \bar{x}c_i\right)y_i$

对于多元正态向量来说，任何线性变换后的结果仍然是多元正态向量，所以$(b_0, b_1)$构成的二维向量服从联合正态分布。

第二步：证明SSE与$(b_0, b_1)$的协方差为0 #

我们先把SSE写成残差的平方和：$SSE = \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \mathbf{e}^T\mathbf{e}$，其中$\mathbf{e} = y - \hat{y}$是残差向量，$\hat{y} = Hy$（$H$是帽子矩阵，也就是投影矩阵，$\hat{y}$是$y$在设计矩阵张成空间上的投影）。

回归系数估计量可以写成$\mathbf{b} = (b_0, b_1)^T = (X^TX){-1}X^Ty$（$X$是设计矩阵，第一列全1，第二列是$x_i$）。现在计算$\mathbf{b}$和$\mathbf{e}$的协方差：
$$
Cov(\mathbf{b}, \mathbf{e}) = Cov\left((X^TX){-1}X^Ty, (I-H)y\right)
$$
因为$Cov(y,y) = \sigma^2 I$，且$H^T = H$、$H = X(X^TX){-1}X^T$，代入后可以化简：
$$
Cov(\mathbf{b}, \mathbf{e}) = (X^TX){-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 (X^TX){-1}X^T(I - H)
$$
再代入$H$的表达式展开：
$$
(X^TX){-1}X^T(I - X(X^TX){-1}X^T) = (X^TX){-1}X^T - (X^TX){-1}X^TX(XTX)^{-1}XT = 0
$$
所以$Cov(\mathbf{b}, \mathbf{e}) = 0$，这意味着$\mathbf{b}$和$\mathbf{e}$不相关，自然$SSE = \mathbf{e}^T\mathbf{e}$和$\mathbf{b}=(b_0,b_1)$也不相关。

第三步：利用联合正态性推导独立性 #

现在关键的一步来了：我们已经知道：

1. $\mathbf{b}=(b_0,b_1)$是联合正态的
2. 残差向量$\mathbf{e}$也是$y$的线性变换，所以同样是联合正态的
3. $\mathbf{b}$和$\mathbf{e}$的联合分布也是多元正态的（因为两个正态向量的联合分布如果它们的线性组合都是正态的，就满足多元正态的定义，这里显然成立）

对于多元正态分布来说，“不相关”和“独立”是等价的——只要两个随机向量的协方差矩阵为0，它们就相互独立。而$SSE$是$\mathbf{e}$的函数，所以$SSE$自然和$\mathbf{b}=(b_0,b_1)$独立。

这样就完整证明了你要的结论：SSE和$b_0$、$b_1$都是独立的。

备注：内容来源于stack exchange，提问作者ashpool