求证简单线性回归中随机误差ε与拟合值ŷ相互独立

首先得明确：教材里的这个结论是基于经典线性回归的Gauss-Markov+正态性假设的，先把这些前提列出来（不然推导站不住脚）：

• $\Bbb E[\epsilon] = 0$（误差项的期望为0）
• $\text{Var}(\epsilon) = \sigma^2$（同方差假设）
• 误差项$\epsilon$与自变量$x$相互独立
• 误差项$\epsilon$服从正态分布$\mathcal{N}(0, \sigma^2)$
• 不同观测的误差项互不相关

第一步：从协方差角度拆解已知条件 #

题目里给的$\Bbb E[\epsilon \hat y] = \Bbb E[\epsilon]\Bbb E[\hat y]$，其实就是在说$\epsilon$和$\hat y$的协方差为0——因为协方差的定义是：
$$\text{Cov}(\epsilon, \hat y) = \Bbb E[\epsilon \hat y] - \Bbb E[\epsilon]\Bbb E[\hat y]$$
代入已知条件直接可得$\text{Cov}(\epsilon, \hat y)=0$，也就是二者不相关。

第二步：为什么不相关能推出独立？ #

这就得用到正态分布的核心性质了：如果两个随机变量都服从正态分布，且它们的协方差为0，那么这两个变量相互独立。

那我们需要确认$\hat y$是不是正态变量：

• 拟合值$\hat y = \hat\beta_0 + \hat\beta_1 x$，而$\hat\beta_0$、$\hat\beta_1$都是观测值$y_i$的线性组合；
• 而$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$，本质上是$\epsilon_i$的线性组合（加上常数项）；
• 因为$\epsilon_i$服从正态分布，正态变量的线性组合依然是正态变量，所以$\hat\beta_0$、$\hat\beta_1$都是正态变量，进而$\hat y$也服从正态分布。

结合$\epsilon$本身是正态变量，且二者协方差为0，自然就能推出$\epsilon$和$\hat y$相互独立。

补充：如果没有正态性假设呢？ #

如果我们只做Gauss-Markov假设（不要求正态性），那仅仅“不相关”是不能直接推出独立的——这时候教材的结论就只在正态性假设下成立，这也是为什么经典线性回归会把正态性作为重要假设的原因之一。

内容的提问来源于stack exchange，提问作者Thomas