简单线性回归证明：OLS估计下残差相关等式的求证方法

嘿，这个等式是OLS估计量核心的正交性结论之一，咱们用两种清晰的思路来推导证明，每一步都给你理清楚～

首先先明确几个OLS的基础定义：

• 残差：$e_i = y_i - \hat{y}_i$，其中$\hat{y}_i$是OLS拟合值
• 拟合值表达式：$\hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_i$（$\hat{\beta}_0$、$\hat{\beta}_1$是OLS估计的截距和斜率）
• 拟合值的均值等于因变量的均值：$\bar{\hat{y}} = \bar{y}$，推导一下：$\bar{\hat{y}} = \frac{1}{n}\sum(\hat{\beta}_0 + \hat{\beta}_1x_i) = \hat{\beta}_0 + \hat{\beta}_1\bar{x}$，而OLS的截距估计量$\hat{\beta}_0 = \bar{y} - \hat{\beta}_1\bar{x}$，代入后就得到$\bar{\hat{y}} = \bar{y}$。

接下来对要证明的式子做转换：
$$\sum_{i=1}^n (\hat{y}i - \bar{y})e_i = \sum{i=1}^n (\hat{y}_i - \bar{\hat{y}})e_i$$
把$\hat{y}_i - \bar{\hat{y}}$用拟合值表达式展开：
$$\hat{y}_i - \bar{\hat{y}} = (\hat{\beta}_0 + \hat{\beta}_1x_i) - (\hat{\beta}_0 + \hat{\beta}_1\bar{x}) = \hat{\beta}_1(x_i - \bar{x})$$

代入原式后得到：
$$\sum_{i=1}^n (\hat{y}_i - \bar{y})e_i = \hat{\beta}1 \sum{i=1}^n (x_i - \bar{x})e_i$$

现在看后面的求和项$\sum_{i=1}^n (x_i - \bar{x})e_i$，这正是OLS正规方程的其中一个！OLS的本质是最小化残差平方和$S(\beta_0,\beta_1) = \sum_{i=1}^n (y_i - \beta_0 - \beta_1x_i)^2$，对斜率$\beta_1$求偏导并令其为0：
$$\frac{\partial S}{\partial \beta_1} = -2\sum_{i=1}^n (x_i - \bar{x})(y_i - \hat{\beta}_0 - \hat{\beta}_1x_i) = 0$$
而$y_i - \hat{\beta}_0 - \hat{\beta}1x_i = e_i$，所以$\sum{i=1}^n (x_i - \bar{x})e_i = 0$。

代入回去就得到：
$$\hat{\beta}_1 \times 0 = 0$$
等式得证。

把原式拆成两个求和项的差：
$$\sum_{i=1}^n (\hat{y}i - \bar{y})e_i = \sum{i=1}^n \hat{y}i e_i - \bar{y}\sum{i=1}^n e_i$$

我们分别证明这两个求和项都等于0：

1. 证明$\sum_{i=1}^n e_i = 0$
   残差$e_i = y_i - \hat{y}i$，所以：
   $$\sum{i=1}^n e_i = \sum_{i=1}^n y_i - \sum_{i=1}^n \hat{y}i$$
   根据方法一里的结论$\bar{\hat{y}} = \bar{y}$，即$\sum{i=1}^n \hat{y}i = n\bar{y}$，而$\sum{i=1}^n y_i = n\bar{y}$，所以：
   $$\sum_{i=1}^n e_i = n\bar{y} - n\bar{y} = 0$$

2. 证明$\sum_{i=1}^n \hat{y}_i e_i = 0$
   把拟合值$\hat{y}i = \hat{\beta}0 + \hat{\beta}1x_i$代入求和项：
   $$\sum{i=1}^n \hat{y}i e_i = \sum{i=1}^n (\hat{\beta}0 + \hat{\beta}1x_i)e_i = \hat{\beta}0\sum{i=1}^n e_i + \hat{\beta}1\sum{i=1}^n x_i e_i$$
   已经知道$\sum{i=1}^n e_i = 0$，所以第一项为0。再看第二项的$\sum{i=1}^n x_i e_i$，转换成中心化形式：
   $$\sum{i=1}^n x_i e_i = \sum{i=1}^n (x_i - \bar{x})e_i + \bar{x}\sum_{i=1}^n e_i$$
   同样，$\sum_{i=1}^n e_i = 0$，而$\sum_{i=1}^n (x_i - \bar{x})e_i = 0$（来自OLS正规方程，方法一里已证明），所以$\sum_{i=1}^n x_i e_i = 0$，第二项也为0。

因此$\sum_{i=1}^n \hat{y}_i e_i = 0 + 0 = 0$。

最后把两个结果代入原式：
$$0 - \bar{y} \times 0 = 0$$
等式得证。

内容的提问来源于stack exchange，提问作者Macterror