请求证明简单线性回归中E(MS_R)=σ²+β₁²S_xx及E(MS_Res)=σ²

没问题，我来一步步给你推导这两个期望的结果，咱们先从回归均方$MS_R$的期望开始：

一、证明$E(MS_R)=σ^2+β_12S_{xx}$ #

首先回忆核心定义：

• 你给出的回归均方：$MS_R = \sum_{i=1}^n (\hat{y}_i - \bar{y})^2$
• 自变量的离均差平方和：$S_{xx} = \sum_{i=1}^n(x_i - \bar{x})^2$
• 简单线性回归的拟合值：$\hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1x_i$，而样本均值$\bar{y} = \hat{\beta}_0 + \hat{\beta}_1\bar{x}$（这是由截距估计量$\hat{\beta}_0 = \bar{y} - \hat{\beta}_1\bar{x}$推导来的）

把拟合值代入$MS_R$的表达式，能直接简化：
$$
\hat{y}_i - \bar{y} = (\hat{\beta}_0 + \hat{\beta}_1x_i) - (\hat{\beta}_0 + \hat{\beta}_1\bar{x}) = \hat{\beta}_1(x_i - \bar{x})
$$

所以$MS_R$可以转化为：
$$
MS_R = \sum_{i=1}^n [\hat{\beta}_1(x_i - \bar{x})]^2 = \hat{\beta}1^2 \sum{i=1}^n(x_i - \bar{x})^2 = \hat{\beta}1^2 S{xx}
$$

接下来求期望$E(MS_R)$，根据期望的线性性质：
$$
E(MS_R) = S_{xx} \cdot E(\hat{\beta}_1^2)
$$

这里要用到随机变量的方差与期望的基本关系：对任意随机变量$Z$，有$E(Z^2) = Var(Z) + [E(Z)]^2$。

对于简单线性回归的斜率估计量$\hat{\beta}_1$，结合模型的基本假设（$E(e_i)=0$、$Var(e_i)=σ^2$、$e_i$互不相关），我们可以得到两个关键结论：

1. 无偏性：$E(\hat{\beta}_1) = \beta_1$（因为$\hat{\beta}_1$的表达式展开后，误差项的期望为0）
2. 方差：$Var(\hat{\beta}1) = \frac{σ^2}{S{xx}}$（推导：$\hat{\beta}1 - \beta_1 = \frac{\sum(x_i - \bar{x})e_i}{S{xx}}$，方差就是$\frac{\sum(x_i - \bar{x})^2 Var(e_i)}{S_{xx}^2} = \frac{σ^2 S_{xx}}{S_{xx}^2} = \frac{σ^2}{S_{xx}}$）

把这两个结果代入$E(\hat{\beta}_1^2)$：
$$
E(\hat{\beta}_1^2) = Var(\hat{\beta}_1) + [E(\hat{\beta}1)]^2 = \frac{σ^2}{S{xx}} + \beta_1^2
$$

最后代入$E(MS_R)$的表达式：
$$
E(MS_R) = S_{xx} \cdot \left( \frac{σ^2}{S_{xx}} + \beta_1^2 \right) = σ^2 + \beta_1^2 S_{xx}
$$

第一个结论的证明就完成了。

二、证明$E(MS_{Res})=σ^2$ #

先明确残差均方的定义：

• 残差均方$MS_{Res} = \frac{SS_{Res}}{n-2}$，其中残差平方和$SS_{Res} = \sum_{i=1}^n(y_i - \hat{y}_i)^2$
• 总平方和分解关系：$SS_{Total} = SS_R + SS_{Res}$，其中$SS_{Total} = \sum_{i=1}^n(y_i - \bar{y})^2$（这里的$SS_R$就是你定义的$MS_R$）

我们先求$E(SS_{Res})$，再除以$n-2$得到$E(MS_{Res})$。

首先计算总平方和的期望$E(SS_{Total})$：
把$y_i = \beta_0 + \beta_1x_i + e_i$代入$y_i - \bar{y}$：
$$
y_i - \bar{y} = \beta_1(x_i - \bar{x}) + (e_i - \bar{e})
$$
平方后求和并取期望：
$$
E(SS_{Total}) = E\left[ \sum_{i=1}^n \left( \beta_1(x_i - \bar{x}) + (e_i - \bar{e}) \right)^2 \right]
$$

展开后逐项计算期望：

• $E[\beta_1^2 S_{xx}] = \beta_1^2 S_{xx}$（常数的期望就是自身）
• $E[2\beta_1\sum(x_i - \bar{x})(e_i - \bar{e})] = 0$（因为$E(e_i)=0$，且$\sum(x_i - \bar{x})=0$，交叉项的期望为0）
• $E[\sum(e_i - \bar{e})^2] = (n-1)σ^2$（推导：$\sum(e_i - \bar{e})^2 = \sum e_i^2 - n\bar{e}^2$，$E(\sum e_i^2)=nσ2$，$E(n\bar{e}^2)=σ2$，所以期望为$nσ^2 - σ^2=(n-1)σ2$）

所以总平方和的期望为：
$$
E(SS_{Total}) = \beta_1^2 S_{xx} + (n-1)σ^2
$$

根据总平方和分解，$SS_{Res} = SS_{Total} - SS_R$，因此：
$$
E(SS_{Res}) = E(SS_{Total}) - E(SS_R)
$$

把之前得到的$E(SS_{Total})$和$E(MS_R)=E(SS_R)$代入：
$$
E(SS_{Res}) = (\beta_1^2 S_{xx} + (n-1)σ^2) - (σ^2 + \beta_1^2 S_{xx}) = (n-2)σ^2
$$

最后，残差均方的期望就是：
$$
E(MS_{Res}) = E\left( \frac{SS_{Res}}{n-2} \right) = \frac{(n-2)σ^2}{n-2} = σ^2
$$

第二个结论的证明也完成了。

内容的提问来源于stack exchange，提问作者Something