线性回归中新观测值对LSE估计量的影响问题（Srivastava提出）

嘿，这个问题初看好像只是个简单的公式推导，但要抓准核心得从最小二乘的更新逻辑入手～我来一步步拆解给你看：

先明确原有定义 #

先给原有的观测数据定义几个简化符号，方便推导：

• 原k个观测的u的平方和：S_u = ∑ₖ uⱼ²
• 原k个观测的u与z的交叉乘积和：S_uz = ∑ₖ uⱼ zⱼ
• 原最小二乘估计量：$\hat\beta_{old} = \frac{S_{uz}}{S_u}$

新增观测后的新估计量 #

当加入新观测$(u_b, z_b)$后，新的统计量变为：

• 新的u平方和：S_u' = S_u + u_b²
• 新的交叉乘积和：S_uz' = S_uz + u_b z_b
• 新的最小二乘估计量：$\hat\beta_{new} = \frac{S_{uz}'}{S_u'}$

推导变化量的核心表达式 #

我们直接计算新旧估计量的差值，就能看到变化规律：
$$
\begin{align*}
\hat\beta_{new} - \hat\beta_{old} &= \frac{S_{uz} + u_b z_b}{S_u + u_b²} - \frac{S_{uz}}{S_u} \
&= \frac{S_u(S_{uz} + u_b z_b) - S_{uz}(S_u + u_b²)}{S_u(S_u + u_b²)} \
&= \frac{u_b(S_u z_b - S_{uz} u_b)}{S_u(S_u + u_b²)} \
&= \frac{u_b\left(z_b - \frac{S_{uz}}{S_u}u_b\right)}{S_u + u_b²} \
&= \frac{u_b(z_b - \hat\beta_{old} u_b)}{S_u + u_b²}
\end{align*}
$$

解读这个结果的核心意义 #

这个表达式把新增观测对估计量的影响讲得明明白白：

• 变化方向：由$z_b - \hat\beta_{old} u_b$决定——这其实是新增观测基于原回归模型的残差。如果残差为正（新增点在原回归线上方），新的$\hat\beta$会比原来大；残差为负（新增点在原回归线下方），新的$\hat\beta$会比原来小。
• 变化幅度：
  • 取决于新增观测的$u_b$绝对值：$|u_b|$越大，对估计量的影响越强，毕竟它是模型里的自变量，取值越极端，带的“权重”越高。
  • 取决于原数据的S_u：原数据的u平方和越大，说明原数据的信息量越足，新增观测的影响就会被稀释，变化幅度越小。

举个直观例子 #

比如原数据：$u=[1,2]$，$z=[3,6]$，原$\hat\beta_{old} = (13+26)/(1+4)=15/5=3$。

• 新增观测$(3,10)$：残差=10-33=1>0，新$\hat\beta=(15+310)/(5+9)=45/14≈3.21$，确实比原来大；
• 新增观测$(3,8)$：残差=8-33=-1<0，新$\hat\beta=(15+38)/(5+9)=39/14≈2.78$，比原来小。

内容的提问来源于stack exchange，提问作者User 123732