残差图中type="response"与"pearson"无差异？线性回归Pearson残差解析

1. 为什么type="response"和type="pearson"生成的残差图一致？ #

在普通最小二乘（OLS）线性回归中，这两类残差是常数比例关系：

• type="response"对应的是普通残差，即$e_i = y_i - \hat{y}_i$（真实值减估计值，比如你例子里的0.2、0.8）。
• type="pearson"对应的Pearson残差，在OLS下是普通残差除以均方根误差（RMSE）——一个固定常数。

因为二者只差一个固定的缩放比例，绘图时坐标轴会自动调整刻度范围适配数据，所以视觉上残差点的相对位置完全一致，看起来像是同一张图。

2. Pearson残差的分母到底是什么？ #

Pearson残差的定义分两种场景：

• OLS线性回归（无权重）：分母是估计的总体标准差（RMSE），公式为：

  r_i = \frac{y_i - \hat{y}_i}{s}, \quad s = \sqrt{\frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{n-p}}
  

  其中$n$是样本量，$p$是模型参数个数（含截距项）。
• 加权线性回归：分母是拟合权重的平方根，公式为：

  r_i = \frac{y_i - \hat{y}_i}{\sqrt{w_i}}
  

  这里$w_i$是第$i$个观测的权重。OLS本质是所有$w_i=1$的加权回归，此时Pearson残差就是普通残差除以常数$s$，这也是两类残差图视觉一致的核心原因。

3. 普通Pearson残差与标准化Pearson残差的计算及性质 #

普通Pearson残差（Raw Pearson Residuals） #

• 计算方式：用普通残差除以RMSE（即上述OLS场景的公式）。
• 性质：
  • 均值为0：OLS的普通残差和为0，除以常数后均值仍为0。
  • 标准差接近1，但并非严格等于1：因为RMSE是用残差本身计算的，损失了$p$个自由度，实际标准差略小于1。

标准化Pearson残差（Standardized Pearson Residuals） #

• 计算方式：在普通Pearson残差基础上，进一步消除杠杆值的影响，公式为：

  r^*_i = \frac{y_i - \hat{y}_i}{s\sqrt{1 - h_{ii}}}
  

  其中$h_{ii}$是帽子矩阵的第$i$个对角线元素（杠杆值），代表第$i$个观测对拟合结果的影响程度。
• 性质：
  • 均值为0：继承自普通残差的和为0特性。
  • 标准差严格等于1：通过$\sqrt{1 - h_{ii}}$调整了残差的方差，消除了高杠杆点对残差离散程度的干扰。
  • 更适合识别异常值：标准化后残差分布更接近标准正态分布，超出±2或±3范围的观测更可能是异常点。

内容的提问来源于stack exchange，提问作者HHKK