为何线性回归选择SSE（平方误差和）确定最优拟合线而非残差和/绝对残差和？

这是统计领域里被问烂但又必须搞懂的问题，我从数学便利性、统计合理性和对比其他指标的缺陷三个角度来给你掰明白：

为什么SSE是首选？ #

• 数学上的可微性带来高效解：SSE的公式是 SSE = Σ(y_i - ŷ_i)²，这个函数处处可微。我们找最优拟合线的本质，是找最小化SSE的斜率和截距参数，通过对参数求导并令导数为0，能直接推导出解析解——也就是大家熟悉的普通最小二乘法（OLS）公式。这在计算上效率极高，哪怕是几十年前算力不足的时代，也能轻松算出结果，放到现在依然是最快捷的方式。
• 统计上的坚实依据：当线性回归的误差项服从正态分布时，最小化SSE等价于最大化似然估计（MLE）。这意味着用SSE得到的拟合线，在统计意义上是最符合真实数据分布的结果，给了它很强的理论支撑。
• 和模型解释性指标直接挂钩：我们常用的拟合优度指标R²，就是基于SSE计算的（R² = 1 - SSE/SST），能直观告诉我们模型解释了多少数据变异，这让SSE的应用场景更广泛。

为什么不选残差和？ #

残差和的公式是 Σ(y_i - ŷ_i)，这个指标完全没法用，核心问题是正负残差会相互抵消。举个极端例子：两个数据点，一个预测值比真实值大5，另一个小5，残差和是0，但显然拟合效果极差。这种抵消会让残差和完全无法反映真实的误差规模，自然不能作为判定依据。

为什么不选绝对残差和（MAE）？ #

绝对残差和是 Σ|y_i - ŷ_i|，它的问题主要在两个方面：

• 数学上的不可微性：绝对值函数在0点不可导，这意味着我们没法用求导的方法直接得到最优解，只能用迭代算法（比如梯度下降变种或线性规划），计算效率远不如SSE的解析解。
• 统计假设的适配性：MAE的最优性基于误差服从拉普拉斯分布的假设，但现实中很多场景下，数据误差更接近正态分布，这时候SSE的统计合理性更强。当然MAE对异常值敏感度更低是优点，但在传统线性回归框架下，SSE的便利性和理论支撑还是更占优势。

内容的提问来源于stack exchange，提问作者CrazyPanda