如何对比回归模型性能？RMSE、MAE相近但R²差异大时的判定方法

首先要明确：如果两个模型在同一测试集上用标准公式计算指标，RMSE和MAE相近的情况下，R²理论上应该高度一致——因为RMSE直接和残差平方和（SS_res）挂钩，而R²的核心计算就是基于SS_res和目标变量的总平方和（SS_tot）。出现你说的矛盾情况，大概率是评估条件或指标计算逻辑出了问题，可按以下步骤判断：

1. 先验证评估的一致性 #

• 确认两个模型的评估完全基于相同的测试集：包括样本数量、样本分布、预处理规则（比如是否对特征/目标做了相同的标准化、缺失值处理）
• 核对测试集真实值的统计特征：比如y_true的均值、方差是否一致，排除测试集拆分不同、数据版本不一致的问题

2. 检查R²的计算逻辑 #

• 确认两个模型的R²都使用标准公式：R² = 1 - (SS_res / SS_tot)，其中SS_tot是测试集真实值相对于其均值的总平方和，而非训练集的统计量
• 排查基准模型是否使用了非标准R²：比如部分工具库会对特定模型输出伪R²（如针对正则化模型的调整R²，但未明确标注），或是用了其他参考基准（比如以另一个模型的预测值而非均值作为对比基准）

3. 结合业务场景判断 #

如果确认评估条件和计算逻辑都没问题，这种矛盾通常源于目标变量的变异程度极低：比如y_true的数值几乎集中在均值附近，此时SS_tot极小，哪怕SS_res的微小差异都会导致R²的大幅波动，但RMSE/MAE作为绝对误差指标，看起来差异不大。这时要重点关注：

• 误差的业务影响：比如RMSE为0.5，若目标变量范围是0-1，这个误差已经很严重；若目标变量范围是0-1000，这个误差可忽略，R²的差异可能只是统计层面的，业务上两个模型性能相近
• 误差的分布特征：比如两个模型RMSE相近，但一个模型的误差集中在高价值样本上，另一个分散在普通样本，结合业务优先级选择更匹配需求的模型

4. 补充辅助验证 #

• 增加相对误差指标：比如MAPE（平均绝对百分比误差）（若目标变量无0值）或SMAPE，看误差相对于真实值的比例差异
• 做残差分析：绘制残差直方图、QQ图，检查两个模型的残差是否有系统性偏差、异常值，判断基准模型是否存在未捕捉到的规律
• 交叉验证：用k折交叉验证重新评估两个模型的所有指标，确认这种差异是否是偶然现象

内容的提问来源于stack exchange，提问作者Zach Fara