为何高斯过程回归分组预测时RMSE更低但R2值反而更低

两个评估指标的底层逻辑差异 #

两个指标的计算逻辑完全不同，不存在绝对的正相关关系：

• RMSE：RMSE = √(Σ(y_i - ŷ_i)² / n)，仅反映预测值与真实值的绝对偏差大小，和目标变量自身的分布特征无关
• R²：R² = 1 - (残差平方和 / 组内真实值总离均差平方和)，衡量的是模型预测效果相比「直接用组内均值做预测」的提升幅度，分母是该组真实目标变量的离散程度

现象的直接成因 #

你观测到的2400L组RMSE更低但R²远低于50L组的情况，核心原因是2400L组的目标变量本身离散度远小于50L组：
假设2400L组的目标E整体波动范围只有0.1，就算你模型预测的RMSE只有0.2，此时残差平方和已经大于组内总离均差平方和，R²会直接变为负数，远低于50L组的结果。
你提到的2400L组仅13条样本进一步放大了该效应：小样本下组内真实目标的分布估计极不稳定，很容易出现整体离散度极低的情况，哪怕预测的绝对误差很小，R²表现也会很差。 #

验证与优化建议 #

• 你可以直接统计两个分组下目标E、r各自的标准差，如果2400L组的标准差远低于50L组，即可完全验证上述结论
• 跨分组比较模型效果时，不建议使用R²，RMSE、MAE这类绝对误差指标适配性更高

内容的提问来源于stack exchange，提问作者Mohammad