线性回归R²用SSreg/SStot与1-SSres/SStot计算结果不一致疑问
最初代码问题排查
你首次提交的代码存在括号位置错误:np.sum的闭括号放在了平方运算符之前,计算逻辑变成了「先对所有样本的偏差求和再平方」,而非正确的「先计算每个样本的偏差平方,再对平方值求和」,这是首次计算结果异常的直接原因。
修复括号后结果不一致、出现负R²的原因
两种R²计算公式等价的前提极其严格,仅在使用带截距项的普通最小二乘(OLS)模型、且在训练集上计算拟合结果的场景下成立,只要不满足该前提,两个公式的结果必然存在差异,甚至出现负R²,这种情况完全符合数理统计逻辑,是合理存在的。
常见的触发场景如下:
- 回归模型未添加截距项,此时SSreg + SSres ≠ SStot,两个公式的计算结果天然不相等
- 使用的不是OLS模型(比如岭回归、Lasso、决策树、神经网络等),等价性不成立,这类场景下行业通用的R²计算方法是
1 - (SSres/SStot),用SSreg/SStot计算的结果没有实际统计学意义 - 在测试集(而非模型训练数据集)上计算R²,当模型泛化效果较差时,预测残差平方和会大于直接用y均值做预测的残差平方和,此时
1 - (SSres/SStot)就会得到负值,代表该模型的预测效果还不如直接用y的均值作为所有样本的预测结果。
内容的提问来源于stack exchange,提问作者Nickpick
相关产品推荐
相关产品推荐

