Pandas调用Sklearn Metrics计算分组R²结果与Excel不一致问题排查
计算偏差的核心原因
你遇到的结果差异完全来自两类工具对R²的定义、计算逻辑的本质区别,不存在分组错配、代码执行错误的问题。
两类R²的逻辑差异
- sklearn
r2_score的计算规则
严格遵循回归决定系数的经典定义,计算逻辑为:
该值的物理意义是:预测值对真实值的变异解释能力。只有当输入的“预测值”是通过模型拟合得到的、对真实值的无偏估计时,计算结果才具备参考价值。R² = 1 - (Σ(y_true - y_pred)²) / (Σ(y_true - mean(y_true))²)
你的场景下每个月分组仅3条样本,模拟风速(wind_speed_ms)和实测风速(wind_speed_obs)存在固定的系统偏差(模拟值普遍比实测值高0.6~0.8),残差平方和会远大于实测值的总离均差平方和,自然会算出大量负的R²值——这就是你看到sklearn输出出现-22这类极端负结果的根本原因。 - Excel
RSQ函数的计算规则
它实际计算的是两个变量序列的皮尔逊线性相关系数的平方,计算逻辑为:
这个值仅衡量两个序列的线性相关程度,完全不考虑序列间的固定偏差、比例缩放差异——哪怕模拟风速是实测值整体乘以2再加100,RSQ的计算结果依然为1。你在Excel里得到的接近1的高值,本质是因为每个月分组内的两个风速序列线性相关性极强,和预测的绝对误差完全无关。RSQ = (cov(x, y) / (std(x) * std(y)))²
对齐Excel结果的实现方式
如果需要和Excel的输出完全匹配,不需要调用sklearn接口,直接使用pandas内置的相关性计算能力即可,参考代码:
result = ( data1 .groupby(['plant_name', 'month']) .apply(lambda g: g['wind_speed_obs'].corr(g['wind_speed_ms']) ** 2) .reset_index(name='r2') )
额外说明
如果你需要的是回归意义上的决定系数,而不是相关性的平方,需要先对每个分组的两个序列做线性拟合(把模拟风速当成自变量、实测风速当成因变量),再用拟合得到的预测值计算R²,而不是直接把原始序列喂给r2_score。
内容的提问来源于stack exchange,提问作者user2100039
相关产品推荐
相关产品推荐

