时间序列模型整体百分比提升计算方法及评估指标选择疑问

现有方案合理性 #

你目前的MAE计算流程逻辑自洽，相比MAPE方案数据保留度高，适合多数场景，仅存在两个可优化点：

• 直接对单条序列的百分比提升取算术平均，会默认给所有时间序列相同权重，若不同序列业务量级差异大，会导致小量级序列的高提升占比过度放大，结果有偏。
• 删除旧模型MAE为0的序列会让整体提升率偏高，这类序列本身无提升空间，按0%提升纳入计算结果更客观。

更优的整体提升率计算方法 #

根据业务场景二选一即可：

• 所有时间序列权重平等：保留现有计算逻辑，仅补充旧模型MAE=0的序列按0%提升纳入平均。
• 按误差量级加权（推荐大多数业务使用）：不单独计算单条序列的提升率，先汇总所有序列的旧模型总误差、新模型总误差，再按如下公式计算：
  (总旧误差 - 总新误差) / 总旧误差 * 100%
  该方法计算出的提升率直接对应整体误差减少的比例，不会被小量级序列的高百分比提升干扰。以你给出的样例数据计算：总旧MAE=3.0+99.5=102.5，总新MAE=0.5+49.5=50，整体提升率为(102.5-50)/102.5*100%≈51.22%。

指标选择标准 #

没有绝对最优指标，完全匹配业务目标即可：

• MAPE：仅适合关注相对误差比例、且所有真实值不为0的场景，对低量级误差敏感度更高，硬伤是真值为0时无法计算，需要丢弃大量样本，不推荐你当前场景使用。
• MAE：适合绝对误差的业务影响和误差数值成正比的场景，对0值友好，仅需处理旧模型误差为0的极少数情况，是通用时间序列预测场景的首选。
• MSE/RMSE：适合对大误差零容忍的场景，会给大幅偏离的预测更高惩罚，缺点是对异常值敏感，个别坏点会大幅影响指标结果。

内容的提问来源于stack exchange，提问作者spatel4140