AWS Forecast中backtest windows参数含义及实际应用示例咨询

这两个参数均为AWS Forecast回测功能的配置项，回测的核心逻辑是把已有的历史数据切出多段模拟真实预测场景，用已知的真实业务数据和模型预测结果对比，验证模型准确率，以下结合零售销量预测场景举例说明：

统一示例前提：
你手头的历史零售销量数据范围为 2022年1月1日 ~ 2023年12月31日（共2年）
模型设置的预测时长（Forecast horizon）为30天，即你需要模型输出未来30天的销量预测结果

指你要执行多少次独立的历史模拟回测，数值越高，最终得到的模型准确率评估结果越稳定，但对应的模型训练耗时也会越长。

指相邻两次回测的截断时间点之间的间隔天数，要求必须大于等于你设置的预测时长。

具体参数应用示例 #

假设你设置参数为 Number of backtest windows = 3，Backtest window offset = 30天，系统会自动执行3次独立回测：

• 第一次回测：把历史数据截断到2023年12月1日，仅用2022年1月1日到2023年12月1日的数据训练模型，模拟预测2023年12月2日到2023年12月31日的销量，再和这段时间的真实销量对比计算误差
• 第二次回测：把截断时间往前偏移30天到2023年11月1日，仅用2022年1月1日到2023年11月1日的数据训练模型，模拟预测2023年11月2日到2023年12月1日的销量，再和这段时间的真实销量对比计算误差
• 第三次回测：把截断时间再往前偏移30天到2023年10月1日，仅用2022年1月1日到2023年10月1日的数据训练模型，模拟预测2023年10月2日到2023年10月31日的销量，再和这段时间的真实销量对比计算误差

最终系统会把3次回测的误差值取平均，作为模型的最终准确率评估结果，相比单次回测的结果更能反映模型的通用预测能力，不会因为某段时间刚好碰上大促、缺货等特殊情况导致评估结果失真。

参数选择参考 #

• 如果历史数据量小、训练速度慢，回测窗口数量设置1~2即可，偏移量直接等于预测时长即可
• 如果历史数据充足、需要更稳定的评估结果，可以设置3~5个回测窗口，偏移量也可以大于预测时长，比如预测30天的场景可以把偏移量设为60天，避免多段回测的验证时间段重叠过多，影响评估参考性

内容的提问来源于stack exchange，提问作者titu84hh